网址优化知识汇总

DotBot是什么蜘蛛爬虫DotBot是Moz的网络爬虫程序,Moz旗下链接分析网站opensiteexplorer专门用来分析网站SEO外链数据,BotBot蜘蛛爬虫就是为Moz服务,在互联网上抓取大量的网页进行各种数据分析。如果我们不希望Dotbot抓取自己的网站,可以使用robots.txt进行评比。DotBot遵robots.txt协议。DotBot蜘蛛爬虫原型Moz蜘蛛爬虫UA:"Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)"网站如何禁止DotBot抓取在我们的网站根目录中的robots.txt文件中写上如下代码:User-Agent: DotBotDisallow: /robots.txt中屏蔽DotBot蜘蛛抓取网站以上代码是屏蔽DotBot蜘蛛抓取网站所有内容。当然不一定非要屏蔽DotBot蜘蛛,根据自己网站情况来判断是否要屏蔽DotBot。相关

本文来源:故事seo 本文链接:http://www.seogushi.cn/seozs/2050.html