网址优化知识汇总

机器人协议是网站根目录中的TXT文本文件。当搜索引擎蜘蛛访问网站时,它检查在站点的根域下是否存在这样的文本文件。因此,它也是搜索引擎蜘蛛来到您的网站抓取的第一个文件。这个机器人文件的功能是让蜘蛛在你的网站上抓取或不抓取内容。搜索引擎的协议。它可以保护用户信息、网站隐私等。机器人规则用户代理:搜索引擎蜘蛛规则的规则。允许:允许爬网不允许:不允许爬网*通配符,所有$终结器,终止于什么。/根目录注释:以上是以英语输入的,包括冒号、空格、冒号,后面是英语状态的空格。主页应大写并写有关路径,而不是绝对路径。例如:用户代理:*所有搜索引擎的*规则不允许:/wp-content/不允许您爬网此文件夹:/wp-内容/上载/LOGO.jip允许您在此文件夹中抓取此图片:/*。JS$您不允许抓取结束的所有文件。更多目录中的JS。本文来自AnanSEO学习博客的原始版本。作者:南,重印请注明来源:https://www.tzrseo.com/jichu/434.html

本文来源:故事seo 本文链接:http://www.seogushi.cn/seozs/1258.html