网址优化知识汇总

1、典型的爬行异常案例1:404页面协议死链,用户不能再访问页面内容,建议百度网站管理员平台死锁工具提交死链进行处理,以便搜索引擎更快找到死锁链,减少死锁链对用户和搜索引擎的负面影响。案例2:IPBAN限制了网络出口IP地址,禁止IP网段用户访问内容是IPBAN。请检查系统服务器是否已设置百度蜘蛛的IPBAN规则。案例3:UA禁止UA是用户代理(用户代理),服务器通过UA标识访问者,当网站返回异常页面(如403500)或跳转到指定UA访问的另一页时,UA将被禁用。检查系统服务器是否设置了百度蜘蛛的UA禁用规则。情况4:异常重定向将网络请求重定向到其他位置。异常重定向是指以下情况:1)当前页为无效页(内容已被删除、死链等)。),直接跳转到以前的目录或主页,百度建议您将无效的第2页的条目超链接重定向到错误或无效的第3页)重定向到错误或无效的第3页)重定向跳转超过3次,也用于异常注意:如果网站更改域名,则百度建议使用301跳转协议来设置。情况5:其他JS跳转异常:网页加载百度无法识别的JS跳转代码。使用户在跳转发生后通过搜索结果进入页面。对于百度UA异常:网页将百度UA返回到与页面原始内容不同的百度UA行为。百度的例外是:网页返回与来自百度的正常内容不同的行为。过度压力引起的意外禁令:百度将根据网站的大小、访问次数和其他信息。自动设定合理的抓取压力。然而,在异常的情况下,如异常压力控制,根据自身的负荷,服务器将受到事故的保护。在这种情况下,返回代码中的返回503(指”服务不可用”),以便百度蜘蛛在一段时间后尝试抓取链接,如果站点空闲,它将被成功地爬网以进行收集和收集

本文来源:故事seo 本文链接:http://www.seogushi.cn/seozs/1545.html