您的位置:好站长外链 > 站长新闻 > SEO >

网站造成百度蜘蛛抓取异常的原因有哪些?

文章来源:好站长外链

作者:互联网

人气:18

2021-05-31

网站造成百度蜘蛛抓取异常的原因有哪些?

本文主要和大家说说网站造成百度蜘蛛抓取异常的原因,所谓的抓取异常,指的是一些网页,内容优质,用户也可以正常访问,但蜘蛛却无法正常访问并抓取,造成搜索结果覆盖率缺失,对百度搜索引擎对站点都是一种缺失。如果有大量内容无法正常被抓取,看百度搜索引擎会认为网站存在用户体验上的缺陷,并降低对网站的评价,在抓取、索引、排序上都会受到一定程度的负面影响,最终影响到网站从百度获取的流量。

一、服务器连接异常

服务器连接异常会有两种情况,一种是站点不稳定,蜘蛛尝试连接你网站的服务器时,出现暂时无法连接的情况;一种是蜘蛛一直无法连接你网站的服务器。造成服务器连接异常的原因,通常是网站服务器过大,超负荷运转,也有可能是你的网站运行部正常,可以使用浏览器检查主要页面是否能正常访问。其次,网站和主机还可能阻止了蜘蛛的访问,你需要检查网站和主机的防火墙。

二、网络运营商异常

网络运营商分电信和联通两种,蜘蛛通过电信或网通无法访问你的网站,这种时候你要与网络服务运营商联系,或者购买拥有双线服务的空间,或者购买CDN服务。

三、DNS异常

当百度蜘蛛无法解析你网站的IP时,会出现DNS异常,这个时候可能是你的网站IP地址错误,或者域名服务商把蜘蛛封禁。建议使用WHOIS或者host查询自己网站IP地址是否正确且可接续,如果不正确或无法解析,请与域名注册商联系,更新你的IP地址。

四、IP封禁

IP封禁为:限制网络的出口IP地址,禁止该IP段的使用者进行内容访问,在这里特指封禁了蜘蛛IP,当你的网站不希望蜘蛛访问时,才需要该设置,如果你希望蜘蛛访问你的网站,那要检查相关设置中是否误添加了蜘蛛IP,也有可能是你网站所在的空间服务商把IP进行了封禁,这个时候你需要联系方服务商更改设置。

五、UA封禁

UA即为用户代理,服务器通过UA识别访问者的身份,当网站针对制定UA的访问,返回异常页面,或跳转到其他页面的情况,即为UA封禁。当网站不希望蜘蛛访问时,才需要该设置,如果你希望蜘蛛访问你的网站,那useragent相关的设置中是否有BaiduspiderUA,并及时修改。

六、死链

页面已经无效,无法对用户提供任何有价值信息的页面就是死链接,包括协议死链和内容死链两种形式:

1、协议死链:页面的TCP协议状态/HTTP协议状态明确表示的死链,常见的有:404、403、503状态等。

2、内容死链:服务器返回状态是正常的,但内容已经变更为不存在、已删除或需要权限等于原内容无关的信息页面。

对于死链,我们建议站点使用协议死链,并通过不该度站长平台—死链工具向百度提交,以便百度更快地发现死链,减少死链对用户以及搜索引擎造成的负面影响。

相关文章

在线客服

外链咨询

扫码加我微信

微信:841909564

返回顶部