网站在改版中想测试下百度的抓取工具,这个工具很重要。他是模拟百度蜘蛛抓取网站信息,显示网站在百度蜘蛛访问时的状态。
其他页面访问正常,只有首页提示“拒绝访问”!
奇怪了从来没有遇到过,检查了下百度说明。
【访问遭拒绝】
一般情况下,百度会通过跟踪网页间的链接来查找内容。百度spider必须能够访问某个网页才能抓取该网页。如果您意外地看到了“访问遭拒”错误,可能是由于以下几种原因导致的:
(1)百度spider无法访问您网站上的网址,因为您网站上的所有或部分内容要求用户登录后才能查看。
(2)您的服务器要求用户使用代理进行身份验证,或者您的托管服务提供商阻止百度spider访问您的网站。
经过检查后,发现以上情况都不存在,经过不断的尝试终于解决!
原因是 服务器默认首页的设置
我用的是 linux 虚拟主机管理系统是 WDCP
WDCP里面站点管理默认首页只加了index.html,导致百度蜘蛛抓取提示 403 错误。因为我用的系统是PHP,没有把 index.php 添加默认首页导致出现的问题。
并且在我使用死链检测的时候也是提示无法检测,经过以上方法处理,死链检测工具也解决了!