百度抓取诊断工具提示抓取失败!
发布时间:2020-05-03 12:37:00 浏览量:5582次

网站在改版中想测试下百度的抓取工具,这个工具很重要。他是模拟百度蜘蛛抓取网站信息,显示网站在百度蜘蛛访问时的状态。


其他页面访问正常,只有首页提示“拒绝访问”!



奇怪了从来没有遇到过,检查了下百度说明。


【访问遭拒绝】


一般情况下,百度会通过跟踪网页间的链接来查找内容。百度spider必须能够访问某个网页才能抓取该网页。如果您意外地看到了“访问遭拒”错误,可能是由于以下几种原因导致的:


(1)百度spider无法访问您网站上的网址,因为您网站上的所有或部分内容要求用户登录后才能查看。


(2)您的服务器要求用户使用代理进行身份验证,或者您的托管服务提供商阻止百度spider访问您的网站。


经过检查后,发现以上情况都不存在,经过不断的尝试终于解决!


原因是 服务器默认首页的设置


我用的是 linux 虚拟主机管理系统是 WDCP


WDCP里面站点管理默认首页只加了index.html,导致百度蜘蛛抓取提示 403 错误。因为我用的系统是PHP,没有把 index.php 添加默认首页导致出现的问题。


并且在我使用死链检测的时候也是提示无法检测,经过以上方法处理,死链检测工具也解决了!

end
联系我们
  • 全国服务电话

    13953327573 微信同号

    18653318210 微信同号

  • 企业邮箱
    828145@qq.com
  • 山东省淄博市张店区淄博市创业孵化中心A楼1203-1205室
  • 添加微信

    添加好友
  • 官网手机端

    官网手机端
最新文章