本次网站改版,使用了一套cms系统,忘记关闭分站功能,结果产生了大量的无用链接并且被百度搜录。
(之后有时间研究研究站群)
现在的问题是删除百度搜索引擎收录的死链
网上查了解决方法
1. 死链为404页面(不要你以为是404就是404,还是用工具检测下为准!)
http://tool.chinaz.com/pagestatus/
2. 百度站长工具提交死链
3. 用robots.txt 文件屏蔽蜘蛛访问。
死链这么多,找了个共同点
/guangxi_lianxiwomen/
目录都包含 _ 符号
然后用 Disallow: /*_* 屏蔽,用工具检测下是否OK?
OK!
要考虑周全,再看看需要收录的能允许吗、
搞定,收工