看看死链的处理和解决规避

• 一、大量死链对搜索引擎来讲，有什么影响?
• 　　1、死链率过高，会影响搜索引擎对网站的评分。
• 　　2、搜索引擎对每个网站每天抓取的频次是限额的，若网站存在大量死链，会浪费掉抓取配额并影响其他正常页面的抓取。
• 　　3、过多死链对网站用户来讲也是体验不好的表现。
• 　　二、死链接是如何产生的?
• 　　1、网站内部添加了错误的内部链接
• 　　编辑失误或者程序员大意让页面产生了不存在的页面。
• 　　2、网站短暂无法访问
• 　　因为服务器、空间或程序问题导致网站短暂无法访问，产生大量返回码为5开头的服务器错误页面。
• 　　3、外部链接错误
• 　　用户或者站长在站外发布了错误URL;别的网站复制或采集了你们含有错误链接的页面。
• 　　4、爬虫提取了不完整的URL
• 　　个别爬虫在提取页面URL的时候，因为URL中有不规则字符或者URL与后边的文字链接起来，导致URL失效。
• 　　5、网站改版
• 　　如果你的网站已经改版或者将要改版，一定要注意死链问题，很多网站改版后，之前的老页面直接删除，导致了大量的死链接。
• 　　6、管理员删除页面
• 　　网站管理员删除被黑、广告、过时、被灌水页面导致很多死链接。
• 　　三、如何发现网站中存在的死链接?
• 　　1、百度站长工具中的抓取异常工具可以查看最近一个月产生的各种死链，并支持导出功能。
• 　　2、使用相关爬虫软件，比如Xenu，此类工具可以爬取全站所有链接并分析页面状态，分析完成后，支持导出功能，提取死链接即可。
• 　　3、在网站运营中，特别是论坛，经常需要删除某些页面，在删除页面时一定要记录对应的Url以便后期提交死链。
• 　　通过上述两种办法提取的死链列表，一定要经过删重和验证，比如用wps表格进行删除重复链接，然后再使用Http状态批量查询工具验证下是否确实是死链接。
• 　　四、如何避免和处理死链接?
• 　　1、网站改版最容易产生死链的
• 　　改版之前的页面如果有价值尽量不要删除和修改Url，若需要更换域名或Url分配规则，那一定要将之前的url进行301跳转到对应的Url;若老的数据必须删除，那删除的所有页面Url要进行整理和提交死链。
• 　　2、对发现的死链接如何处理
• 　　将收集好的所有死链接粘贴到网站根目录的一个文档中，再把文档地址提交到 百度站长工具–网页抓取–死链提交–添加新数据–填写死链文件地址;若大量死链具有一定的规则，如某个目录下全部为死链接，可提交规则死链。
• 　　相关注意事项：
• 　　1、在百度站长工具中提交死链前，一定要确保提交的死链数据不存在活链接。一旦存在活链，会显示提交失败导致无法删除。
• 　　2、由于很多网站程序问题，很多打不开的页面返回码并非404，这是一个大问题，比如明明是打不开的页面返回码是301、200、500，如果是200的话，会导致网站中出现不同URL获取相同内容。比如我的一个站，社区的帖子删除后，返回码却是500，后期发现了，立马进行了处理。大家尽量找出所有错误URL格式，并设置HTTP状态码为404。
• 　　3、把所有的错误页面找到后，一定要寻找此类页面URL相同特征，并且和正常页面的特征有区分，写对应规则到robots文件中，禁止蜘蛛抓取，就算你已经在站长工具中提交了死链，也建议robots封禁抓取。
• 　　4、robots只能解决蜘蛛不再抓取此类页面，但解决不了已经收录页面的快照删除问题，若你的网站被黑，删除了被黑页面，除了robots封禁被黑页面外，还应该将这些页面提交死链。提交死链是删除被黑页面快照的最快办法。