网站死链检测（蜘蛛一路畅通爬取网站的秘密） 网站死链检测（蜘蛛一路畅通爬取网站的秘密）前几日一个高中同学发微信问博主，她在百度搜了关键词查东西，随机点开了几个网站，却发现有一个网站打开显示“404 not found”，而且由于经常需要使用百度查资料，这样的情况已经不是一次了，只是显示的结果略有不同。于是便想问问是怎么回事。针对这个问题博主简单的说了一下，太专业的可能她也听不懂。我想对于SEO行业之外的普通网民而言是很信赖百度的，但是“网站死链接现象”的存在不仅影响的是用户的体验，降低用户的信任，同时对于搜索引擎蜘蛛而言也是十分不友好的，尤其是在网站出现了大量的死链接而不进行及时的处理。今天博主针对这个问题就来说一下怎样发现网站死链接，如何进行网站死链检测并且进行及时的处理，让访客以及蜘蛛一路畅通的访问网站。网站死链接分类1.未收录型。网站未收录型死链接指的是出现在网站内部无法打开的页面，在搜索引擎还无法显示，也就是说如果用户只是在百度上进行检索，没有进入网站是不会看到的链接。2.已收录型。搜索引擎已经进行收录，当用户进行关键词检索，内容会显示在搜索结果列表(暂时不考虑排名的因素)，总之就是索引库已经针对该链接纳入搜索范围。如何检测网站死链接?1.手动查找。当然不管是已收录的死链接还是未收录的死链接都可以进行人工手动的查找，但是如果是大型网站手动查找就显得有点力不从心，浪费时间了。因此我们还有第二种方法来进行检测。2.利用工具查找。死链检测工具有很多，不同的SEOer也都有自己习惯使用的工具或者插件，博主经常使用的是直接安装在浏览器上的插件，前提是你必须要有对应的浏览器，下面以360急速浏览器为例：①打开360急速浏览器，点击右上方的拓展中心，如(图1步骤1所示); ②在搜索框输入“检查网页链接”，如(图1步骤2所示);③搜索结果出现直接进行插件的安装，如(图1步骤3所示);④安装完毕，浏览器右上角就会出现“检查网页链接”插件图标，如(图1步骤4所示);未收录站内死链检查以及处理下面开始进行网站内部的死链接查找：直接在浏览器打开要进行检测的网站地址，点击“检查网页链接”插件小图标，插件就会自动进行查找，针对不同的页面进行逐步的排查，如图2所示：当检测页面出现死链接，死链接区域标红，若无死链接则全部显示绿色。当网站内部出现死链接应该及时的进行疏通，而不是删除，利用浏览器的审查元素功能，定位死链接位置，找到问题位置修改，在后台进行调整，确保链接能够打开即可。已收录死链接检查以及处理通常网站会出现已经被搜索引擎收录的内容，但是因为错误的操作或者是页面已经失去价值，我们进行了删除，没有进行及时的处理，这个时候我们通过搜索引擎的site：域名指令，进行已收录死链接的查找，同时如果收录页面较多，通过修改浏览器的右上角的“搜索设置”将每页显示10条修改成为最多的每页显示50条，在点击“检查网页链接”插件进行查找，同理当出现死链接，区域标红，若能够进行打开则显示绿色，如图3所示：当已收录的死链检查出来以后，新建一个txt文档以及xml、html地图形式将死链接进行整理，同时通过ftp将整理好的死链上传到网站根目录，在robots文件禁止搜索引擎爬取死链：写法为：Disallow:http://域名/silian.html。 最后登录百度站长平台通过死链提交通道，按照提示流程填写死链文件地址，进行最后的提交即可。当然网站死链检测以及处理之后，站长还需要制作一个更具友好性的“404页面”，有效的引导蜘蛛以及用户继续访问网站的其他页面，不要因为一时的受阻就直接放弃整个网站，404页面的制作以及注意事项在博客中其他文章已经详细介绍，本文就不在重复进行解释了，希望这篇文章能够解决对网站死链检测有疑问的朋友们，更希望在SEO的道路上大家能够一起成长、共同进步!