您现在的位置是:首页 > 实战干货实战干货
百度站长平台抓取诊断总是出现抓取失败“DNS无法解析IP”
风雪
发布时间:2019-11-09 12:43:29
点击:次
来源:代代SEO
作者: 风雪
简介我们建立好网站,然后通过百度站长平台抓取诊断总是失败,这是为什么?难道蜘蛛无法抓取我们网站么?其实这对蜘蛛抓取网站的确存在着一定的影响,下面就教大家解决这个问题!
我们建立好网站,然后通过百度站长平台抓取诊断总是失败,这是为什么?难道蜘蛛无法抓取我们网站么?其实这对蜘蛛抓取网站的确存在着一定的影响,下面就教大家解决这个问题!

解决抓取总是出现失败的方法!
1,查看robots.txt有没有禁止抓取语句
首先我们要检查robots.txt中是否有禁止抓取语句,教大家一个简单的方法,首先你要删除根目录下的robots.txt,然后在进行抓取诊断。如果抓取成功了,则证明是robots.txt的问题,大家需要整改这个文件了,如果依然抓取失败,请往下继续看。

2,更换DNS解析(一般生效时间都是24小时)
因为一般抓取失败都是提示DNS无法解析IP的问题,大家需要去切换自己域名解析的DNS,推荐大家切换成阿里云解析的DNS,生效时间比较快,当切换以后,大家最好等待24小时,全国生效以后,在进行抓取诊断,一般情况下都是可以解决这个问题的。

3,网站是否打不开,服务器不稳定,防火墙蜘蛛屏蔽
第三点就是我们网站自身的问题,有时候会出现卡顿,导致蜘蛛抓取不成功,大家可以自己手动进行网站测速,然后在稳定性比较好,确认可以打开网站的情况下去测试蜘蛛的抓取,一般这种情况下,虚拟主机问题比较多。
另外说下,有的服务器是带有硬防的,会自动阻止一些IP的抓取,或者你安装的防护软件自动屏蔽了抓取IP,因为防护系统会认为这类IP在攻击你的网站,你可以发工单让技术方不要关闭你的防火墙,你自己也关闭自己的防御软件,在进行测试就OK了。

4,百度异常,查看日志是否有蜘蛛进来抓取
如果以上方法都试过,但是你的抓取依然失败的话,不排除百度本身的问题,你可以通过日志看每天是否有蜘蛛来,如果有,而且很规律很正常,就可以不必理会百度后台的蜘蛛抓取了。
OK,今天就为大家分享到这里,大家应该明白,其实百度后台的蜘蛛抓取,不代表实际的蜘蛛抓取,大家可以自行分析网站蜘蛛日志,当你发现一个蜘蛛都没有的情况下,正好百度站长后台抓取也是失败的情况下,这个时候,就是你的网站,或者服务器的问题了,如果以上我说的问题,你都试过,无效的话,你可以考虑让空间商帮你换一个IP,或者换一台服务器试下。通常是可以解决这个问题的。

解决抓取总是出现失败的方法!
1,查看robots.txt有没有禁止抓取语句
首先我们要检查robots.txt中是否有禁止抓取语句,教大家一个简单的方法,首先你要删除根目录下的robots.txt,然后在进行抓取诊断。如果抓取成功了,则证明是robots.txt的问题,大家需要整改这个文件了,如果依然抓取失败,请往下继续看。

2,更换DNS解析(一般生效时间都是24小时)
因为一般抓取失败都是提示DNS无法解析IP的问题,大家需要去切换自己域名解析的DNS,推荐大家切换成阿里云解析的DNS,生效时间比较快,当切换以后,大家最好等待24小时,全国生效以后,在进行抓取诊断,一般情况下都是可以解决这个问题的。

3,网站是否打不开,服务器不稳定,防火墙蜘蛛屏蔽
第三点就是我们网站自身的问题,有时候会出现卡顿,导致蜘蛛抓取不成功,大家可以自己手动进行网站测速,然后在稳定性比较好,确认可以打开网站的情况下去测试蜘蛛的抓取,一般这种情况下,虚拟主机问题比较多。
另外说下,有的服务器是带有硬防的,会自动阻止一些IP的抓取,或者你安装的防护软件自动屏蔽了抓取IP,因为防护系统会认为这类IP在攻击你的网站,你可以发工单让技术方不要关闭你的防火墙,你自己也关闭自己的防御软件,在进行测试就OK了。

4,百度异常,查看日志是否有蜘蛛进来抓取
如果以上方法都试过,但是你的抓取依然失败的话,不排除百度本身的问题,你可以通过日志看每天是否有蜘蛛来,如果有,而且很规律很正常,就可以不必理会百度后台的蜘蛛抓取了。
OK,今天就为大家分享到这里,大家应该明白,其实百度后台的蜘蛛抓取,不代表实际的蜘蛛抓取,大家可以自行分析网站蜘蛛日志,当你发现一个蜘蛛都没有的情况下,正好百度站长后台抓取也是失败的情况下,这个时候,就是你的网站,或者服务器的问题了,如果以上我说的问题,你都试过,无效的话,你可以考虑让空间商帮你换一个IP,或者换一台服务器试下。通常是可以解决这个问题的。
很赞哦! ()
相关文章
随机图文
如何研究行业用户数据与热点
今天我们来探讨下如何研究行业用户数据与热点,今天这篇文章大家好好学习,对大家一定是有帮助的,我们做一个行业的时候,一定要先了解我们的客户与行业热点,只有了解了这两点,才更有利于做好我们SEO工作。让网站快速上权重的核心技巧!
今天为大家讲解网站如何快速上权重,其实网站上权重并不是很难,是有一些技巧方法的,在学习这篇文章之前,你必须要知道,网站权重是什么?网站权重是怎么形成的?什么是第三方权重查询工具?懂了这些,才能够理解这些方法与技巧。2020年,SEO优化前途怎么样?SEO已死么(数据分析)!
今天由代代SEO为大家分享一篇文章“2020年,SEO优化前途怎么样?SEO已死么(数据分析)!”现在是自媒体的时代,也是手机端的时代,各大平台的崛起都在分刮流量,而且不断的增加新功能,貌似要取代百度的节奏。陶然士论文:如何正确优化网站图片,掌握好这几点即可!
今天我们来分享“如何正确优化网站图片”,百度一直都要求我们写文章,做页面,用图文并茂的形式,由此可见百度是多么重视图片这一块,那么我们怎么去正确的优化图片那?下面就由陶然士论文为我们分享。