建站软件 优化软件 网站程序 站群程序 教程资源 其他资料

您现在的位置是:首页 > 实战干货实战干货

网站log日志分析与要点总结(详细教程)!

风雪  发布时间:2020-02-12 14:20:53  点击:次  来源:代代SEO  作者: 风雪

简介网站log日志其实就是百度蜘蛛抓取的记录。百度蜘蛛每来一次,并且都抓取了什么,哪类蜘蛛来进行抓取的,网站log日志都会记得非常清楚,我们可以获取日志进行分析,百度蜘蛛今天都抓取了我们多少个页面。

  网站log日志有什么用?

  网站log日志其实就是百度蜘蛛抓取的记录。百度蜘蛛每来一次,并且都抓取了什么,哪类蜘蛛来进行抓取的,网站log日志都会记得非常清楚,我们可以获取日志进行分析,百度蜘蛛今天都抓取了我们多少个页面,其中哪些页面没有抓取成功等等,从而可以进行优化我们的网站,使之更加符合网站SEO优化。

  在哪里可以获取到log日志!

  哪里可以获取到log日志那?如果是linux+宝塔面板的主机环境,我们登录宝塔linux面板后,点击左侧“文件”,在www下的wwwlogs目录中就能看到网站访问日志了。如果是虚拟空间,你可以去LOG目录去查找,或者问下你的空间商即可。

  网站log日志

  网站log日志可以分析哪些数据!

  1、查看目录抓取概况

  目录抓取,可以清晰的查看到光顾网站的蜘蛛爬行过哪些目录。要知道:有些目录是没有价值的,如一些图标目录、下载目录、留言目录等,还有后台目录、数据库,如果任由蜘蛛爬行,也是一种安全隐患。另外一方面,搜索引擎对于不同的站点都有着抓取配额,无用目录,更不要占用这样的配额,以免减少有效配额的抓取量。

  2、查看页面抓取概况

  页面抓取可以准确的查看到蜘蛛爬行的每一个页面,这也是对于LOG日志分析上非常重要的一个环节。如:多重URL链接的抓取?垃圾页面的抓取?都是可以在其中展现出来的。甚至:某个页面抓取频率越高,通常代表这个页面更有价值。

  如果你想优化的页面,抓取频率偏低,那么就要为其增加适当的曝光度,来达成你想要的结果。

  3、查看状态码信息

  状态码分为两种,一种是蜘蛛状态码,另一种是用户状态码,通过蜘蛛状态码可以准确的查看到网站是否存在抓取问题。例如:404代表的是错误页,301、302代表的是重定向,还有一些:504、500、等状态码,值得说的是:除去200状态码,出现其他的状态码都是应当值得注意的,当然,如果只是个别几条则无需理会。但是如果数量一旦偏多,网站则100%出现问题了。

  而用户状态码,则代表用户的访问情况,在这其中可以清晰的看到用户最为关注哪些页面。不要认为这是小事情,懂得营销的站长,知道投其所好!

  我们用什么工具去分析网站log日志?

  分析百度日志工具有很多,比如“光年日志分析工具”或者“haolou在线分析”这边给大家推荐一个好用的网站日志在线分析工具:“www.loghao.com”。大家将网站日志所有内容复制粘贴到左侧,然后点击分析按钮,就能方便的查看搜索引擎爬虫的爬取记录了。是不是非常简单那?

  网站log日志分析

  注意:网站log日志实战要点总结!

  1、如果想要更多有效的着陆页被蜘蛛更多的抓取,那么请进行结构内链的完善。

  2、不希望蜘蛛抓取那些没有优化意义的页面上,那么robots.txt上来进行封闭。

  3、“蜘蛛陷阱”无止尽的循环,浪费抓取配额,通过页面抓取,都可以直观看到。

  4、曝光力度够了,蜘蛛一样不抓取,只能说页面价值太低,需要进一步优化。

  5、我们希望每个页面的下载时间足够快,可以在有效的时间内抓取更多的页面。

  6、不是所有的蜘蛛都是真的蜘蛛,要学会查看蜘蛛是否为“采集”和“模拟”。

  7、分析每天的蜘蛛,可以查看上升或者下降的趋势,明显变化,网站会出事的。

  8、降低或者封禁不会带来流量的蜘蛛,以减少服务器压力,对大型网站很重要。

  好了,今天我们的网站日志分析与重点就讲解到这里,另外我们还有一片更加详细的日志分析文章“教你快速学会分析网站蜘蛛日志!”大家可以看下,里面会详细讲解状态码之类的数据分析,好了,今天我们就讲解到这里,希望可以帮助到大家。

Tags:网站日志   日志分析   蜘蛛日志

很赞哦! ()

随机图文

站点信息

  • 建站时间:2019-1-20
  • 网站程序:帝国CMS7.5
  • 行业分类:SEO优化、网站建设
  • 网站管理:风雪满湘城
  • 文章统计:9197篇文章
  • 标签管理标签云
  • 行业资讯点击阅读
  • 近期文章点击阅读
  • 联系我们:扫描二维码,联系我们