怎么分析网站日志数据？

作为一名SEO优化人员，对网站日志分析是必须要掌握的一项基本的技能，通过日志分析可以分析爬虫抓取页面有效性，通过日志分析蜘蛛返回的状态码能及时发现网站里面是否存在错误或者蜘蛛无法爬取的页面，排查网站页面中存在的404错误页面等。网站日志既可使用工具，也可直接在看。直接在看源文件，信息会更加完整。那么网站日志要分析哪些数据呢?

1、访问次数、停留时间、抓取量

从这些项数据中可以得知: 平均每欢抓取页面数、单页抓取停留时间和平均每次停留时间。平均每次抓取页面数=总抓取量/访问次数，单页面抓取停留时间=每次停留/每次抓取，平均每次停留时间=总停留时间访问次数。

从这些数据可以看出蜘蛛的活跃度，网站对蜘蛛的亲和度，以及抓取深度等，总抓取量、总访问次数、平均抓取量、总停留时间、单页抓取停留、平均停留时间等指标越高，通常表明网站友好性越好，站点质量越高，越受搜索引擎喜欢。而单页抓取停留时间表明网站页面访问速度、时间越长，表明网站访问速度越慢，对搜索引擎抓取收录较不利，我们应尽量提高网页加载速度，减少单一页面停留时间，让爬虫资源更多地去抓取收录。另外，根据这些数据我们还可以统计出一段时间内网站的整体趋势表现，如蜘蛛访问次数趋势、停留时间趋势、抓取趋势。长期观察这些数据，可以起到对优化效果进行评估的作用，并及时发现哪些页面及目录表现好，哪些表现不好，更贴近搜索引擎，也可及时发现异常变动，做好应对。

2、目录抓取统计

通过日志分析我们可以看到网站哪些目录受蜘蛛喜欢、抓取目录深度、重要页面目录抓取状况、无效页面目录抓取状况等。通过对比目录下页面抓取及收录情况，我们可以发现更多问题。对于重要目录，我们需要通过内外调整增加权重及爬取; 对于无效页面，在Robots.TXT 中进行屏蔽。

另外，通过多日日志统计，我们可以看到站内外行为给目录带来的效果，优化是否合理，是否达到了预期效果。对于同一目录，以长期时间段来看，我们可以看到该目录下页面表现、根据行为推测表现的原因等。

 

3、蜘蛛爬取路径

在网站日志中我们可以跟踪到特定IP 的访问路径，如果我们跟踪特定蜘蛛的访问路径就能发现对于本网站结构下蜘蛛的爬取路径偏好。由此，我们可以适当地引导蜘蛛的爬取路径，让蜘蛛更多地爬取重要、有价值、新更新页面。其中，爬取路径中我们又可以分析页面物理结构路径偏好以及URL 逻辑结构爬取偏好。通过这些，可以让我们从搜索引擎的视角去审视自己的网站。

4、页面抓取

在网站日志分析中，我们可以看到具体被蜘蛛爬取的页面。在这些页面中，我们可以分析出蜘蛛爬取了哪些需要被禁止爬取的页面、爬取了哪些无收录价值页面、爬取了哪些重复页面URL等。为充分利用蜘蛛资源，我们需要将这些地址在Robots.txt中禁止爬取。

另外，我们还可以分析未收录页面原因，对于新文章，是因为没有被爬取到而未收录抑或爬取了但未放出。对于某些阅读意义不大的页面，可能我们需要它作为爬取通道，对于这些页面，我们是否应该做Noindex标签等。

5、访问状态码

蜘蛛经常出现的状态码包括301、404等。出现这些状态码要及时处理，以避免对网站造成坏的影响。

6、抓取时间段

通过分析对比多个单日蜘蛛小时爬取量，可以了解到特定蝴蛛对于本网站在特定时间的活跃时段。通过对比周数据，可以看到特定蜘蛛在一周中的活跃周期。

7、蜘蛛访问IP

通过蜘蛛的IP段和前三项数据来判断网站的降权情况，IP分析的更多用途是判断是否存在采集蜘蛛、假蜘蛛、恶意点击蜘蛛等，从而对那些访问来源进行屏蔽、禁止访问处理，以节省带宽资源及减轻服务器压力，留给访客及蜘蛛更好的访问体验。