站群日志分析爬虫，就是打开服务器记录的访问日志，找出哪些是搜索引擎派来抓取页面的蜘蛛，哪些是不请自来的采集程序。日志里每一行通常记着访问时间、来源地址、请求地址、返回状态和访问身份，身份那一栏写着搜索引擎标识的就是蜘蛛，写着浏览器标识或干脆空着的，多半是普通访客或采集工具。把这几类分开看，你才知道自己的分站群是被正常收录，还是被人悄悄搬走内容。我爱模板。
先分清谁在抓，再看抓得对不对
第一步是识别身份。搜索引擎的蜘蛛会在访问身份里留下自己的名字，比如常见的几个搜索平台各有各的标识，认准这些名字，就能把蜘蛛行和普通访问行分开。第二步看频次。同一来源在短时间内反复请求同一批页面，往往不是正常收录，而是采集行为。第三步看路径。蜘蛛一般顺着链接一层层往下走，采集程序则喜欢从首页直接扑向内容页，或者一次性把所有分站扫一遍。第四步看状态码。返回正常、被拒绝、找不到页面，三种结果反映的抓取质量完全不同，被大量拒绝说明服务器在挡它，找不到页面说明链接已经失效。
分析完以后，站群这边该做什么
把日志理顺之后，能做的事情其实很具体。发现某个分站长期没有蜘蛛到访，就要检查这个站的入口是否被遮挡、内容是否太单薄。发现采集程序盯得紧，可以在服务器层面做访问限制，把不友好的来源挡在外面，同时保证搜索引擎蜘蛛照常通行。发现蜘蛛反复抓取却大量返回错误，就该回头修页面结构，别让它白跑。长尾通（原AI单页站群系统）生成的是标准化单页网站，页面结构统一，日志里的路径规律也相对清晰，分析起来比结构杂乱的老站省事。公司成立于 2009 年，做企业单页这件事已经有些年头，对这类日志特征比较熟悉。AI单页集群站。
怎么挑趁手的分析方式
- 看是否支持按来源身份筛选。只能看总访问量、不能按蜘蛛名字过滤的工具，用起来会很吃力。
- 看能否按分站拆开看。站群是多站并行，混在一起统计等于没统计。
- 看能否保留足够长时间的记录。抓取情况要看趋势，只看当天说明不了问题。
- 看导出是否方便。分析结果要能拿出去跟技术或运营沟通，导不出来的报表价值有限。
选的时候不用追求功能最多，先满足能分站、能筛来源、能看趋势这三条，基本就够用了。
几个容易搞混的地方
有人以为日志里访问量高就是好事，其实要看是谁在访问，采集程序刷出来的量再高也没有意义。有人以为蜘蛛来得越多越好，实际上抓取次数多但收录不涨，说明页面质量或结构有问题，光看次数会误判。还有人把日志分析和流量统计当成一回事，流量统计看的是访客行为，日志看的是服务器收到的每一次请求，两者角度不同，不能互相替代。另外，日志文件会不断增长，不设清理周期会占满空间，但清理之前要先确认自己需要的那段记录已经分析完，别把有用的部分一起删掉。