友情链接检测，怎样用日志补充分析证据
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /4dd6080959ee.html
📄
友情链接检测，怎样用日志补充分析证据
友情链接检测如果只看页面上的导出链接，很容易漏掉真实发生过的访问关系。用服务器日志补充分析证据，核心是回答三个问题：对方链接是否真的带来过访问、这些访问是否被识别为来自该站、访问落地页是否与约定一致。日志能提供比页面抓取更接近“实际发生”的记录，但它不能单独证明链接被搜索引擎认可，也不能替代页面级检查。
先明确日志能补上哪一块证据
页面检测看到的是“链接存在”，日志看到的是“有人或某个爬虫访问过”。两者证据类型不同：
- 页面检测：链接位置、锚文本、是否加nofollow、是否被JS渲染后才出现。
- 日志证据：请求时间、来源页、目标URL、状态码、User-Agent、IP归属。
- 搜索端证据：只能通过搜索平台提供的报告或抓取统计间接观察，不能靠单一日志字段还原算法判断。
因此，日志适合补充“访问是否发生、来自哪里、落到哪一页”这类事实，不适合单独用来判断对方站点是否被降权、是否被搜索引擎认可。
从日志里提取友情链接相关请求
日志字段通常包含时间、IP、请求方法、URL、状态码、来源页、User-Agent。要围绕友情链接检测补充证据，可以按以下步骤执行：
- 先确定需要验证的目标URL，例如合作方约定的落地页
/partner/。 - 在日志中筛选该URL的请求记录，保留时间、来源页、状态码、User-Agent。
- 再按来源页筛选，看来源是否指向合作方域名，而不是站内跳转或其他渠道。
- 把结果按天或按小时聚合，观察是否存在持续访问，而不是只有一次探测。
- 对同一时间段的页面检测结果做对照，确认日志中的请求是否对应页面上真实存在的链接。
如果日志中完全没有来自合作方域名的请求，可能是链接未被点击、来源页未被访问、来源信息被跳转或加密策略截断，也可能是对方链接放在JS渲染区域导致爬虫未执行。这里只能列为可能原因，不能直接判定对方删链。
判断证据强度时看哪些字段
多人协作交付时，建议把证据分成强、中、弱三档，避免把推测写成结论：
- 较强：来源页明确指向合作方域名，目标URL与约定一致，状态码为200，且在多个日期重复出现。
- 中等：来源页存在但目标URL被重定向，或状态码为301、302，需要继续核对最终落地页。
- 较弱：只有User-Agent疑似爬虫，来源页为空，或只有单次请求，无法排除探测、缓存或监控工具。
如果来源页为空，不要直接写成“对方没有链接”。先检查是否经过跳转、是否使用了referrer策略、是否由客户端渲染触发。不同搜索引擎、网页搜索、平台推荐与付费广告的流量来源口径不同，日志中的来源字段也可能被截断，不能混为一谈。
把日志证据整理成可交付结论
协作场景下，交付物要让接手的人能复查。建议每条结论都带上原始依据，例如：
- 观察：某日日志中出现来自合作方域名的请求，目标URL为约定页面。
- 判断：该请求与页面检测中的链接位置一致，可视为一次有效访问证据。
- 处理：若连续多日无请求，先复查页面链接是否仍存在，再联系对方确认来源页是否可访问。
- 复查：调整后继续观察同一URL的请求记录，确认是否恢复。
假设某次检测发现页面链接仍在，但日志中连续一周没有来自对方域名的请求。此时不能直接认定链接无效，应先检查对方页面是否被搜索引擎抓取、是否被 robots 限制、链接是否被JS延迟加载。只有把页面证据和日志证据放在一起，才能减少返工和误判。
下一步：建立一份最小复查清单
下次做友情链接检测时，先固定要验证的URL和合作方域名，再按“页面是否存在、日志是否有请求、请求是否来自对方、落地页是否一致、状态码是否正常”逐项打勾。任何一项缺失，都先标记为待复查，而不是直接下结论。这样多人协作时，交接的是可核查的证据链，不是模糊的判断。
