死链查询，页面内容相同但响应头不同会影响哪些判断
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /277002fc07f0.html
📄
死链查询，页面内容相同但响应头不同会影响哪些判断
页面正文一模一样，响应头却不同，死链查询的结论就不能只看“内容是否相同”。如果一边返回 200 且带缓存与索引相关头，另一边返回 404、410 或 301，前者通常说明目标地址仍可访问，后者说明该地址已被明确否定或改道；若两边都是 200，但一个带 X-Robots-Tag: noindex，另一个没有，则要按“可访问但可能不应保留在索引中”处理。实际动作是先把每个 URL 的状态码、重定向链和关键响应头逐项记录，再决定保留原地址、改写入口还是退出该地址；这个记录结果会直接决定下一步是修链接、改内容还是只做监控。
先分清响应头差异落在哪一层
内容相同不代表响应语义相同。死链查询时，至少要拆开三层看：第一层是响应状态，200、301、302、404、410 对“这个地址是否还成立”给出不同信号；第二层是索引控制，X-Robots-Tag 的 noindex 与 none 会让同一个页面在是否保留上产生分歧；第三层是缓存与内容协商，Cache-Control、Vary、Content-Language 不同，会让同一段正文在不同请求条件下被当作不同响应处理。
如果只比较 HTML 正文，就会把“地址仍有效”和“地址应退出”混为一谈。例如两个 URL 都返回相同正文，A 返回 200 且无 noindex，B 返回 200 但带 X-Robots-Tag: noindex。对死链查询而言，B 不是死链，却可能是应被移除的重复入口；A 才是需要保留并继续观察的地址。这个判断差异，来自响应头而不是正文。
保留、改写还是退出：三种取舍的前提
当内容相同但响应头不同，处理方式通常落在三种动作里，各自成立条件并不一样。
- 保留：适用于目标 URL 返回 200、没有 noindex、重定向链稳定，且它确实是用户会访问或外部链接指向的地址。保留意味着继续维护该地址，并把它当作规范入口之一。
- 改写：适用于原地址仍有价值，但响应头暴露了冲突，例如正文相同却带 noindex，或 301 指向的地址又返回 404。改写可以是调整入口链接、修正重定向目标，或让该地址承担独立内容，而不是继续复制同一份正文。
- 退出：适用于 404、410 已明确否定该地址，或该地址只是历史遗留且没有独立价值。退出不是删掉正文，而是停止把它当作有效入口，并让内部链接与站点地图不再指向它。
这三种动作不能同时套在同一个 URL 上。若一个地址已经 410，却因为正文仍可访问而选择保留，就会让后续死链查询反复出现同一异常；若一个地址返回 200 但带 noindex，却直接按死链退出，又可能误删仍可服务的页面。取舍依据是响应头给出的语义，不是正文相似度。
用可核对证据区分“已死”与“只是不该保留”
遇到与直觉相反的结果时，先收集一组可复核证据，而不是凭正文相同就下结论。建议按下面顺序记录：
- 直接请求目标 URL，记录状态码与完整重定向链，确认最终地址。
- 查看最终响应中的
X-Robots-Tag、Cache-Control、Vary和Content-Type。 - 用相同请求头与不同请求头各请求一次，观察响应头是否随
User-Agent、Accept-Language或 Cookie 变化。 - 核对内部链接、站点地图和外部引用分别指向哪个地址，确认入口是否一致。
这样做的结果会改变下一步。如果发现 404 只出现在某个请求头条件下，而默认请求仍是 200，那么问题更可能是内容协商或边缘配置，而不是页面已死；此时应优先修响应头一致性，而不是改正文。反过来，如果所有请求都返回 410，且没有重定向，那么保留该地址就没有依据，应转向清理入口。
一个假设例子：同文不同头怎样改变决策
假设某站有两个地址 /old-page 和 /new-page，正文完全相同。/old-page 返回 301 到 /new-page，/new-page 返回 200 且无 noindex；同时，/old-page 在带某个语言请求头时返回 200 并带 X-Robots-Tag: noindex。死链查询会出现看似矛盾的结果：有时显示可访问，有时显示不应保留。
此时合理动作是先确认 301 是否稳定，再确认语言条件是否真的需要独立响应。若 /old-page 只是历史入口，保留 301 并让 /new-page 承担内容即可；若 /old-page 必须独立服务某语言用户，就应改写为独立内容与独立响应头，而不是继续复制正文。这个例子中的数字与条件均为假设，用于说明比较方法，不代表任何真实站点表现。
哪些现象不能单独证明处理正确
请求量下降、抓取量归零或某个地址不再出现在查询结果中，都不能单独证明死链处理正确。它们还可能是抓取预算变化、站点整体改版、外部链接自然减少或统计口径变化造成的。同样，站点地图不保证收录，robots.txt 的抓取限制也不等于可靠的索引移除；HTTPS 不保证安全无漏洞或排名。不同搜索引擎对响应头的支持情况须分别核查，不能用一个引擎的表现推断另一个。
因此，死链查询后的验证应回到响应本身：目标地址是否稳定返回预期状态码，重定向链是否只有一跳且指向有效地址，noindex 是否只出现在确实需要退出的地址上。只有这些可核对证据一致，保留、改写或退出的决定才算有依据；下一步动作也应据此更新，而不是仅凭正文相同或流量变化下结论。
