火车头采集规则：企业并购后两套网站内容如何选择去留
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /06c8b3f38a23.html
📄
火车头采集规则：企业并购后两套网站内容如何选择去留
并购后把两套站点内容合并，最容易犯的错是拿一个页面试采后就全量套用同一套火车头采集规则：样本页正常，规模化后却出现重复标题、错乱分类或大量无效页。合理做法是先决定内容去留，再让采集规则承担迁移与重发，而不是让规则替你做取舍。
矛盾现象：样本成立，规模化后失效
假设A站与B站合并，运营者用一条火车头采集规则抓取B站若干产品页，标题、正文、发布时间都能正确落库，于是直接扩展到全站。结果一部分栏目出现大量同标题页面，另一部分页面正文为空，还有一批旧链接被映射到不相关的新分类。
这类现象通常有两种解释。第一种是内容本身重复或结构不统一：B站里存在模板页、分页和参数页，样本恰好避开了它们。第二种是规则边界没有覆盖例外：采集范围、字段映射和发布状态只按样本设定，遇到栏目层级变化就失配。两者都会表现为规模化失败，但处理方向完全不同。
区分两种解释的证据
要判断是内容问题还是规则问题，可以按下面顺序取证，每一步的结论都会改变下一步动作。
- 先抽查失败页面的原始来源页，确认原文是否真实存在且唯一。如果原文本身重复，问题在内容去留，不在采集。
- 再对比成功页与失败页的来源URL特征，例如是否带分页参数、是否属于同一栏目模板。如果差异集中在URL形态，问题在规则范围。
- 最后查看发布后的页面状态：是未发布、草稿还是已发布但字段为空。状态差异能说明是采集阶段丢失还是发布阶段被过滤。
如果证据指向内容重复，就不应扩大采集范围，而应先做去留决策；如果证据指向规则边界，才需要调整采集范围与字段映射，再重新小批验证。
内容去留的判断顺序
并购后两套站点的内容，可按三个条件排序处理，而不是按站点归属一刀切。
- 保留唯一价值内容：只在一个站点存在、且与合并后业务直接相关的页面，优先保留并迁移到对应栏目。
- 合并同主题内容：两个站点都有、但表述不同的页面，选择信息更完整的一份作为主页面，另一份做重定向或下线，避免同主题多入口。
- 清理无承接内容：与合并后业务无关、且没有外部链接或访问需求的页面，可以下线，但要确认没有仍在使用的导航或表单指向它。
这个顺序的意义在于：先确定哪些页面值得存在，再谈用什么规则抓取和发布。否则采集规则越高效，重复内容扩散得越快。
火车头采集规则该承担什么
规则适合承担确定性工作：按栏目抓取保留页面的标题、正文、发布时间和来源URL，映射到目标站点的分类与标签，并控制发布状态。它不适合承担判断工作，例如判断两个页面哪个更值得保留、某个旧链接应指向哪个新栏目。
一个可操作的做法是：先把保留清单写成来源URL列表，只对清单内的页面运行采集规则，发布为草稿；人工抽查若干条后，再批量发布。这样做的结果是，采集失败只影响清单内页面，不会把未决策的内容一并带入新站，后续修正范围也可控。
不能直接照搬的边界
上述方法适用于两个站点栏目结构相对清晰、内容可逐页对应的情况。如果并购后目标站点尚未确定栏目体系，或来源站点大量内容由用户生成、结构高度不一致，那么先定内容去留再采集的顺序仍然成立，但采集规则需要按栏目分别配置，不能共用一套字段映射。
另外，抓取成功、索引量和排名是不同环节：页面被采集并发布，只说明内容进入了新站，不代表搜索引擎已经抓取或收录，更不代表排名会跟随迁移。判断迁移是否有效，应分别看发布完成度、抓取覆盖和页面在搜索结果中的呈现，而不是把其中一项归零当作处理正确的证明。
