robot txt，页面数量减少时如何保留高价值需求覆盖
📱 CCBot/2.0 (https://commoncrawl.org/faq/)
🔗 /d265692094d9.html
📄
robot txt，页面数量减少时如何保留高价值需求覆盖
页面数量减少后，高价值需求覆盖能否保住，取决于被删页面承担的是“入口”还是“答案”。如果它只是把用户送到另一个页面，删掉后由新页面继承内链和抓取路径即可；如果它本身就是某个细分需求的唯一答案，合并后往往只剩一个更宽泛的页面，覆盖会变浅。因此，判断标准不是页面总数，而是每个高价值需求是否仍有可被抓取、可被索引、内容对得上的落点。
先看一个矛盾现象：样本成立，规模化后失效
假设你在一批小样本上做过测试：把若干低价值页面合并进一个主题页，抓取频次没有明显下降，目标需求的相关页面仍有展示。这个结果容易让人得出“减少页面不影响覆盖”的结论。但当同样做法推到全站，常出现例外：一部分需求在搜索结果里找不到对应落点，或者只剩一个泛主题页，无法承接长尾问法。样本阶段成立，是因为样本里被删的页面大多只是重复入口；规模化后失效，是因为被删的页面里混进了唯一答案页。
两种解释：入口页被删，还是答案页被删
第一种解释是入口页被删。这类页面本身没有独立信息，作用是把用户和爬虫导向核心页。删除后只要核心页仍在、内链仍指向它、robot txt 没有误封核心路径，覆盖通常不会塌。第二种解释是答案页被删。这类页面针对一个具体问法提供了完整回答，合并后新页面只保留概括段落，细分需求失去对应内容。两种解释看起来都表现为“页面少了”，但影响完全不同。
要区分它们，不能只看页面数量或抓取量。抓取量下降也可能来自站点整体更新放缓、外链变化或抓取预算重新分配，不能单独证明删除动作正确或错误。
能区分两种解释的证据
第一组证据是需求与页面的对应关系。把高价值需求逐条列出，检查每条需求是否仍有一个页面能直接回答，而不是只能靠一个宽泛页面“沾边”。如果某条需求原先有专属页面，现在只能落到主题页的一个小节，这更接近答案页被删。
第二组证据是内链与抓取路径。检查核心页面是否仍能从首页或栏目页通过可抓取链接到达，robot txt 是否仍允许这些路径被抓取。如果路径断了，表现会像覆盖下降，但根因是抓取入口问题，不是内容合并本身。
第三组证据是页面状态与索引情况。被保留页面是否可索引、是否返回正常状态、是否有重复内容互相竞争，这些都会影响需求覆盖。索引和排名是不同环节，页面被抓取不等于被索引，被索引也不等于能覆盖所有细分问法。
一个可执行的判断动作
先做一张“高价值需求—承接页面”对照表，而不是先动 robot txt。动作是：对每条高价值需求标注当前承接页面、该页面是否可被抓取、是否可被索引、内容是否直接回答。结果会直接决定下一步——如果需求仍有唯一承接页，删除其他重复入口即可；如果需求只剩宽泛页面，应先补内容或保留原页面，再考虑减少数量。
假设一个短例子：某站把三个细分问答页合并进一个主题页，主题页可抓取、可索引，但只保留了三个问答的概括句。对照表会显示三条需求没有直接答案页。此时正确动作不是改 robot txt 放开更多抓取，而是恢复或重建这三个落点，或者把主题页扩写到能直接回答每条需求。这个判断的依据是需求与页面的对应关系，不是页面总数。
适用边界：哪些情况不能照搬
当被删页面确实是重复入口、核心页内容完整、内链和抓取路径未断时，减少页面数量通常不会伤害高价值需求覆盖。反过来，当细分需求依赖专属答案、主题页只能概括、或者抓取路径被切断时，照搬“减页面”会留下覆盖缺口。边界在于：页面数量是结果，不是目标；真正要守住的是每条高价值需求仍有可被抓取、可被索引、内容对得上的落点。
