当页面数量、栏目层级和内容更新频率同时上升,手工逐页处理会从“可控”变成“不可控”。判断标准不是工作量大小,而是这项工作是否依赖逐条判断、是否每次都要重复相同动作、以及出错后能否被快速发现。只要同时满足重复、批量、可校验三个特征,就应当从手工操作转为规则化流程;反之,涉及内容取舍、页面合并、主题定位的判断,仍应保留人工决策。
网站规模扩大后,最容易被误判的是“看起来需要经验”的批量工作。例如标题标签、描述标签、内链锚文本、图片替代文本、分页参数、 canonical 指向,这些在早期逐页手改是合理的,因为页面少、上下文清楚。但当同类页面超过几十个,手工修改会出现遗漏、前后不一致、改完无法追溯的问题。
另一类工作则不适合交给规则:哪些旧内容应当合并、哪些栏目应当拆分、某个词是否值得单独建页、某篇内容是否已经偏离主题。这些判断依赖对业务、用户意图和竞争环境的理解,规则只能提供线索,不能代替决策。
可以用一个简单测试区分:如果同一动作在不同页面上应当产生完全相同的结构结果,就适合规则化;如果同一动作在不同页面上需要不同结论,就保留人工。这个测试比“工作量大不大”更可靠,因为工作量会波动,而结构一致性不会。
假设一个站点从几十页扩展到几百页,但大部分页面仍由同一套模板生成,栏目结构稳定。此时继续手工维护标题、描述、面包屑、分页链接和 canonical,代价不是时间,而是错误率。手工改到第一百页时,前面改过的规则可能已经被遗忘,导致同一类页面出现两种写法。
实际动作可以这样安排:先选一个页面类型,例如文章详情页,列出该类型下所有应当统一的字段,写成可检查的规则清单;再用站点已有的模板或批量处理能力执行;执行后抽取若干页面核对,重点看是否出现空值、重复值、指向错误。这个动作的结果会直接影响下一步:如果抽查发现规则本身有歧义,应先修规则,而不是继续扩大执行范围;如果抽查通过,再把同一方法复制到下一个页面类型。
这里的代价是前期整理规则需要时间,而且规则一旦写错,错误会批量出现。因此适用条件是模板统一、字段含义清楚、有抽查手段。若页面由多人用不同结构手工搭建,字段含义本身不统一,先做规则化会把混乱放大,此时应先统一结构,再谈批量。
规模扩大后,另一类常见误区是把“内容是否保留”也交给批量规则。比如按发布时间、字数或是否存在某个词来决定删除、合并或重写。这些信号可以作为筛选线索,但不能直接作为最终结论。一个短页面可能是核心转化入口,一个长页面可能只是拼凑内容;一个词没出现,不代表页面没有回答该意图。
更合理的做法是把人工集中在少数节点:批量筛选出候选清单,再由人判断每个候选的处理方式。动作上可以先按“是否有独立搜索意图”“是否与其他页面高度重叠”“是否仍有业务价值”三个问题过一遍,把候选分成保留、合并、改写、下线四类。这个分类结果会决定后续工作量:合并和改写需要内容投入,下线需要处理链接和重定向,保留则只需记录原因。
例外情况是,当站点存在大量由程序生成的、结构相同且无独立价值的页面时,可以先用规则缩小范围,但最终仍应抽样确认,避免把仍有入口价值的页面一并处理。请求量或抓取量下降不能单独证明某次批量处理正确,因为模板调整、链接变化、抓取预算重新分配都可能产生同样现象。
规模扩大后,手工操作并没有消失,而是位置变了。它应当用于处理规则覆盖不到的例外:某个页面有特殊业务含义、某个栏目需要单独定位、某次合并涉及跨部门确认。默认方式应当是规则加抽查,手工只处理被标记出来的少数情况。
这样安排的好处是,每次批量执行后都能留下可检查的记录:哪些页面被改、依据什么规则、抽查结果如何。下一步动作也有了依据——如果例外数量持续偏高,说明规则需要调整;如果例外很少,说明可以把抽查频率降低,把人力移到内容判断上。
需要提醒的是,抓取、索引和排名是不同环节。批量修改结构字段可能影响抓取和索引效率,但不等于排名会同步变化;内容层面的合并与改写影响的是页面与意图的匹配,也不保证在固定时间内见效。把这两类工作的预期分开,才能判断下一步该继续扩大规则,还是回到内容判断。