当页面数量从几十涨到几百、上千,继续靠手工逐页改标题、逐条加内链、逐个盯收录,问题不在于累,而在于判断标准会漂移:同一种页面今天按一个标准改,明天换个人又按另一个标准改,最后连“哪些页面已经处理过”都说不清。更适合从手工转为规则化处理的,是那些判断标准可以写成明确条件、执行结果可以复核、且重复出现的工作;而涉及内容取舍、页面价值判断、异常归因的部分,仍然值得保留人工。下面按两种常见规模条件分别说明。
这个阶段页面还不算多,人工仍有能力逐页看,但已经开始出现漏检。合理的取舍是:把“发现问题的环节”交给规则,把“决定怎么改”留给人工。
可以规则化的动作包括:
这些动作的共同点是:判断条件可以写死,比如“标题完全重复”“正文少于某个字符数”“入站内链为 0”,输出结果不依赖个人经验。
但改写标题、重写首段、决定某个页面该合并还是保留,这些依赖对页面意图和用户需求的理解,规则化容易把不同意图的页面改成同一个模板腔。假设一个站有 300 个产品页,其中一部分是选型对比类,一部分是参数查询类,若用同一条规则批量套标题,两类页面的差异会被抹平,后续再想区分就要返工。
这个阶段的实际动作建议是:先跑一次全站提取,把重复标题、过短正文、孤立页三类清单导出来,人工按清单逐条处理,处理完在表里标记状态。这样做的结果是,你能第一次看清“问题集中在哪些模板”,下一步该改的是模板本身,而不是继续逐页救火。
当页面数量大、且大部分页面由少数几个模板生成时,逐页手工修改的代价开始超过收益。此时更合理的做法是把修改落到模板和规则层:改一次模板,影响一批页面;用规则筛选出需要单独处理的少数页面。
适合规则化的模板级工作:
这些工作的判断标准是结构性的,不随单个页面的内容变化,规则化后一致性反而更好。
不适合规则化的部分同样明确:判断某个页面是否值得保留、两个近似页面该合并到哪一个、某批页面流量下降是内容问题还是抓取问题。这些需要看具体数据和页面内容,规则只能提供线索,不能替你下结论。
一个可执行的动作是:先选一个模板做试点,把该模板下所有页面的标题按新规则重新生成,观察一段时间内这些页面的抓取和展示变化,再决定是否推广到其他模板。这里要注意,抓取量或展示量的变化可能来自多个原因,比如同期内容更新、外链变动、季节波动,不能只凭一条曲线就断定规则有效。试点的价值在于缩小观察范围,而不是提供确定结论。
不用按页面数量一刀切,可以用下面三个条件逐个判断:
三个条件同时满足时,规则化通常划算;只满足一两个时,可以先规则化“检查”部分,把“修改”留给人工。
假设一个站有 1200 个页面,集中在 5 个模板下,其中 3 个模板的标题完全由程序拼接,另外 2 个模板的标题由编辑手写。
对前 3 个模板,手工逐页改标题没有意义,因为下次模板更新又会覆盖,正确做法是改拼接规则本身,并加一条长度校验。对后 2 个模板,页面数量可能只有一两百,手工改仍然可行,而且手写标题往往承载了页面意图,规则化反而容易改坏。
分岔点不在于总页面数,而在于“这批页面的标题是谁生成的”。程序生成的,改生成规则;人工生成的,改判断标准和抽检方式。这个区分动作做完之后,下一步该投入的地方自然清楚了:前者投入在规则维护和校验上,后者投入在编辑规范和抽检上。
如果站点刚经历大幅改版、模板还在频繁调整,此时把修改规则化,规则本身会跟着模板反复变,维护成本高于收益,更适合先稳定模板再谈规则。如果某个目录下的页面数量虽多但意图差异极大,比如同一路径下混杂了资讯、工具、下载三类内容,统一规则会把不同意图的页面处理成同一种形态,应先按意图拆分目录,再分别制定规则。
规则化的目标是让重复判断不再消耗人力,而不是让人不再判断。把检查、生成、校验交给规则,把取舍和归因留给人,规模扩大后反而更容易看清哪些页面值得继续投入。