结论取决于一件事:试验是否留下了可复用的判断依据。如果试验期间只看到排名或流量波动,却没有把“哪类页面、哪类查询、做了哪个动作、结果出现在什么条件下”记录下来,那么预算花完只是一个时间节点,不是决策依据。更稳妥的做法不是立即追加或立即停止,而是先用一笔很低的成本做“结论补全”,再决定是否进入下一阶段。下面给出可操作的分界条件。
试验预算和正式预算的差别在于:试验买的是信息,正式投入买的是规模。所以第一步不是算账,而是把已有记录分成三类。
只有当第一类占主导时,继续投入才有明确依据。若记录以第二、第三类为主,追加预算大概率只是把同样的模糊状态放大,而不是让结论变清楚。
可以继续投入的条件通常同时满足三条:
应当先停、先补结论的条件则相反:样本只集中在少数页面,放大后必然遇到完全不同的页面类型;或者效果只出现在一个时间窗口,换一个观察周期就消失。此时继续追加预算,等于在不确定的前提下扩大投入。
假设某次试验只选了站内结构最规整、已有一定收录基础的少量页面,改动后这些页面的表现有改善。如果据此把同一动作推广到全站,很可能在另一类页面上失效——例如内容较少、内部链接稀疏、或查询意图混杂的页面。原因不是动作本身错了,而是试验样本没有覆盖这些边界条件。
这个反例说明:试验结论必须附带适用范围。写成“对A类页面、在B条件下有效”,而不是“这个方法有效”。缺少适用范围的结论,不能作为追加预算的理由。
如果结论不清楚,建议先做一次范围很小的补全动作,而不是直接续费或直接终止。具体可以这样安排:
这个动作的结果会直接决定下一步:如果新样本方向与旧样本一致,说明结论可以外推,追加预算有了依据;如果方向相反或互相抵消,说明原结论只适用于特定条件,此时应缩小正式项目范围,或先解决页面基础问题,而不是继续按原方案投入。
需要区分的是,自然排名类服务与广告投放类的计费逻辑不同。前者通常按服务周期或工作量计价,效果存在滞后和波动;后者按点击或展示计费,停投即停量。把两类预算混在一起看,会让“试验是否成功”的判断更模糊。因此在决定是否继续前,先把已花预算按这两类拆开,再分别判断各自的结论是否成立。
最后提醒一点:试验预算花完本身不构成任何结论。真正决定是否继续的,是试验是否产出了一个带适用范围的、可被下一阶段验证的判断。如果答案是肯定的,继续投入是合理的;如果答案是否定的,先花小成本补全结论,通常比直接追加预算更省。