把练习拆成“冻结版本”和“实验版本”两条线,是重新获得可比性的核心。冻结版本不再改动,只用来记录基准;实验版本每轮只改一个变量,并保留同一套观察指标。这样,即使多个角色对“哪里出了问题”有不同理解,也能把分歧落到可以核对的项目上。
改动过多之后,常见分歧有两类。第一类是事实分歧:有人记得改过标题,有人记得只改了内链,双方对“改了什么”说法不一致。第二类是判断分歧:大家都承认改了哪些地方,但对“哪一处改动带来了变化”有不同解释。两类分歧的处理方式不同。
如果是事实分歧,先不要继续优化,而是把改动记录补齐。可以按日期列出每次改动的对象、改动前后内容、执行人。若记录缺失,就承认这段练习的因果链已经断了,把当前状态定为新起点。如果是判断分歧,则不必推翻全部工作,只需重新设计对照方式,让不同解释各自对应一个可核对的观察项。
条件一:改动集中在同一层,且时间间隔较短。例如一轮练习里同时调整了页面标题、正文小标题和内部链接锚文本,且都在同一周完成。此时更适合续做:保留当前版本作为实验版本,另建一个不再改动的冻结版本,从下一轮开始只改一个变量。原因是改动彼此距离太近,强行归因容易把相关当成因果。
条件二:改动跨越多个层面,且中间已有其他动作。例如先改内容结构,又调整了发布节奏,还换了观察周期。此时更适合重做:把练习目标缩小到一个可独立判断的问题,重新建立基准。原因是旧过程里混入了太多无法分离的动作,继续追加改动只会让比较更困难。
选择依据不是“哪个看起来更专业”,而是能否说清下一次改动与上一次改动的区别。如果说不清,就重做;如果说得清,就续做。
假设一次练习中,A认为“标题改短后点击表现变好”,B认为“只是发布时间变了”。可以这样操作:
这个动作的结果会直接影响下一步:如果两人对原始记录仍无法达成一致,说明问题不在方法,而在记录口径,应先统一口径再继续;如果记录一致但解释不同,则可以把两种解释分别写成下一轮待验证的假设。
假设冻结版本连续四周的点击记录为 40、42、41、43,实验版本为 44、45、43、46。这里不能直接说标题改动带来了提升,因为样本周期短、外部因素未控制,数字只能说明“实验版本在这几周内略高”。下一步应做的是:延长观察周期,或交换两个版本的处理顺序,看差异是否仍然存在。这个例子中的数字仅用于说明比较方法,不代表任何真实项目结果。
如果练习目的只是熟悉流程,而不是判断某个改动的效果,那么不必强行建立冻结版本。此时可以把重点放在记录完整性上:每次改动留下时间、对象和原因,便于日后回看。另一种例外是招聘方明确要求展示“从问题到动作”的推理过程,而不是展示对照实验。这种情况下,把改动前后的判断依据写清楚,比追求可比性更重要。
无论选择哪种方式,下一步都应先确认记录口径是否一致,再决定是继续追加改动,还是回到冻结版本重新建立基准。