SEM 专家：A/B 测试应特别注意的 12 个问题

SEM 专家：A/B 测试应特别注意的 12 个问题

杜志国

对于现在的 SEM 账户管理人员来讲，A/B 测试显然是重要的工具。而提升 A/B 测试保证准确度的最好方法是： 关注试验中的各种因素。

这有助于确保你的测试不存在缺陷，而且能带来可以衡量营销工作的有意义的结果。只有这样，你的测试工作才真正开始为你的公司产生价值。

听起来挺简单的，对不对？呵呵。经验丰富的营销人员在 A/B 测试和多变量测试中所犯的错误会让你难以置信，而且，这些错误就连像你这样的专家有时也不能幸免。

本文总结了一些在 A/B 测试和多变量测试中的严重错误，下面这些技巧会帮助你如何避免。

01. 使用充足的样本

当测试结果得出哪个是优胜版本时，营销人员往往就停止了实验，而忽略了做出假设的样本的大小。但是，这样做是错误的样本的大小非常重要。

例如，当这篇文章发表时，我的 3 位同事和我的妻子是首批读者，他们 4 个人都会点赞或在社交网络上分享。

这意味着，在文章的前 10 位读者中，有 4 位将会分享它，即分享率达到 40％。但是到了下周，这篇文章的浏览量达到 10,000，那是否意味着将有 4,000 次分享？不，当然不会。因为这种假设是基于一个规模小而且不规则的样本。

02. 测试的持续时间

每一场活动都是不同的，就像每个行业或领域，而且每一场活动都存在一系列的变量，比如销售周期，消费者购买习惯，销量上升期，选举周期等。为了获得真实的平均值（取决于营销活动的目标和行业特定的标准）， 你要确保你的测试有足够长的持续时间。

例如，如果你正在测试定价或产品的属性，你的测试持续时间应该足够长，以覆盖行业标准的销售周期。我们的目标是获得对于品牌目标有意义的数字。VisualWebsiteOptimizer 有一个实用的 A/B 测试持续时间计算器， 可以帮助你规划实验的持续时间。

03. 排除不规则的日期

除非你正在试图评估某些特定日期如节假日，双休日，黑色星期五等对业务的影响，否则，要把这些日期从测试中排除，因为它们会扭曲你的数据。

例如，在复活节测试立即购买vs现在预订按钮，你得到的结果将是被扭曲的。这是因为在这期间，许多人都在陪伴家人或身处教堂；相反地，在一个典型的星期天，他们就倾向于浏览互联网和网上购物。

类似日期影响消费行为的情况同样也适用于其他不规则的日子，比如发薪水的日子，报税季节等。在这些日子里，消费者购买力大量涌入的同时，一些购物时的障碍将被将削弱。

此外，要注意监察与你的行业相关的新闻事件，确保在你的行业内，没有任何特殊事件（比如产品召回，有竞争力产品的发布会等）会影响到销售额。

04. 限定细分和渠道

在测试时，通常要限定流量的种类。这样做的目的是保持数据清洁，避免受到极端数据和实验范围之外的假设的干扰。

例如，避免混合展示广告和付费搜索的流量，因为这两类流量的消费者的意图大相径庭（被动 vs 主动），测试得到的数据一定不够清洁。正确的做法是，在展示广告中测试若干变量或在付费搜索广告中测试两个不同方

面，这样得到的数据就可以相对准确地反映每种类型的营销广告带来的消费群体的意图。

05. 检查你的期望

测试不是一件设置，然后忘记的事情，但是许多营销人员却都会中枪。不幸的是，这么做会使全部努力付之东流。我见过很多由于代码在测试过程中被改变或破坏而导致测试失败的案例。

保持敏感在实验过程中，请确保定期检查数据的一致性。确保控制代码安装正确，由以往的表现造成的的大的偏差不会出人意料地爆发。

06. 找到你的受众

请确保你的测试的受众是正确的。尽量选择与测试页的目标受众相似度高的受众和流量来源。否则，把测试页面发送给错误的受众会扭曲你的数据。

在开始测试之前，创建一个活动，并引入流量，达到充足的时间后，以便建立一个流量基准线。

07. 深入信息越多越好

请确保你收集的数据足够多，这样你才可以站在那些仅有表面价值的指标上，讲一个更深入的故事。

例如，在最近的一次测试中，我们比较了 3 种着陆页，测试时间持续约 4 周。结果表明，表单最短且没有图片的页面整体转化率最高。

但是稍等，当我们收集到更多的数据后，我们发现：较长的页面在 PC 设备上收效更好，较短的页面在移动设备上表现最佳。这一发现促使我们建立了两个测试：一个用于在 PC 上测试较长页面，一个用于在移动设备上测试较短页面。

08. 再深入一些粒度越细越好

讲完故事就结束了吗？No。重新审视它，再深入一些。这样做可以帮助你探索一些更细微的发现，这些发现将优化你的工作。

再回到上面那个案例。随着实验的逐渐深入，我们发现移动流量大部分都分布在工作日，而 PC 流量在周末更多。这一发现提醒我们可以将测试再度细化。现在，我们有四个测试了，每个测试都设计了各不相同的完美的着陆页。

09. 以转化阶段为单位进行测试

在创建测试时，确保你关注的因素始终在转化漏斗的同一阶段，无论是在认知阶段还是购买阶段等。

例如，不要把想看数码相机分类的人和想看尼康 D7000产品的人引入到同一页面，这样做会扭曲你的数据。

10. 弹出调查问题

如果能把二进制值（ yes 和 no ）的数据和真实世界中消费者的数据结合起来，那么实验就完美了。添加一个退出调查可以帮助你实现。注意：既要调查那些完成转化的消费者，也要调查那些中途放弃的消费者。

11. 测试值得测试的

我见过不少令人哭笑不得的测试计划。例如，有些公司使用测试来解决创意上的纠纷Helvetica 字体 vs. Tahoma 字体而不是利用测试去做更重要的工作。测试值得测试的，值得的标准是：测试的结论一定要能帮助提升销量！

测试那些可以带来显著效益的元素，比如行动召唤按钮，定价和优惠，标题，图片，表单和外部链接等。

12. 创建一个测试流程和框架

虽然上面列举的这些最佳实践很关键，但是，创建一个好的测试流程和框架才是最重要的。无论你是拥有 200

个品牌的大型企业，还是只有两名员工的小公司。

创建测试流程和框架的第一步，是将业务需求转化为各种数字化的 KPI。然后你需要判断制定的各项 KPI 都由谁来负责以及哪些指标会影响到 KPI。

你的测试应该有一条完整的作业线：哪些正在测试，哪些测试完毕，哪些将要测试。所有的测试都应该汇总到一个测试矩阵中，这个测试矩阵记录了之前所有的测试过程，前人的测试结果和你的测试结论。这一点很重 要，因为尽管测试永无止境，那些已经被证明了结果也不需要一遍又一遍地反复测试。

好的开始是成功的一半

请记住，测试实验的设计对测试实验的结果意义重大。如果一开始的设计就是有缺陷的，实验的结果肯定不会准确。仔细查看你的测试，并应用上面的最佳实践。这样做将有助于你设计出更好的测试，并且产出可以衡量营销工作的有意义的结果。