A/B 测试本质上是以数据驱动为核心、控制单一变量进行科学决策的试验。大多数的典型 A/B 测试工具都按这一原则进行试验类型的设计和包装。
神策数据经过服务多家客户的实践发现,在部分场景中,需要对小流量的策略进行效果评估,尤其是在策略复杂、场景垂直的情况,业务面临的挑战更大。所以神策数据推出了更贴合实际场景的科学试验方式,覆盖更多的业务场景——时间片轮转试验和多人群试验,帮助企业更高效便捷、更节约试验成本。
搜索神策数据进入官网,即可免费体验神策 A/B 测试。
一、时间片轮转试验
时间片轮转试验可以在不同时间段、用不同的运营策略触达指定用户,保证试验策略在时间、空间上的一致性。运营同学可以在试验中设置不同粒度的时间切片,最小 1 个小时、最大 24 小时,将 A、B 两组试验策略生效的时间戳映射到时间切片上,用户在不同时间段内将获得不一样的策略体验。
在设置试验时,运营同学需要逐日将试验首个时间片进行策略翻转,保证试验策略在不同时间片上的分布也是均匀的。并以 A、B 分组在每个时间片上的指标数据作为样本进行抽样统计,以此来评估试验整体的显著性效果。
时间片轮转试验通常应用于以下场景:
1、产品涉及多端用户,各主体间可能产生互相影响的场景
多端用户场景是指同时涉及多角色的场景,比如内容推荐场景涉及作者、用户;外卖场景涉及点餐用户、骑手、商家;打车业务涉及司机、乘客;直播业务涉及主播、观众;基金证券场景涉及基金经理、用户等等。
在如上多端用户场景中,如果针对其中某个单一、独立对象进行随机分流,会由于一对多的关系,造成试验策略之间可能是互相影响的。具体来看,打车场景中,如果试验只针对乘客分流,那么同一个司机可能既接到试验组 A 乘客的订单,又接到试验组 B 乘客的订单,导致平台无法对某些订单的应答率等指标做出有效评估。在内容推荐场景,如果只对普通用户进行分流,那么同一个推荐内容可能同时推给 A 组和 B 组乘客,运营人员将会无法评估内容生产者的相关指标,比如发布量、投稿率等。
如果采用多端同时分流,比如将司机和乘客都分为 A、B 两组。A 组司机只能匹配 A 组订单,B 组司机只匹配 B 组订单,虽然此种方法能够做到分流对象隔离,但会造成匹配对象减少,无法准确评估试验推广到全部用户的收益。因为 A 组订单本来可以发送给所有的司机抢单,但现在只有一半的司机有抢单资格,试验密度与全量用户不一致,无法评估全量推广的效果。
可以看到,以上两种方案都不是非常好的的试验解决方案。而多端用户场景广泛存在于社交、内容创作、电商等领域,使用时间片轮转试验可以很好地解决以上问题,同一时间切片内保持相同的策略,在下一个时间切片里翻转到另一策略,尽可能多地收集试验结果数据,尽快得出试验结论。
2、对于定价策略等需保证同时空用户一致性的体验场景
例如金融、电商行业,企业在商品定价策略试验中,需要保证同一地区/同一时间,所有用户看到的商品价格或优惠策略一致。如果仅仅对用户进行单一分组,那么可能会导致同一地区用户看到的商品价格不一致,出现政策违规或导致客诉。
3、产品流量比较小,不适合对用户做随机分流的场景
A/B 测试往往建立在一定的统计样本基础之上,在产品上线初期或针对某个产品非主要功能界面进行试验,但却没有足够的流量快速验证。想积累样本量,一般需要延长试验周期获得足够的流量,但延长试验周期可能会导致幸存者偏差。另外,在流量有限的场景下,进行用户分流大概率也会造成分流不均。时间片轮转试验可以在多个时间片内累计更多的流量进行快速验证。
需要注意的是,时间片轮转实验不适合有较长延迟性的场景,比如远距离用车调度,时间片大小不好划分;不适合网络时效性强的场景,比如红包分享、优惠券分发等,因为用户在不同时间打开分享链接的内容应该是一致的;不适合有前端感知的功能性试验,因为运营人员需要保证用户在不同时间的产品体验一致,页面样式不能频繁变更。
在传统 A/B 测试中,运营人员往往只能针对单一流量因子(试验对象)做分流。而时间片轮转试验是在时间维度上进行均匀切分,不同的时间片段映射了不同的试验策略,使得所有参与试验的用户在同一时间、同一空间下保持一致的策略,能有效解决多端用户试验场景下的组间干扰和小流量下容易造成分流不均的问题。
二、多人群试验
多人群试验可以帮助企业对不同人群下发不同试验策略并进行测试,高效地观察结果,验证人群差异,满足多种个性化运营场景,找到最优增长方案组合。运营人员可以可以设置多个人群,并且每个人群下可设置 1 到 10 个试验分组,人群之间为互斥关系,保证同时期一个用户只进入一个人群;也可以在一个多人群的试验报告里,对比多个人群的多个策略结果,节省了做多个试验的等待时间和配置多个试验的成本。
多人群试验通常适用于并行测试多个受众群体的场景、差异化运营的场景。
1、并行测试多个受众群体的场景
在该场景中,多个人群可在配置同一个多人群试验时,并行测试新旧策略,一同观测结果,大大节约时间成本和多个试验的配置成本。
比如,某 App 进行首页推荐内容算法优化,重点关注未注册人群和已注册的老用户,可建立 2 个人群,分别设置新旧两个算法,以保证重点人群内的分流均匀稳定,同时可在一个报告里对比人群数据结果。
2、实现差异化运营的便利场景
针对运营场景,多人群试验可长期运行在线,不同人群策略可以做差异化区分,比如会员体系的搭建及运营策略、新老客运营等,助力业务人员找到非常好的的营销策略,提升用户体验。
举个例子,针对不同城市用户,结合其城市消费特征,运营人员可以对不同品类的商品发放不同金额的消费券,以此来找到面向不同特征用户的非常好的营销策略;针对不同行业、性别、年龄段客户设计差异化的网页设计方案,通过数据对比以验证不同特征的群体间的认知差异和行为差异 。
多人群试验的主要目的在于更好地运营人群,实现对不同人群的更深入理解,并提供更贴心、更精准的产品和服务。
神策 A/B 测试一直致力于为客户提供能覆盖更多业务场景和工作流的测试工具,帮助客户降低试验的门槛和成本,进行快速试验迭代,以数据驱动业务增长。未来,我们还将继续提供更多更便捷的试验类型,敬请期待。