在开发者waterfall的优化过程中，通常会遇到需要进行分层底价调整、中间插入测试一家新平台的分层效果、或者进行增加/删减分层等优化操作，这些操作难免会造成整体waterfall数据上的变动风险，进而影响到开发者的变现收益。基于这样的情况下，能够找到一种小成本、低风险、高效率的迭代优化方法显得极为重要。A/B
Test优化方法能够把流量按比例进行划分，划分后的流量可以设置不同的变现方案，这样能够最小化的规避由于waterfall上的变动带来的风险，下面让我们详细了解下A/B Test的方法和原理。
什么是A/B Test?
A/B
Test的前提是首先需要创建关于某个元素的假设，然后将应用的流量用户分成A、B两组，并对每组进行不同的Mediation设置，通过分析其数据各项指标的情况从而得出哪种策略更有利于实现预期目标，并最终将流量全部切换至符合目标的方案。
通常来说，A/B Test往往分为控制组和测试组，也就是Group A (Control Group)和Group B (Test
Group)。通过比较A、B两组的变现数据结果，帮助开发者更快的确认哪种变现策略更好。
A/B Test开始前有哪些准备工作？
1. 了解A/B Test的测试目标
首先对现有变现策略的数据进行有效分析，找到预估可能会达到更优结果的变量形成测试组，选择合理的控制组和测试组变量进行测试是至关重要的，往往在测试的过程中唯一变量法是最直观最容易分析出影响结果的因素的方式，一旦确定好了测试目标，就可以开始A/B
Test的创建工作了。
其次测试之前需要明确出A/B 方案的对比维度，那么哪些数据维度可以进行提升呢？使用AdTiming的前台功能可以发现，有如下维度可以测试：
● Ad Network 维度
可以对增加分层、删减分层进行两组waterfall变现效率对比。
● Segment 流量维度
可以针对不同的广告频次、用户访问时间、设备型号、版本进行不同组的变现对比。也可以针对audience粒度，通过用户多属性预估eCPM。
●售卖方式维度
包含Header Bidding、自动waterfall与手动waterfall，其中Header Bidding是通过并行去请求多家Programmatic Buyer，以针对每次Ad
Request进行实时出价，不浪费每一次Ad Request 高价机会。
2. Test样本与测试周期规划
流量拆分是指对当前人群随机划分一个比例，一部分当做控制组人群，另外一部分当做测试组人群，当然，具体拆分的比例在测试的过程中是可以自定义的，比如由于对测试组的数据存在很大程度的不确定性，为了保险起见，控制组与测试组的流量拆分比例可以分别是70%和30%、80%和20%等等，这样即使测试的数据跟控制组的数据波动极大，也不会对整体的收益造成很大的影响。
测试周期是指创建测试组完成后从开启到关闭测试组后的整个时间段，测试周期的时间长短取决于已测试的样本量，往往反映出数据量的稳定性即可。
在得出最优的测试方案后，可以采用逐渐放开流量的策略使变现收益达到最大化。
3. 组B Mediation方案的策划与准备
在确定好B组的测试目标后，针对测试的变量，需要提前做好相关准备工作。由于A组和B组不能使用同一个广告位的instance，所以，首先完成B组相关平台的广告位创建并完成底价的设置，其次创建新的instance并填写对应平台placement
ID，最后A/B Test type选择B，即可完成。
创建组B通常要考虑哪些方面？
1. 判断waterfall层级数据的合理性的要素
A.
eCPM与waterfall层级的优先级排序要匹配。eCPM的高低对收益起着极其关键的作用，也是开发者关注的一个重要指标。在变现优化中，不同的Ad
Network在eCPM的底价算法各不相同，这也就意味着即使按照waterfall层级的优先级高低设置的底价是从高到底的，实际得到的eCPM也未必会如此。所以我们需要在数据量达到一定积累的时候根据实际eCPM高低调整waterfall层级的顺序。
B.
不同waterfall层级的填充率要合理。在变现的数据中存在典型的数据问题：
典型问题一：
头层填充率过高，甚至达到80%以上，这就说明请求量级基本上可以被头层进行展示，也就是头层底价设置过低导致收益不能实现最大化。
解决办法：我们采用B组测试，在现层级基础上增加一层或者多层作为头部层级，通过提高底价设置来保证收益最大化。
A组以及B组加分层并调整其他层级的价格后waterfall层级如下：
典型问题二：
头层的填充率过低，底价设置不合理，也就意味着大部分的展示数据都被打底层级展示，这样对收益的影响巨大。
解决办法：我们采用B组测试，下调除打底层级以外的其他层级的所有底价设置保证一定的填充率和展示量从而达到收益的最大化。
A组以及B组加分层并调整其他层级的价格后waterfall层级如下：
C．
waterfall层级划分过细。如果整个广告位的量级都不是很大的话，层级划分过细会导致每层的展示量很低，而每家Ad
Network的算法都跟展示量级有一定关系，也会整体影响eCPM，从而影响收益的最大化。
D．
相邻层级的eCPM差距值要合理。这也是在变现过程中比较容易被忽略的一个方面，除了重点观察fill
rate和eCPM外，还需要注意各个层级之前的eCPM值，如果间距过大，可以适当增加中间层级来提升收益。
2. 新增ADN平台广告位的实际效果
目前前台支持12家Ad
Networks，在对接前期往往因为一些客观因素导致对接平台数量有限。对于新增平台，可依据预先调研或积累的历史数据表现预设分层，不同平台在不同品类、国家、广告形势上的表现均有不同，依据历史经验数据预设测试组可以更好地发挥测试作用，同时减少不必要的时间浪费。B组相对于A组中的唯一变量就是增加新对家的Ad
Networks的层级，通过流量拆分进行测试得到最优的收益方案。
3. 测试变量要唯一
在进行A/B
Test的时候选择变量的唯一性是至关重要的，在对最终的数据进行分析的时候，可以很清晰的知道数据变动的影响因素。所以我们在进行B方案的时候，需要选择与A方案的唯一的变量因素，同时我们测试waterfall
B方案，那A方案就不要在B期间进行变动，否则会影响A、B变量效果的判断。
4. 测试的置信时间和数据量级
如何更精准地判断A与B方案哪个最优？这就需要有足够的时间和数据积累。时间上，通常需要3天以上才能完成测试，以排除由于季节性、平台自身等原因带来的偶然影响；数据上，通常需要达到5k以上才具有参考意义。以上数据仅作为参考，具体的置信时间和数据依应用情况的不同而存在一定差异。
AB Test在系统中是如何实现的？
在AdTiming平台，您可以通过更为简洁的方式实现AB Test。具体操作步骤如下：
步骤1：导航到Mediation到AB test，点击“Create A/B Test创建
步骤2：定义您的A/B Test
步骤3：在开始A/B Test之前需要完成配置
其一，直接导航到Ad Network Setup-B TEST Group进行设置，对已经集成的Ad Network在Operation中配置相关的参数即可。
其二，在完成Ad Network以后，开始对Mediation Setting进行相关的配置。
其三，开启正式的测试。
步骤4：分析报告并终止测试
结束语
至此，您对A/B Test测试的相关的内容有了一定的了解，它是在提高变现收益方面的一种低风险的测试功能，对开发者非常受用。
