热点资讯网

您的位置:首页 >财经 >

“抖音”命名的方法论:解码字节跳动如何A/B测试

时间:2021-04-20 19:44:52 | 来源:第一财经

近来关于字节跳动上市消息再次传出,同时引发大众据其估值分析其优势资产的讨论。数据与流量已然成为字节跳动的核心资产,互联网圈内通过数据手段驱动业务增长渐成共识,虽然此前曾被字节跳动创始人张一鸣否认,但多年来持续通过算法与A/B测试进行试错、逐渐搭建起的字节跳动APP生态,一度被外界称为“AB测试公司”。

4月20日,字节跳动旗下火山引擎技术开放日中,字节跳动副总裁、算法和数据技术负责人杨震原首次揭秘字节跳动如何使用A/B测试(AB test)。火山引擎是字节跳动旗下为企业服务的智能科技品牌,字节跳动的A/B测试工具也已通过火山引擎开放给企业客户。数据驱动并非单纯的唯数据论,更不是数据至上,而是需要对可以量化评估的目标,以A/B测试的方式进行更好地驱动,它代表的是科学决策的理念。

而所谓A/B测试是指对不同策略进行对比实验,根据结果选择最优方案。作为数据驱动的重要手段,A/B测试目前被广泛应用于互联网推荐系统、广告系统、增长黑客、用户增长、数据分析、数字化运营、智能营销等领域。海外如Facebook、Google等大体量公司,国内除了字节外,还有借鉴该模式打造爆款的完美日记等。未来随着To C流量红利的消退,A/B测试类工具将越来越被重视。

据杨震原介绍,成立之初,今日头条就启动了策略推荐类的A/B测试。2016年,字节跳动建立了支持大规模产品实验的A/B测试平台,之后陆续接入抖音、西瓜视频等全线业务,将A/B测试应用在产品命名、交互设计、推荐算法、用户增长、广告优化和市场活动等各方面决策上。

最新数据显示,字节跳动每天同时进行的A/B测试达到上万场,单日新增实验数量超过1500个,覆盖400多项业务。随着公司发展,这些数字还在不断扩大。截至今年3月底,字节跳动累计已经做了70多万次A/B测试。字节A/B测试客户群中以悟空租车为例,该公司已通过火山引擎进行了70多次A/B测试,约有60%为正向实验,提升产品转换率约40%,以往需要一周时间的需求复盘数据分析,现在只要一天就能得到数据结论,提升了效率。

字节体系之外,Netflix工程师Gopla Krishnan此前在个人博客上表示:一个产品功能或内容如果无法在90秒之内获取一个用户的注意,用户很可能就会失去兴趣,并转向其他行为。背后原因正是平台没有足够的根据,证明用户为何喜欢某一个内容,因此没有用正确的思路去呈现内容。于是Netflix在2013年进行一次大规模的A/B测试,通过在电影海报上做出个性化文章提高转化率。

当然,A/B测试也并不是万能的,它也有很多局限性,杨震原表示,A/B测试会定下原则,比如提高商品推荐门槛、不推荐评分低的商品,如果做A/B测试,短期内交易量肯定会降低,但长期来看结论有可能逐渐反转,这是长周期影响和目标设定的问题。此外,独立的实验条件、统计置信度等问题都是做A/B测试需要考虑的。

A/B测试也并非万能,杨震原以“抖音”为例解释称,当初给短视频平台起名时内部进行了A/B测试,“抖音”这个选项实际位列第二名,但当时产品经理们从经验角度认为“抖音”长期来讲更符合认知,更能体现这个产品的形态,因此最终选择了“抖音”这个名字。

因此,杨震原认为企业应充分意识到A/B测试的优势和缺陷,对目标选择适合的评估方法,如战略型决策需要专家角色进行长期的思考;细节决策若能做A/B测试尽量先做,同时关注到量化分析的执行能力,真正做到数据驱动科学决策。“充分进行A/B测试是一个能够补充信息的过程,消除偏见,带来很多客观事实。但是它也不是完美的,也需要补充其他方法一起进行,就像给‘抖音’起名字一样。”杨震原表示。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如有侵权行为,请第一时间联系我们修改或删除,多谢。