Forum Posts

sifat khan
Jun 04, 2022
In Wellness Forum
在产品做一个功能或需求时,听到最多的疑问就是:新西兰电话号码列表 你这个功能/需求能带来的收益是什么?收益能有多大?那我们怎么去衡量一个需求带来的实际收益?这个时候,AB test就是协助我们衡量需求收益的好朋友。 一、AB test是什么? 专业术语说:AB测试的本质是分离式组间试验,也叫对照试验,在科研领域中已被广泛应用(它是药物测试的最高标准)。新西兰电话号码列表 自2000年谷歌工程师将这一方法应用在互联网产品以来,A/B测试在国外越来越普及,已逐渐成为互联网产品运营精细度的重要体现。 现实业务使用中,我认为AB test就是保证2组或多组根据条件限制划分的用户在只有1个变量条件情况下,对分组用户的各项数据指标进行汇总,新西兰电话号码列表 对比指标变化涨幅来确定试验好坏,并且伴随数据分析去发现问题,解决问题的一个过程; 二、AB test的使用场景 产品UI变动时,新西兰电话号码列表 AB一下新的UI是否会给用户带来更好的交互体验和视觉感受; 新增功能,想给产品增加一个新功能,AB一下新功能能带来多少收益,后期还值得公司投入多少资源去做这一块。 推荐系统中,首页推荐/搜索/推送业务都会用到AB test:推荐上用来对比一个策略、一个模型、甚至增加或减少一路召回、增加或减少一个特征、或强插一路新内容冷启动;搜索加一个推荐业务模型、上一个意图识别服务,建一个自定义纠错库;推送给用户推的频率、推的内容、推的时间等等,这些都需要AB试验去协助决策。 使用场景很多,新西兰电话号码列表 以上只是我在工作实践中遇到的需要做AB试验的场景。新西兰电话号码列表 凡是涉及到单一变量的数据对比,在用户进行维度打散的情况下,万物皆可AB。 三、AB test怎么用? 1. 在业务中的生效逻辑 AB试验,既可以做客户端试验,也可以做服务端试验,下面就根据客户端和推荐服务端和AB试验平台的试验流程来讲一下其中的区别和生效逻辑: 客户端试验(左图),新西兰电话号码列表 主要是说用户请求推荐时,客户端主动带着用户信息(app版本号、渠道号、新老用户、用户onlyid)去AB试验平台上获取用户的试验配置,试验平台会根据用户的onlyid进行哈希分流(这个下面有讲到)。 新西兰电话号码列表 然后将用户分进对应的试验组,客户端会把用户的试验信息存在本地,每次用户打开app时会再去拉取一次配置,然后带着用户配置请求推荐接口,推荐会根据用户的试验配置返回对应的推荐列表。
推荐策略产品经理实操 新西兰电话号码列表 content media
0
0
11
 

sifat khan

More actions