当A / B测试Aren’t足够了,斯科特城堡 “产品人员-产品经理,产品设计师,UX设计人员,UX研究人员,业务分析师,开发人员,制造商和企业家 December 12 2020 真正 分析,数据可视化,数据驱动的决策,数据驱动的产品管理,产品分析,定性分析,定性数据, 注意产品 介意产品有限公司 1083 旧金山ProductTank上的Scott Castle 产品管理 4.332

当A / B测试Aren’t足够了,斯科特城堡

通过 ON

在这个 ProductTank旧金山 talk, 斯科特城堡 (VP &Sisense的GM)向我们展示了如何使用A / B测试和点击流以外的数据来构建具有更长,更复杂的用户流的产品。鉴于我们中的许多人都在Enterprise和B2B产品中工作,而用户旅程很少是简单明了的,Scott提供了一些更高级的业务分析方法,以帮助我们在更复杂的环境中理解产品性能。

作为演讲的开场白,Scott展示了他所负责产品之一的UI,强调了大量活跃的UI元素以及产品的复杂性和复杂性。显然,分析事件的简单点击流并不能帮助他理解用户的行为或他们发现有用的东西!值得庆幸的是,有许多工具可用来帮助管理B2B产品生成的各种数据,其中许多工具都带有某种内置的分析功能。 Scott谈论如何融合这些不同的数据源,以帮助他建立对客户正在做的事情的理解,以及对他的产品团队是否正在构建正确的事情以创造客户成功的理解。

收益归因

在B2C的世界中,A / B测试提供了一种简单的方法来确定哪些商品可能会转化为更多的用户。 Clickstreams和Amplitude之类的工具非常适合从短时间的用户流中收集数据,但对于较复杂的产品却不能提供太多数据。对于销售多种产品或具有多种附加功能的公司而言,确定哪种功能或哪些捆绑产品带来最大的用户价值通常更为复杂。

对于我们来说幸运的是,Scott解释了一种他用来了解B2B产品的各个方面对他的客户群有相对影响的方法。更幸运的是,它相对简单–在交易结束60天后,他跟踪客户使用的产品功能,并将交易的价值归因于这些功能(假设他的客户最初将主要关注他们在产品中看到的关键价值)。

当他建立起那张图时,他可以开始确定哪些特性和功能对他的细分市场最有价值,然后开始计划其营销和销售计划。

功能替换

有时会添加解决特定客户问题的新功能,或者将旧功能替换为新功能,&-改进的版本,但没有采用替代版本–至少不是您期望的那样。斯科特(Scott)解释了如何在Periscope Data上发生类似的情况–推出了一项功能,可支持频繁的客户请求,他知道几个用户已经找到了解决方法。使他感到困惑的是,即使现在已完全支持该功能,他仍可以从他的数据中看到许多客户仍在继续使用该解决方法!

因为他具有产品的功能使用情况数据,所以他可以看到使用“旧/ hacky”方法的人数与使用新发布的支持的人数相比有所增加。有了这些知识,他就能与这些客户通电话,采访他们并了解正在发生的事情。

事实证明,在这种情况下,长期用户只是养成了使用黑客的习惯,并继续使用他们知道的方法–并教给同事。

当然,跟踪新功能相对简单–这是Scott团队可以使用的清晰小部件–但是跟踪旧的被黑客入侵的解决方案会比较困难。它涉及编写SQL查询以专门查找变通办法的标记(斯科特的团队意识到这一点),然后在他们推出新功能时跟踪该行为。

推出延迟

在企业界,用户在发布或可用性的第一天就没有采用许多功能和产品。在许多情况下,这取决于采购流程,基础结构更新积压和用户惯性,但结果是相同的–您的B2B技术在整个客户组织中推广之前需要很长时间(有时需要几个月的时间!)

但是,您如何知道使用延迟是“正常”还是警报原因?发布新功能时,您将拥有采用的KPI和目标,并且需要确保它们相互平衡,才能对客户的行为提出切合实际的期望。 Scott的建议是跟踪各种功能的采用时间,随着时间的流逝,您将逐渐了解客户采用各种功能通常需要多长时间。

史考特(Scott)分享了一些自己的经验,包括一些图表,这些图表显示了客户支出与采用延迟之间的明显趋势。当然,您客户的行为很可能是特定且独特的,并且某些关联会比其他关联更强。他的观点是,收集具有代表性的功能的数据将帮助您估算采用周期可能要长的时间,然后平衡您的KPI,以有意义的,建设性的方式反映出来。

任期

从用户那里获得反馈时,他们的 任期 产品的使用将决定您如何理解他们的行为和反馈,因为不同的事物与新老用户有关。

为了帮助您在数据中找到这些不同的用户群,Scott建议您查看用户与用户之间的时间差异 第一 开始使用给定功能,以及他们最近一次使用该功能的时间。通常,您会看到一些清晰的图案和平稳状态,这表明用户已经熟悉和接受了您的产品的不同阶段。

重要要点

A / B测试是一个强大的工具,但不是 只要 产品人员可以使用此工具,以建立基于数据驱动的客户对其产品使用的理解。在复杂的B2B环境中,它当然甚至不是最合适的工具。借助相对简单的SQL查询和良好的数据可视化,就可以开始对客户以及产品在长短时间内的性能进行更复杂的了解。