为什么应该对机器学习产品进行不同的管理 “产品人员-产品经理,产品设计师,UX设计人员,UX研究人员,业务分析师,开发人员,制造商和企业家 January 01 2020 真正 人工智能,大数据,决策树,物联网,机器学习,神经网络,产品管理,产品管理技能, 注意产品 介意产品有限公司 1518 产品管理 6.072

为什么应该对机器学习产品进行不同的管理

通过 ON

基于机器学习(ML)的产品具有特殊的特征和挑战,从数据质量到反事实问题和可解释性。机器学习产品对团队结构,重点和招聘有什么影响?

数据科学工作是 同比增长约30%,如果您还没有数据科学家,那么您很快就会有机会。也许您已经有一些 您用来细分客户,预测价格的数据产品 或以其他方式改善您的产品。也许您的核心产品  机器学习,为医疗保健,安全,广告技术或其他应用程序提供建议和预测。

机器学习挑战

ML依靠它依赖的数据生存和消亡。垃圾进垃圾出。如果数据丢失或有偏差,存在冲突或在错​​误的时间或以错误的顺序接收到数据,则可能做出错误的决定。此外,许多ML模型的预测将用于实时或近实时地确定特定路径。因此,一旦输入了数据并做出了决定,就为时已晚。用户已经被误导了。

不考虑用户将如何消化输出而全力以赴地准确性会破坏对产品的信任。如果您听不懂,怎么能相信它呢?

无论数据的好坏,一旦采取干预措施,就会出现反事实问题。已走的路,否则无法证明会发生什么–并以此扩展您的产品是否正确。

A / B测试原则上可以解决此问题:让少量用户通过而无需干预,并查看您的预测是否正确。但是实际上,在成本非常可衡量的情况下,这可能是一个艰难的选择–财务或其他方面–不干预。即使达成协议,也可能存在人为地限制测试从而破坏其前提的诱惑。

然后是广为人知的ML产品黑匣子挑战。我们可能知道输入和输出,但是不知道算法在这之间的作用。这就是“可解释性”的问题:人类可以分析和解释ML做出的预测背后的原因的程度。在英国,信息专员’办公室和艾伦·图灵研究所正在建立 实用指南和清单 帮助应对这一挑战。

不同的机器学习技术具有不同级别的可解释性。例如, 决策树 比更复杂的神经网络更容易解释。在准确性和可解释性之间通常需要权衡取舍。不考虑用户将如何消化输出而全力以赴地准确性会破坏对产品的信任。如果您听不懂,怎么能相信它呢?

如果您要提供B2B服务,那么这可能会影响您产品的购买者和最终用户。最终用户可能正确或错误地将机器学习视为威胁。即使是旨在扩大现有团队规模的产品,也会改变他们的工作方式,并且很难改变。例如,一名保险分析师可能会从亲自审查应用程序转向指导ML驱动的审查工具并调查宏观趋势,这需要仔细考虑和缓解。

决策树比神经网络更容易解释(图片:Shutterstock)

团队架构

面对这些特殊挑战,应如何管理ML产品?

资料品质

为了解决数据质量的关键作用,您需要重点关注数据的接收和存储方式以及负责人。数据工程通常被认为是水管工程,但我认为这确实是不公平的。这也是房屋的建筑平面图和地基。没有良好的数据工程,大厦将崩溃。因此,重要的是要考虑谁会从事这项工作,他们的经验水平以及应投入多少时间。与一致性,效率和确保数据获得应有的关注相比,拥有一个卓越的中心可能会有益,而不是分配责任。

例如,在Ravelin,我们的一个团队明确致力于数据工程。该团队支持其他多个团队的需求,例如数据科学家,分析师和集成工程师。这将接收到的原始数据扩展到提取的见解。在这两者之间,可能需要对数据进行标准化以确保一致性和辅助比较;可能需要补充补充数据源;可能需要将数值输入计算中以填充不同的数据字段;动作列表继续。这不仅是该团队要处理的数据,还是用于培训和部署模型的周围基础架构和管道。

数据科学与分析

在数据科学方面,您可以选择创建一个集中的共享服务团队,也可以将数据科学家分配到多学科团队中。每种方法都需要权衡。

确保数据科学,产品和工程之间的紧密协作,而不论其结构如何(图片:Shutterstock)

有了一个集中的团队,尤其是数据科学家主要在同一个问题领域工作的团队,中央模型使日常共享课程和快速应用课程变得更加容易。它为ML的准确性创建了一个共同的目标和一个责任重点:责任就此止步。根据公司的规模或数据科学家的数量,它也可能是唯一的选择。风险是团队成为功能孤岛,与产品工程团队之间的合作不够紧密,目标和优先级不同步。

相反,将数据科学家纳入跨职能团队可以帮助协调和开发新产品的早期阶段。该团队将减少依赖并增加自主权。但这可能与技能集,感兴趣的领域以及数据科学家的未来发展不太吻合。它可能会破坏运营数据科学工作的平衡,例如不断培训新模型和新产品开发工作。要求数据科学家仅专注于一个领域可能等同于要求产品经理仅关注UX,或者仅关注技术,或者仅关注业务。

最重要的是数据科学,产品和工程之间的紧密协作,而不论其结构如何。确保您不会错过数据科学团队相当可观的信任,包括不太明显的“数据科学”领域。一方面,您可以为决策增加更多的想法。另一方面,您应确保不会对ML质量产生不可预见的影响而进行产品更改。例如,您可以通过鼓励切断特定数据信号的用户行为来无意中阻止模型学习。

另一个考虑因素是谁负责数据分析。只是数据科学团队?还是有其他人,团队或角色可以利用现实环境,直觉和解释的优势来扩充机器?您可能会查看现有的分析师或客户服务团队。在Ravelin,我们为此目的创建了一个专门的调查团队, 客户支持,欺诈调查和数据科学.

产品管理

我认为ML产品不需要特定的产品经理资料,当然也不是全部。我们已经招募了以技术为导向的产品经理和通才产品经理。

良好的分析能力和对细节的关注大有帮助(图片来源:Shutterstock)

借助ML产品,您将更加注重数据和API,并且出色的分析技能和对细节的关注会走很长一段路。同样精通Chrome开发者工具和SQL。您经常需要说出错误与基础数据问题之间的区别。然后考虑处理该数据的更好方法。

但是,机器学习产品的产品管理基础保持不变。良好的团队合作和沟通能力,很大的好奇心和学习的热情,足以使某人成功开发ML产品。

在此领域开始担任产品角色之前,您应该阅读一些度量标准,例如精度,召回率,F1得分和其他常见度量。并阅读 入门级机器学习书,看看Google 机器学习食谱 videos, or this ML的视觉介绍.

在第一个月,您将不得不掌握许多新概念。存在的东西叫做 混淆矩阵 似乎再合适不过了。但是很快事情​​就开始发生了。您将弄清楚您需要知道什么,以及不需要知道什么。当然,作为产品经理也是一个不错的地方:在一个日益重要的领域中,它面临着有趣的挑战以及许多学习和成长的机会。