引入词语化:数据的自动解释
By: David Sumpter
Sept. 17, 2024
随着TwelveGPT 开源的发布,我解释了为什么词语化在未来将成为大型语言模型的重要用途。
ChatGPT 发布近两年后,大型语言模型的商业应用面临两大挑战。
1、语言模型仍然说了很多不真实的事情。
2、事实证明,基于这项技术构建可行的产品非常困难。
让我们想象一下,我们不相信 Sam Altman 所说的 GPT-5 将比 GPT-4 有巨大的进步,也不相信大型语言模型的能力会像Claude 的创建团队所相信的那样,随着计算能力的提高而不断扩大。让我们考虑一下,1 和 2 的解决方案不在于计算能力和给这些公司很多钱,而在于我们人类理解世界的创造力……
来自 Twelve GPT Educal 的截图。您可以在此处尝试。
正是这种信念决定了我去年将法学硕士学位用于足球领域。我们(在 Twelve football)没有使用越来越多的数据来密集训练模型,而是建立了自己的足球比赛数学模型(利用我们与俱乐部合作的经验),然后使用现有的语言模型来解释这些模型告诉我们的内容。这是一种非常不同的解决挑战 1 和 2 的方法,不仅在足球领域,而且在一系列应用中都是如此。
在这篇文章和随附的Github 存储库中,我概述了如何创建我开始称之为“文字化”的东西:用文字来表示数据的事实。我从“可视化”中衍生出“文字化”这个术语:正如数据科学受益于能够更清晰地可视化数据中的模式一样,通过对数据进行文字化,我们可以更清楚地理解数字告诉我们什么。
为了让我们开始理解这个想法,让我们看一些例子。以下是 Twelve 的一份自动比赛报告中对阿森纳边锋布科约·萨卡的总结(完整报告请见此处)。这是来自 TwelveGPT 专业版。
此文字描述中的所有文本都是自动生成的。标题指出了他上赛季在终结能力(将机会转化为进球)方面的弱点,而下面的文字则解释了为什么他可以被认为是多才多艺且爆发力十足的。可视化以两种不同的方式展示了他在某些指标上与其他球员的比较。文字描述解释了我们应该如何解读这些指标。
词语化只包含事实正确的陈述。要了解我们如何做到这一点,请考虑我们如何衡量球员的禁区威胁(威胁对手禁区的能力)。我们首先查看球员带球进入禁区的频率、在禁区内接球的频率和其他指标的基础数据(这些指标在完整报告中详细说明)。然后,我们根据这些指标对所有球员进行排名(使用加权平均值)以建立禁区威胁质量。从那里,我们执行三个步骤。第一步是用文字描述整体质量和指标(例如差、平均、好或优秀);第二步是创建一个小型书面训练集,解释指标在足球术语中的含义;第三步是提供我们希望看到的报告类型的示例。然后将所有这些步骤的输出输入到现有的大型语言模型中以获得最终的词语化。
这里我跳过了很多细节(要真正了解这些细节,您必须开始使用我们的开源版本),但我想强调的重点(关于上述挑战 1 和 2)是,这个过程都不涉及构建更大的语言模型。它涉及使用我们自己的建模技能和对特定主题领域(在本例中是足球)的知识来利用已经存在的大型语言模型(这里我们使用 ChatGPT,但 Claude、Llama-2 或 Gemini 也同样有效)。人类的创造力才是关键!
任何可以形象化的东西都可以用语言表达出来。我们还可以描述空间和时间的模式,正如我们的一场比赛报道中的这两个例子所示。
这些文字从不同方面描述了最近一场英超联赛中利物浦战胜曼联的比赛。它们抓住了比赛中的重要细微差别:利物浦获胜是因为他们的防守工作,并且他们在中场和右路的威胁最大。即使读者不完全理解诸如 xG(在图中用到)之类的概念,如果他们“懂足球”,他们就会明白根据数据得出的结论。读者可能不会完全同意许多专家都关注曼联球员卡塞米罗的两个失误,但他们会更好地理解数据“告诉我们”了什么关于比赛的信息。词语化是一种基于客观数据(如上图所示,利物浦确实传球进入了最后三分之一)的主观意见(在某种意义上,我们决定将什么是重要的放入模型中)。
词语化的可能性是无穷无尽的。我在这里展示的只是我们在过去一年中在 Twelve 构建的用于用文字解释足球数据的工具中的一小部分。还有更多的应用领域。我在乌普萨拉大学的研究小组正在研究从性格测试到社会经济数据等一切事物的词语化。当商业应用出现时,看看它们如何影响工作场所将会很有趣。麦肯锡或普华永道等公司的管理顾问目前对金融或商业数据的“人工”词语化收取高额费用。心理测量公司向客户收取“解释”性格测试的费用。我猜这些专家所做的大部分工作都可以使用词语化方法实现自动化。
为了帮助其他人了解词汇化,我们发布了 TwelveGPT 开源。下面的屏幕截图显示了它如何使用我们在 Soccermatics 课程中建立的前锋模型来评估彼得·克劳奇在 2017/18 赛季的表现。
它确实用语言概括了克劳奇独特的技能!
现在就看你的了。如果你想使用这些方法,那么起点是Read Me文件,它概述了 TwelveGPT 开源。但如果你想更快地深入了解,我建议你订阅 Twelve Community,在那里你可以访问 myMasterclass 视频,其中不仅解释了如何构建这样的球探报告,还解释了比赛报告和转会模型。
一些大师班视频演示了这些方法
11 月期间,Twelve Community 将继续举办一系列实践研讨会,我们将共同探讨这些方法。如果您能加入我们,那就太好了。
我非常期待看到其他人在网上分享他们的足球和其他词语。玩得开心!