为什么AI需要Web3？ Web3会给AI带来什么样的颠覆性进展？

我们来谈谈“为什么AI需要开放”。我的背景是机器学习，在大约十年的职业生涯中，我一直在从事各种机器学习工作。但在涉足加密货币、自然语言理解和创立 NEAR 之前，我在谷歌工作过。我们开发了现在驱动大多数现代人工智能的框架，称为 Transformer。离开谷歌后，我创办了一家机器学习公司，这样我们就可以教机器编程并改变我们与计算机交互的方式。但2017年、18年我们没有做，太早了，当时没有计算能力和数据去做。

我们当时所做的就是吸引世界各地的人来为我们做数据标注的工作，其中大部分是学生。他们分布在中国、亚洲和东欧。他们中的许多人在这些国家没有银行账户。美国不太愿意轻易汇款，所以我们开始考虑使用区块链来解决我们的问题。我们希望以程序化的方式更轻松地向世界各地的人们付款，无论他们身在何处。顺便说一句，加密货币目前面临的挑战是，虽然 NEAR 现在解决了很多问题，但通常你需要先购买一些加密货币，然后才能在区块链上进行交易来赚取它，这是与流程相反的。

就像企业一样，他们会说，嘿，首先你需要购买公司的一些股权，然后才能使用它。这是我们 NEAR 正在解决的众多问题之一。现在让我们更深入地谈谈AI方面。语言模型并不新鲜，自 20 世纪 50 年代以来就已存在。它是自然语言工具中广泛使用的统计工具。长期以来，从2013年开始，随着深度学习的重启，新的创新开始了。创新之处在于您可以匹配单词，将它们添加到多维向量中并将它们转换为数学形式。这对于深度学习模型来说效果很好，深度学习模型只是大量的矩阵乘法和激活函数。

这使我们能够开始进行高级深度学习和训练模型来完成许多有趣的事情。现在回想起来，我们当时所做的是神经网络，它很大程度上模仿了人类，我们可以一次阅读一个单词。所以那是非常慢的，对吧？如果您试图向 Google.com 上的用户展示某些内容，没有人会等到五分钟后阅读维基百科才能给您答案，但您希望立即得到答案。所以 Transformers 模型，也就是驱动 ChatGPT、Midjourney 以及最近所有进展的模型，都来自同一个想法：想要有一台可以并行处理数据、可以推理、可以给出正确答案的机器离开。

因此，这个想法的主要创新之一是，利用我们具有高度并行计算能力的 GPU 和其他加速器，并行处理每个单词、每个标记、每个图像块。通过这样做，我们能够大规模地推理它。该规模能够扩大训练规模以处理自动训练数据。所以在那之后，我们看到了多巴胺，它在短时间内做出了惊人的工作，实现了爆发力训练。它有大量的文本，并开始在推理和理解世界语言方面取得惊人的成果。

现在的方向是加速人工智能的创新，人工智能以前是数据科学家、机器学习工程师使用的工具，然后以某种方式在他们的产品中进行解释，或者能够与决策者讨论数据的内容。现在我们有了这种人工智能直接与人交流的模型。您甚至可能不知道您正在与模型进行通信，因为它实际上隐藏在产品后面。因此，我们经历了从以前了解人工智能如何工作到理解并能够使用它的转变。

因此，为了给您提供一些背景信息，当我们说我们使用 GPU 来训练模型时，这并不是我们在台式机上用来玩视频游戏的那种游戏 GPU。

每台机器通常配备 8 个 GPU，它们都通过主板相互连接，然后堆叠到机架中，每个机架大约有 16 台机器。现在，所有这些机架也通过专用网线相互连接，以确保信息可以在 GPU 之间以非常高的速度直接传输。所以这些信息不适合CPU。事实上，你根本不在CPU上处理它。所有计算都发生在 GPU 上。这是一个超级计算机设置。再说一次，这不是传统的“嘿，这是 GPU 的事情”。因此一个 GPU4 规模的模型使用了 10,000 个 H100 来训练大约三个月，成本为 6400 万美元。因此，您可以了解当前成本的规模以及训练一些现代模型的成本是多少。

重要的是，当我说系统连接时，上一代H100的连接速度是每秒900GB，而计算机内部CPU和RAM之间的连接速度是每秒200GB，这是计算机本地。因此，将数据从同一数据中心的一个 GPU 发送到另一个 GPU 的速度比您的计算机更快。您的计算机基本上可以在盒子中与自身通信。新一代的连接速度基本达到每秒 1.8TB。从开发人员的角度来看，这不是一个单独的计算单元。这些是具有巨大内存和计算能力的超级计算机，可以为您提供超大规模的计算。现在，这给我们带来了一个问题，这些大公司有资源和能力来构建这些模型，这些模型现在几乎作为服务提供给我们，而我不知道其中实际上有多少工作，对吧？这是一个例子，对吗？您前往完全集中的企业提供商并提出查询。发生的情况是，有几个团队不是软件工程团队，而是决定结果如何显示的团队，对吗？您有一个团队来决定将哪些数据放入数据集中。举例来说，如果你从互联网上抓取数据，巴拉克·奥巴马在肯尼亚出生的次数与巴拉克·奥巴马在夏威夷出生的次数完全相同，因为人们喜欢猜测争议。所以你决定训练什么。您决定过滤掉一些信息，因为您不相信它是真的。因此，如果像这样的个人决定要获取哪些数据并且存在这些数据，那么这些决定在很大程度上会受到做出这些决定的人的影响。您有一个法律团队决定我们不能查看哪些内容受版权保护，哪些内容非法。我们有一个“道德团队”来决定什么是不道德的以及我们不应该展示什么。

所以在某种程度上，有很多这样的过滤和操纵正在进行。这些模型是统计模型。他们从数据中挑选。如果数据中没有某些内容，他们就不知道答案。如果数据中有某些内容，他们可能会将其视为事实。现在，当你从人工智能那里得到答案时，这可能会令人担忧。正确的。现在，您应该从模型中得到答案，但不能保证。你不知道结果是如何生成的。公司可能会将您的特定会话出售给最高出价者，以实际改变结果。想象一下，你问要买哪辆车，丰田决定它认为应该偏向丰田，并且丰田将向这家公司支付 10 美分来做到这一点。

因此，即使您使用这些模型作为应该中立并代表数据的知识库，实际上在获得结果之前，会发生很多事情，这些事情可能会以非常特定的方式使结果产生偏差。这引起了很多问题，对吧？这基本上是大公司和媒体之间不同法律斗争的一周。美国证券交易委员会，现在几乎每个人都在试图互相起诉，因为这些模型带来了如此多的不确定性和力量。如果你展望未来，问题是大型科技公司总是有动力继续增加收入，对吗？就像，如果你是一家上市公司，你需要报告收入，你需要继续增长。

为了实现这个目标，如果你已经有了目标市场，比如说你已经有20亿用户了。互联网上的新用户已经不多了。除了最大化平均收入之外，你没有太多选择，这意味着你需要从可能根本没有多少价值的用户那里获取更多价值，或者你需要改变他们的行为。生成式人工智能非常擅长操纵和改变用户行为，特别是当人们认为它是全知识智能的形式时。因此，我们面临着非常危险的情况，监管压力很大，监管机构并不完全了解这项技术的工作原理。我们对用户免受操纵的保护很少。操纵性内容、误导性内容，即使没有广告，你只要截屏、更改标题、发布到 Twitter 上，人们就会发疯。您拥有经济激励，可以引导您不断实现收入最大化。事实上，你并不像在谷歌内部那样做坏事，对吧？当您决定推出哪种模型时，您可以进行 A 或 B 测试，看看哪一种可以带来更多收入。因此，您可以通过从用户那里获取更多价值来不断实现收入最大化。此外，用户和社区对模型的内容、使用的数据以及实际试图实现的目标没有任何输入。这是应用程序用户的情况。这是一种调解。

这就是为什么我们要不断推动WEB 3和AI的融合。 Web 3 可以成为一个重要的工具，它可以让我们有新的激励，激励我们以去中心化的形式生产更好的软件和产品。这是整个Web 3.0 AI发展的大方向。现在为了帮助理解细节，我简单说一下具体的部分。第一部分是内容信誉。

再次强调，这不是一个纯粹的人工智能问题，尽管语言模型给人们操纵和利用信息带来了巨大的影响和规模。你想要的是一种可追踪、可追溯的加密声誉，当你查看不同的内容时，它就会显示出来。因此，想象一下您有一些实际上已加密的社区节点，并且可以在每个网站的每个页面上找到。现在，如果你超越这一点，所有这些分发平台都将被破坏，因为模型现在将阅读几乎所有这些内容，并为你提供个性化的摘要和个性化的输出。

所以我们实际上有机会创造新的创意内容，而不是试图重新发明，让我们把区块链和 NFT 放在现有内容之上。围绕模型训练和推理时间的新创作者经济，人们创建的数据，无论是新出版物、照片、YouTube 还是您创建的音乐，都将根据其对网络的贡献程度进入网络模型的训练。因此，基于此，可以根据内容在全球范围内进行一些补偿。因此，我们从当前由广告网络驱动的眼球经济模式转向真正带来创新和有趣信息的经济模式。

我想提的一件重要的事情是，很多不确定性来自于浮点运算。所有这些模型都涉及大量浮点运算和乘法。这些是不确定性操作。

现在，如果你在不同架构的 GPU 上将它们相乘。所以你拿A100和H100，结果会不一样。因此，许多依赖决定论的方法，例如加密经济学和乐观主义，实际上会遇到很多困难，并且需要大量创新才能实现这一目标。最后，有一个有趣的想法，我们一直在构建可编程货币和可编程资产，但如果您可以想象将这种智能添加到它们中，您就可以拥有现在不是由代码而是由交互能力定义的智能资产用自然语言来表达世界，对吗？在那里我们可以进行很多有趣的收益优化、DeFi，并且我们可以在世界范围内制定交易策略。

现在的挑战是，并非所有当前事件都具有很强的鲁棒行为。它们没有经过训练以具有对抗鲁棒性，因为训练的目的是预测下一个标记。所以更容易说服模特给你所有的钱。在我们继续之前，真正解决这个问题非常重要。所以我只想告诉你，我们正处于十字路口，对吗？有一个封闭的人工智能生态系统，具有极端的激励措施和飞轮，因为当他们推出产品时，他们会产生大量收入，然后他们将这些收入投入到构建产品中。但该产品本质上是为了最大限度地提高公司收入，从而最大限度地从用户身上获取价值。或者我们有这种开放的、用户拥有的方法，用户可以控制。