从到&草莓&：的野心与安全困境

生活 2024年08月30日 08:51 447 admin

每经记者：文巧每经实习记者：岳楚鹏每经编辑：高涵

此前，一道低难度的数学题——9.11和9.9哪个更大，难倒了一众海内外AI大模型，也让外界了解到了大模型在推理方面的局限性。

不过，情况正在迅速发生改变。当地时间8月27日，据TheInformation报道，OpenAI神秘“草莓”（Strawberry，前身为Q*）项目，计划最早于今年秋季推出。同时，用“草莓”合成数据来开发的最新大模型——“猎户座”（Orion），或于明年年初推出。

据悉，“草莓”是一个推理模型，有着强大的推理能力，可处理复杂的问题；“猎户座”则是超越GPT-4的下一代大模型，可帮助OpenAI减少其模型产生的错误数量，即所谓的幻觉。

据TheInformation援引知情人士称，今年夏天，在秘密会议上，OpenAI向美国国家安全官员展示了“草莓”模型。报道指出，OpenAI向政府展示一项尚未发布的技术，可能为人工智能开发者树立新标准，也是OpenAI努力向政策制定者提高透明度的一部分。此前，以伊丽莎白·沃伦为首的美国参议员们曾多次抨击OpenAI项目透明度和安全性问题。

图片来源：每日经济新闻资料图

推理能力出众，“草莓”能为OpenAI创收吗？据TheInformation报道，参与OpenAI该项目的两名人员透露，研究人员计划在今年秋季推出代号为“草莓”的新型AI，并有可能将其作为ChatGPT的一部分。

据悉，OpenAI希望通过推出“草莓”为公司筹集更多资金，并寻找减少亏损的方法。此前，据媒体报道OpenAI今年的亏损可能高达50亿美元。

《每日经济新闻》记者注意到，自2019年以来，OpenAI已从微软筹集了约130亿美元资金。作为与这家企业软件巨头合作的一部分，该合作协议将持续到2030年。据知情人士透露，合作协议的条款可能会发生变化，包括OpenAI向微软支付租用云服务器开发AI的费用，其中，云服务器是OpenAI最大的成本。

据前述外媒援引内部人士说法，“草莓”目前的功能极其强大——它可以解决此前从未见过的数学问题，从到&草莓&：的野心与安全困境这是当前的聊天机器人无法可靠完成的任务。它还可以解决涉及编程的问题，且不局限于回答技术性问题。如果给予更多时间“思考”，“草莓”模型还可以回答用户更“主观”的问题，例如产品营销策略。

为了展示“草莓”在语言方面的实力，研究人员向OpenAI内部同事展示了“草莓”如何解决《纽约时报》上刊登的复杂字谜游戏。

事实上，现有的人工智能在航空航天和结构工程等数学密集型领域并不擅长，那么，解决棘手数学问题的AI可能是一个潜在有利可图的应用。为了提高模型的推理能力，一些初创公司尝试使用一种别扭的解决办法——将问题分解为更小的步骤，但这些办法既慢又贵。

数学推理的改进也有助于AI模型更好地处理对话查询，例如客户服务请求。这或许对OpenAI即将推出的AI代理服务起到帮助。

不仅是OpenAI，人工智能领域的其他主要参与者也在数学推理方面取得了长足进步。例如，谷歌DeepMind最近开发了AlphaProof和AlphaGeometry2，这是两个用于高级数学推理的AI系统。两个系统协同工作，在2024年国际数学奥林匹克竞赛中获得银牌，解决了六道题中的四道。

“草莓”正在为下一代旗舰模型猎户座提供训练数据在OpenAI内部，“草莓”不仅是一个即将要向外界推出的商业模型，它还被赋予了更重要的使命。

一位知情人士向TheInformation表示，OpenAI在使用更大版本的“草莓”来生成训练下一代旗舰模型“猎户座”（Orion）的数据。该模型旨在改进其现有的旗舰模型GPT-4并帮助OpenAI领先其他资金雄厚的竞争对手，争夺对话式AI或大型语言模型的霸主地位。

GPT-4自2023年3月推出后，就成为了一个改变游戏规则的大型语言模型。然而，在过去18个月中，竞争对手已基本追赶上来。在某些情况下，甚至超越了OpenAI的最新模型。

基于聊天机器人竞技场的数学表现图片来源：lmarena.ai

据知情人士表示，这种由人工智能生成的数据被称为“合成数据”。这意味着“草莓”可以帮助OpenAI克服获取足够高质量数据的限制，从而利用从互联网上提取的文本或图像等现实世界数据来训练新模型。

代理初创公司MinionAICEO、GitHubCopilot前首席架构师亚历克斯·格雷夫利表示，使用“草莓”生成更高质量的训练数据可以帮助OpenAI减少其模型产生的错误数量，即所谓的幻觉。幻觉是当前生成式AI的一个重大限制，这会导致AI经常生成看似合理但实际上不正确的数据。

“想象一下，一个没有幻觉的模型，你问它一个逻辑难题，它第一次尝试就能答对，”格雷夫利说道。该模型之所以能够做到这一点，是因为“训练数据中的歧义较少，所以它猜测的次数较少。”

据TheInformation报道，奥特曼在5月份的一次活动中表示：“我们觉得我们拥有足够的数据来开发下一个模型。我们已经进行了各种实验，包括生成合成数据。”据报道，他可能指的就是用“草莓”训练的Orion（猎户座）。

安全隐患乌云未散不过，就在OpenAI高歌猛进的同时，安全隐患的乌云从未散去。

“草莓”项目源于前OpenAI首席科学家IlyaSutskever的早期研究，OpenAI研究人员JakubPachocki和SzymonSidor在Sutskever的工作基础上开发了一种新的数学求解模型Q*。

而2023年底，有关OpenAI的Q*项目的消息泄露时，一些专家将该技术定性为人工智能（AGI）的突破，但人们对它知之甚少。这也让一些专注于人工智能安全的研究人员感到震惊。

这件事情发生在OpenAI罢免奥特曼之前，据知情人士爆料，此前员工之间就公司是否以足够安全的方式开发人工智能展开了争论。安全也是罢免奥特曼后公司内部损害控制的一个重要主题，当时罢免的发起人正是Sutskever。

此后，安全问题就一直困扰着OpenAI。而在奥特曼重返OpenAI后，负责OpenAI安全团队的成员也相继离开了公司。

今年5月离职的OpenAI“超级对齐”团队领导人JanLeike在社媒平台X上写道：“过去几年，安全文化和流程已经退居次要地位，而闪亮的产品则成为重中之重。”

鉴于今年早些时候几位安全领导人离职，以及参议员伊丽莎白·沃伦等美国政府高官对于技术安全的批评，OpenAI决定提升对政府官员的透明度。

据TheInformation援引一位了解相关会议情况的人士透露，今年夏天，在一些并未公开的会议上，奥特曼的团队向美国国家安全官员展示了“草莓”模型。

报道指出，通过向政府官员展示一项尚未发布的技术，OpenAI可能为人工智能开发者树立了新标准，尤其是在先进人工智能日益成为潜在安全隐患的今天。此次演示可能是OpenAI努力向政策制定者提高透明度的一部分，但如果政策制定者认为该项技术形成威胁，那么他们可能给公司带来麻烦。

不过一些业界人士对此并不买账，因为OpenAI并未向公众提升透明度。AI初创公司Abacus.AICEOBinduReddy表示，封闭的OpenAI将他们最好的大模型藏在背后，以此来取得领先优势。“如果没有开源AI，我们都会完蛋，我们可能会把文明的控制权交给1到2家公司。”

每日经济新闻

标签：从到& 草莓& 的野心与安全困境

从到&草莓&：的野心与安全困境

亚马逊据悉或明年在印度推出快速商务服务

7-Zip中文版，高效压缩与解压利器，解锁你的数字生活

最新评论

最新留言

标签列表