Scaling Law递减，堆砌数据、算力拼AI模子已行欠亨？大厂正在找前途

　　分析指出，比较传统的堆砌经营才气和数据的西宾才气，被称为“测试时经营”（Test-time Compute）的新才气更有助于提高AI模子的揣摸才气，这种才气概况让AI模子在回话问题前，有更多时辰和经营资源进行“想考”。巨匠指出，若是测试时经营成为扩张AI系统的下一步，对专注于高速推理的AI芯片的需求可能会大幅增多。

　　作家：赵雨荷

　　起首：硬AI

　　迈向超等智能系统的AI推行室正意志到，可能需要更正谈路。分析指出，比较传统的堆砌经营才气和数据的西宾才气，被称为“测试时经营”（Test-time Compute）的新才气更有助于提高AI模子的揣摸才气。

　　据TechCrunch报谈，多位AI投资者、首创东谈主和CEO清楚，连年来AI推行室用于普及模子才气的“AI扩张定律”（AI scaling laws）正自大出角落收益递减的迹象。他们的不雅点与近期的论说一致，这些论说标明顶尖AI推行室中的模子普及速率已不如以往。

　　面前，险些统共东谈主皆初始承认，仅通过增多经营才气和数据量来预西宾大型话语模子，并指望其酿成某种全知万能模子的谈路，是行欠亨的。这也许听起来不言而喻，但扩张定律曾是配置ChatGPT、普及其性能的过失身分，也可能影响了很多CEO骁勇揣摸通用东谈主工智能（AGI）将在几年内到来的信心。

　　OpenAI和Safe Super Intelligence的蚁合首创东谈主Ilya Sutskever上周对媒体示意，“统共东谈主皆在寻找扩张AI模子的新方式”。本月早些时候，Andreessen Horowitz蚁合首创东谈主Marc Andreessen在一档播客中提到，现时AI模子似乎皆趋向于才气的上限。

　　不外，有AI领域的CEO、接洽东谈主员和投资者照旧初始声称，行业正进入扩张定律的新纪元：“测试时经营”（Test-time Compute）被合计是一项独特有出息的新才气，概况让AI模子在回话问题前，有更多时辰和经营资源进行“想考”。

　　“咱们正看到一种新扩张定律的出现，”微软CEO纳德拉（Satya Nadella）周二在微软Ignite大会上说，他指的是撑握OpenAI o1模子的测试时经营接洽。

　　此外，Andreessen Horowitz合鼓动谈主、Mistral的董事会成员、曾是Anthropic天神投资东谈主的Anjney Midha在吸收媒体采访时示意，“咱们面前正处于扩张定律的第二纪元，也就是测试时扩张。”

　　AI扩张定律失效？

　　自2020年以来，OpenAI、谷歌、Meta和Anthropic等公司取得的AI模子快速跳跃，主要归功于一个过失判断：在AI模子的预西宾阶段使用更多的经营资源和数据。

　　在这一阶段，AI通过分析广泛数据汇注的模式来识别和存储信息。当接洽东谈主员为机器学习系统提供饱和的资源时，模子时时在揣摸下一个词或短语方面弘扬更好。

　　第一代AI扩张定律让工程师通过增多GPU的数目和数据量来普及模子性能。尽管这种才气可能照旧达到瓶颈，但它照旧改变了统共这个词行业的邦畿。险些每家大型科技公司皆押注AI，而为这些公司提供GPU的英伟达如今已成为全国市值最高的上市公司。

　　关联词，这些投资是基于扩张概况握续发展的预期而作念出的。毕竟，扩张定律并不是当然、物理、数学或政府制定的法律，它并未被任何东谈主或事物保证会以相通的速率不时下去。即等于著名的摩尔定律，也在运行了较永劫辰后渐渐失效。

　　Anyscale蚁合首创东谈主、前CEO Robert Nishihara在对媒体示意，

“若是你只参加更多的经营资源和数据，模子越作念越大，酬报会渐渐递减，要保管扩张定律的运行并保握跳跃的速率，咱们需要新想路。”

“当你照旧阅读了100万条Yelp驳倒，再读更多驳倒可能不会带来太大增益，但那是预西宾。对于后西宾的才气还相对不熟练，还有很大的更正空间。”

　　尽管如斯，AI模子配置者可能仍会不时追求更大的经营集群和更大的数据集进行预西宾，而这些才气可能仍有一定的普及空间。举例，马斯克最近完成了一台领有10万GPU的超等经营机Colossus，用于西宾xAI的下一代模子。

　　但趋势标明，仅通过现存计谋使用更多GPU无法结束指数级增长，因此新的才气初始得到更多慈祥。

　　测试时经营：AI行业的下一大赌注

　　当OpenAI发布其o1模子的预览版时，就晓喻这属于独处于GPT的新系列模子。

　　OpenAI主要通过传统的扩张定律（即在预西宾阶段使用更多数据和更多经营才气）更正了其GPT模子。但据称，这种才气面前的增益已不再显贵。o1模子框架依赖于一个新成见——测试时经营（test-time compute），之是以这么定名，是因为经营资源是在吸收到教唆后（而不是之前）才使用的。分析合计，这种手艺在神经网罗配景下的探索还未几，但照旧弘扬出后劲。

　　一些东谈主照旧将测试时经营视为扩张AI系统的下一种才气。

　　Andreessen Horowitz的Midha示意，

很多推行标明，即使“预西宾”的扩张定律可能正在放缓，“测试时”扩张定律——即在推理进程中为模子提供更多经营资源——仍然不错显贵普及性能。

　　著名AI接洽员Yoshua Bengio则示意，

“OpenAI的新‘o系列’进一步推动了[连贯想维]，需要更多经营资源，也因此需要更多动力，咱们因此看到了一种新的经营扩张景色：不单是是更多的西宾数据和更大的模子，还包括耗尽更多时辰‘想考’谜底。”

　　举例，在10到30秒的时辰里，OpenAI的o1模子会屡次从头教唆我方，将一个复杂的问题领会为一系列更小的问题。现认真OpenAI o1使命的Noam Brown尝试配置不错打败东谈主类的扑克AI系统，在最近的一次演讲中，Brown示意，他戒备到东谈主类扑克玩家在出牌前会花时辰磋商不同的情景。2017年，他引入了一种才气，让模子在出牌前“想考”30秒。在此时间，AI会模拟不同的子游戏，推演不同场景可能的遵循以笃定最好手脚。最终，这种AI的揣摸弘扬比他畴昔的才气普及了7倍。

　　需要戒备的是，Brown在2017年的接洽并未使用神经网罗，因为其时它们尚未普及。关联词，上周麻省理工学院的接洽东谈主员发表了一篇论文，标明测试时经营显贵提高了AI模子在推理任务上的弘扬。

　　面前尚不明晰测试时经营何如大范围奉行。这可能意味着AI系统在处治费事时需要越过长的“想考”时辰，可能是数小时以致数天。另一种才气可能是让AI模子同期在很多芯片上“想考”问题。

　　Midha示意，若是测试时经营成为扩张AI系统的下一步，对专注于高速推理的AI芯片的需求可能会大幅增多，这对Groq或Cerebras等专注于快速AI推理芯片的初创公司来说是好音书。若是找到谜底与西宾模子相通需要广泛经营资源，那么AI领域的“挖掘用具”提供商将再次受益。

　　岂论AI接洽的前沿情况何如，用户可能在一段时辰内感受不到这些变化的影响。不外，AI绽开商将不遗余力地不时快速推出更大、更智能、更快的模子，这意味着多家率先的科技公司可能会移动其推动AI领域的才气。

　　本文来自微信公众号“硬AI”，慈祥更多AI前沿资讯请移步这里

]article_adlist-->

　　市集有风险，投资需严慎。本文不组成个东谈主投资淡薄，也未磋商到个别用户异常的投资主义、财务情状或需要。用户应试虑本文中的任何意见、不雅点或论断是否合乎其特定情状。据此投资，职守闲逸。

海量资讯、精确解读，尽在新浪财经APP

职守剪辑：李桐