【新智元导读】LLM战场的新玩家，一出手就是王炸！信仰Scaling Law的阶跃星辰，一口气带来了Step-1千亿参数语言大模型、Step-1V千亿参数多模态大模型，以及Step-2万亿参数MoE语言大模型的预览版。而阶跃星辰之旅，终点就是AGI。

  在2024全球开发者先锋大会期间，这家颇为低调的公司第一次亮相，就让业内震动了一把。

  Step-1千亿参数语言大模型、Step-1V千亿参数多模态大模型，以及Step-2万亿参数MoE语言大模型预览版。

  据悉，Step-2万亿参数MoE语言大模型预览版，还是国内大模型初创公司发布的首个万亿参数模型！

  这个万亿参数大模型才用一年就诞生的事实背后，是一个Scaling Law信仰者的故事。

  这就让人自然而然地想到Scaling Law的核心本质——当模型规模逐步扩大，性能就会不断的提高，发生阶跃。

  最近一周，OpenAI频频曝出大动作，比如它正联合微软打算豪掷超千亿美元，打造一台百万芯片的「星际之门」超算。

  显然，要训出GPT-5甚至GPT-6，就从另一方面代表着人类向AI提供的算力，还要不断增加。

  而在硅基发展的道路上，AI模型的规模和性能，是否还会沿着Scaling Law的路径不断攀升？

  另外，Sora最近掀起的滔天巨浪也证明：多模态是通往AGI的另一个关键。

  潜水一年，它在算力、数据、算法和系统上兵来将挡、水来土掩，如今终于一鸣惊人。

  那么接下来，就让我们一起看看在千亿级参数Step-1和Step-1V的加持下，产生的应用有多么强大。

  与ChatGPT类似，它可以帮我们完成信息查询、语言学习、创意写作、图文解读等任务。

  此外，它还具备了联网搜索、代码分析增强（POT）等能力，高效理解和回应用户的查询，提供连贯且相关的对话。

  它可以能够识别真实世界的万事万物，能够理解和分析复杂的金融图表，甚至还能够理解热梗图片中的深意。

  和人类的答题思路不同，「跃问」答题，会用计算机能够理解的语言，通过执行代码得出结果。

  「我太南了」「南上加南」的国粹+谐音双重梗，它也能体察其中诙谐精妙的隐喻。

  打工人们在工作中时常会遇到这一种情况，动辄几十万字的政策性文件、通知、财报等，需要给出一个总结。

  很多情况下，我们并只有少数的时间来仔细阅读其内容，这时候，就需要「一图读懂」来登场了！

  这其中的玄机可以举个例子说明。比如，在上面的例子中，预留的文字框就只有这么大，如果总结一千字，就爆了。

  因此，AI会根据模板去总结合适的字数，如果某处需要用表格，它就会总结成表格的形式。

  如果自己是一位出生于1980年、拥有惊人智力和商业头脑的男性，会得到怎样的人生？

  这个Agent，在虚拟之间让我经历了大起大落的人生体验：在90年代末创办网络公司、扩大经营事物的规模、放弃感情选择专注事业……

  这个惨样儿，让小编不忍心再测试他改bug的水平了，感兴趣的读者能自己去试试。

  从以上用例也能够准确的看出，千亿参数模型Step-1和Step-1V基础实力，是有多么强大。

  在逻辑推理、中文知识、英文知识、数学、代码方面的性能，Step-1全面超越GPT-3.5。

  据介绍，Step-1在模型架构、算法与系统上进行了创新，拥有优秀的长文理解和生成能力、多轮指令跟随能力及现场学习能力。

  Step-1V拥有出色的图像理解、多轮指令跟随、数学、逻辑推理、文本创作等能力。

  在中国权威的大型模型评估平台「司南」（OpenCompass）多模态模型评测榜单中，Step-1V位列第一，性能比肩GPT-4V。

  Step-1V可以精准描述和理解图像中的文字、数据、图表等信息，并根据图像信息实现内容创作、逻辑推理、数据分析等多项任务。

  通过Scaling Law可以预测出，在参数量、数据量以及训练计算量这三个因素变动时，大模型性能损失值（loss）的变化。

  同年5月，爆火全球的1750亿参数大模型GPT-3诞生。23年横空出世的GPT-4曾被爆料有1.8万亿参数。

  而要实现接近人类水平的大模型，最少拥有200万亿的参数。显然，当前大模型的参数量，还远远不够。

  同样，继Step-1成功之后，阶跃星辰团队立即开展了下一代万亿参数语言大模型Step-2的训练。

  不论是对算力、系统，还是对算法、数据，都提出了非常高的要求，业内少有公司能做到。

  通过自建机房+云上租用算力，目前，公司已拥有了训练万亿参数模型需要的算力。

  模型训练的时候，衡量GPU使用效率需要看有效算力输出（MFU）指标，这一个数字比例越高，代表着系统搭建的越好。

  稳定性，就需要系统能随时检测出哪一张卡出现一些明显的异常问题，然后把任务进行隔离迁移，进而不影响整个训练过程。

  在整个训大模型的过程中，最艰难的是从头搭建系统，而且从算力提供商、硬件质量等多个角度分析了，芯片就是LLM时代的硬件彩票。

  而在这方面，阶跃星辰团队硬是凭着先进的系统经验，积累了单集群万卡以上的系统建设与管理实践。

  因此产生的结果，也是惊人的——在训练千亿模型时，MFU（有效算力输出）直接达到了57%！

  比如，常用的Common Crawl数据集中，真正能够给大模型训练的有效数据只有0.5%。

  而阶跃星辰团队则有了一个令人惊喜的发现：其实，大模型对语言并不敏感，一个知识点不管用中文还是英文，它都能学会。

  模型到了万亿参数，训练都是用混合专家的稀疏架构。MoE怎么训？目前业内鲜有公开资料，全靠团队去摸索。

  在Step-2的过程中，阶跃星辰团队突破了5D并行、极致显存管理、完全自动化运维等关键技术，让训练效率和稳定能力处于业界领先水平。

  Step-2采用了「MoE稀疏架构」，每个token都能激活2000亿以上的参数。

  目前，Step-2发布的是预览版，提供API接口给部分合作伙伴试用。等后续小编拿到体验机会，再向大家展示。

  去年到现在， OpenAI打法看似纷繁复杂，发布GPT系列语言模型、文生图模型DALL-E、文生视频模型Sora，投资了具身智能公司Figure，放出Q*计划……

  但在阶跃星辰看来，其实它一直是在沿着一条主线、两条支线推进其AGI计划。

  - 如今多种模态走向融合，但融合的并不彻底，理解和生成的任务还是分开的，造成模型的理解能力强但生成能力弱，或者反之。

  多模态理解和生成统一后，就可以把模型和「具身智能」结合起来，让它去探索这样一个世界，与世界进行交互。

  在世界模型的基础上，再加上复杂任务的规划、抽象概念归纳的能力，以及超级对齐能力，就非常有可能实现AGI。

  从Step-1千亿参数语言大模型，Step-1V千亿参数多模态大模型，到Step-2万亿参数MoE语言大模型预览版，阶跃星辰正按照既定路线，一步一步推进大模型研发。

  虽然成立于2023年4月，但此公司却在不到一年时间里，发布了一系列模型。

  创始人和CEO，是前微软全球副总裁、微软亚洲互联网工程院首席科学家姜大昕博士。

  作为自然语言处理领域的全球知名专家，他在机器学习、数据挖掘、自然语言处理和生物信息学等领域，有着丰富的研究及工程经验。

  焦斌星博士此前担任微软必应引擎核心搜索团队负责人，负责利用数据挖掘和NLP算法，优化索引和搜索质量。

  如今，大模型的竞速赛仍然硝烟四起，谁能聚集最顶尖的人才和丰厚的战略资源，就将成为焦点。

  在这样的背景下，不打无准备之仗的阶跃星辰选择从幕后走向台前，释放出的正是这样一种信号——

  本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。