上海AI独角兽MiniMax发布新一代开源模型,创新架构打破全球输入天花板

2025-01-17 18:48:48     来源:财讯网     编辑:    

日月开新元,万象启新篇。

1月15日,MiniMax发布并开源新一代01系列模型,包含基础语言大模型 MiniMax-Text-01 和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新,以大规模应用线性注意力机制打破Transformer传统架构记忆瓶颈,在综合性能比肩GPT-4o、Claude-3.5等海外领军模型的基础上,能够高效处理高达400万token的输入,可输入长度是GPT-4o的32倍,Claude-3.5-Sonnet的20倍。

目前,MiniMax-01系列开源模型已应用于MiniMax旗下产品海螺AI并在全球上线,企业与个人开发者可前往MiniMax开放平台使用API。

以架构创新实现高效超长文本输入

2017年,具有里程碑意义的论文《Attention Is All You Need》正式发表,Transformer架构问世并逐步发展成为该领域的主流技术范式。自2023年起,自然语言处理领域迎来了一股创新浪潮,对模型架构的创新需求日益增加。

MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别,并使其综合能力达到全球第一梯队。而受益于此次架构创新,该系列模型在处理长输入的时候具有非常高的效率,接近线性复杂度。从Scaling Law、与MoE的结合、结构设计、训练优化和推理优化等层面综合考虑,MiniMax选择模型参数量为4560亿,其中每次激活459亿,能够高效处理高达400万token的上下文,将有效替代Transformer传统架构并开启超长文本输入时代。

MiniMax-01模型发布后,在国内外迅速掀起了热议浪潮。海外媒体与AI从业者聚焦该模型,深入探讨其技术内涵与潜在价值,对其所展现出的创新性给予了高度肯定。

性能比肩国际领军模型

在应用创新架构之外,MiniMax大规模重构了01系列模型的训练和推理系统,包括更高效的MoE All-to-all通讯优化、更长的序列的优化,以及推线性注意力层的高效Kernel实现,使得模型能力可与全球顶级闭源模型相媲美。

在业界主流的文本和多模态理解任务处理表现上,MiniMax-01系列模型大多情况下可以追平海外公认最先进的两个模型,GPT-4o-1120以及Claude-3.5-sonnet-1022。过往的模型能力评测中,Google的自研模型Gemini有着显著的长文优势。而在01系列模型参评的长文任务下,相较于Gemini等一众全球顶级模型,MiniMax-01随着输入长度变长,性能衰减最慢,效果及其出众。

▲ 多项任务评测结果显示,MiniMax-01系列模型核心性能稳居全球第一梯队。(图源MiniMax-01系列模型技术报告)

▲ MiniMax-01系列模型长上下文处理能力全球领先。(图源MiniMax-01系列模型技术报告)

▲ MiniMax-01系列模型长上下文处理能力LongBench V2第三方评测成绩仅次于OpenAI的o1-preview和人类。(注:LongBench V2是面向现实情景,进行长上下文多任务深入理解和推理的测试集。

加速AI Agent时代到来

2025年,AI将迎来至关重要的发展节点,AI Agent有望成为新一年最重要的产品形态,引领AI从传统的“工具”角色向更具互动性与协作性的“伙伴”角色转变。AI Agent时代,由于智能体处理的任务变得越来越复杂,涉及的数据量也越来越大,单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此,长上下文能力与多模态处理能力的提升,是AI Agent为各行业带来更为丰富、高效、智能的解决方案的必要条件。

MiniMax在Github上开源了Text-01模型、VL-01模型的完整权重,以便于更多开发者做有价值、突破性的研究。MiniMax创始人、CEO闫俊杰表示,“这是我们第一个开源系列模型,本质上两个原因:第一是我们认为真正有价值的事,不是当前做得怎么样,而是技术进化速度。而开源会加速技术进化,做得好的地方有鼓励,不好的地方会有很多批评,外面的人也会有贡献,这是我们开源的最大驱动力。”

凭借开放、共享、协作的特点,开源模型激发AI产业的创新活力,正在成为赋能新质生产力发展的关键引擎。受益于Linear Attention层面的架构创新、算力层面的优化,以及集群上的训推一体的设计,MiniMax以业内极具性价比的价格提供文本模型和多模态理解模型的API服务,标准定价是输入token 1元/百万token,输出token 8元/百万token。

论文链接:https://filecdn.minimax.chat/_Arxiv_MiniMax_01_Report.pdf

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。

相关新闻
相关新闻
v 上海AI独角兽MiniMax发布新一代开源模型,创新架构打破全球输入天花板 2025-01-17
v 鸿杏硒泉:高端饮水的卓越之选,第三方视角深度剖析 2025-01-17
v GS3影速限时5.58万起 2025-01-17
v 实力价格全优,24款艾瑞泽5惠民版5.99万起比帝豪懂年轻人 2025-01-17
v 受够抢票倒车?艾瑞泽8限时以旧换新至高抵4.1万助你顺畅回家 2025-01-15
v 1月买影豹全险免费送 2025-01-14
v 限时农补价4.99万起!代步用车就选标配自动挡的瑞虎3x卓越版 2025-01-13
v GS4MAX限时9.58万起 2025-01-13
v 有了这台国民“小钢炮”,谁过年回家还抢高铁票啊! 2025-01-11
v 1月买GS4MAX就送全险 2025-01-11
v 春节开TA返乡父母更有面 2025-01-10
v 年前买车思路来了,这样买准没错! 2025-01-10
v 寒假带娃出行新潮选,省心省力的瑞虎8L为你送上神助攻 2025-01-10
v 买就送全险,十万级家用SUV选TA就对了! 2025-01-09
v 亮相2025CES 海信“AI+智慧城市”大步走上世界舞台 2025-01-08
v 箱服巴巴平台:开启商旅服务新辉煌,估值达50亿人民币 2025-01-08
v 7NOTE 2025量子时代发展分享会(音乐篇)在北京国贸大酒店成功举办 2025-01-05
v 大空间还有自动挡!瑞虎5x惠民版对比缤越超能版有何优势? 2024-12-31
v 我们的2024:热AI,让城市更美好! 2024-12-31
v 限时国补价7.29万元起,全新瑞虎7 PLUS较CS55 PLUS有何优势? 2024-12-30
v 潘多拉双城记 | 双店齐开,分享美好! 2024-12-26
v 一代人有一代人的出行潮品,探索06 C-DM究竟凭什么? 2024-12-25
v 性能、安全面面俱到!详细解读全新瑞虎8 PLUS C-DM 2024-12-23
v 产品力王者,影速卖爆 2024-12-20
v 5.98万元起!瑞虎5x惠民版诠释入门级家用SUV新标杆 2024-12-19
v 热销车型影速为何受欢迎? 2024-12-19
v 月销破1.2万,还得是影速 2024-12-18
v 影豹年底宠粉无套路 2024-12-17
v 影速销量逆势上扬 2024-12-17
v 10.99万元起!购瑞虎8卓越版即享丰厚现金礼 2024-12-17
分享到:
更多

网站运营:北京头条

北京头条 版权所有©1997-2016 未经书面授权禁止复制或建立镜像
联系我们:435 203 49@qq.com