西风 发自 凹非寺男同 porn

量子位 | 公众号 QbitAI

开源模子坎坷文窗口卷到超长，达400万token！

刚刚，“大模子六小强”之一MiniMax开源最新模子——

MiniMax-01系列，包含两个模子：基础言语模子MiniMax-Text-01、视觉多模态模子MiniMax-VL-01。

MiniMax-01初次大界限推广了新式Lightning Attention架构，替代了传统Transformer架构，使模子粗略高效处罚4M token坎坷文。

在基准测试中，MiniMax-01性能与顶级闭源模子进展相当。

MiniMax-Text-01性能与前段时候大火的DeepSeek-V3、GPT-4o等打的有来有回：

如下图(c)所示，当坎坷文越过20万token，MiniMax-Text-01的上风逐渐较着。

在预填充蔓延方面也有权臣上风，在处罚超长坎坷文时更高效，蔓延更低：

网友直呼“难以置信”：

绽放权重，领有400万token的坎坷文窗口！我底本以为这可能要五年后才会达成。

官方示意，MiniMax-01是为提拔之后Agent关连期骗而经营的：

因为Agent越来越需要推广的坎坷文处罚才智和抓续的内存。

当今官方还公开了MiniMax-01的68页时候论文，何况已将MiniMax-01在Hailuo AI上部署了，可免费试用。

另外，新模子API价钱也被打下来了：

输入每百万token0.2好意思元，输出每百万token1.1好意思元。

底下是模子更多细节。

4M超长坎坷文MiniMax-Text-01

MiniMax-Text-01，参数456B，每次推理激活45.9B。

它翻新性地禁受了夹杂架构，齐集了Lightning Attention、Softmax Attention以及Mixture-of-Experts（MoE）。

何况通过LASP+、varlen ring attention、ETP等优化的并行计策和高效的计较通讯相同要领，MiniMax-Text-01老师坎坷文长度达100万token，推理时不错推广到400万token坎坷文。

模子架构细节如下：

在Core Academic Benchmark上，MiniMax-Text-01在GPQA Diamond上获取54.4分，迥殊GPT-4o。

在长基准测试之4M大海捞针测试，MiniMax-Text-01一水儿全绿。

也等于说，这400万坎坷文里，有细节MiniMax-Text-01是真能100%捕捉到。

除此以外，还有LongBench v2、Ruler基准测试，磨真金不怕火的是模子长坎坷文意会才智，包含基于长坎坷文输入的逻辑推理才智。

MiniMax-Text-01模子在处罚Ruler的长坎坷文推理任务时进展出权臣的上风。

在64K输入级别的进展与顶尖模子GPT-4o、Claude-3.5-Sonnet等竞争力相当，变化轻浅，但从128K首先流露出较着的上风，并迥殊了所有这个词基准模子。

LongBench-V2包括不同难度级别的问答任务，涵盖多种坎坷文类型，包括单文档和多文档、多轮对话、代码仓库和长结构化数据等。团队辩论了两种测试形状：不使用想维链推理（w/o CoT）和使用想维链推理（w/ CoT）。

MiniMax-Text-01在w/ CoT诞生中达成了所有这个词评估系统中的最好效果，在w/o CoT中进展也很权臣。

团队还用MTOB（ Machine Translation from One Book）数据集评估了模子从坎坷文中学习的才智。

该任务条件模子在英语和Kalamang（一种在公开数据中相等有限的言语）之间进行翻译，因此在老师语料库中，LLM仅从一部语法书的部天职容和375个翻译示例中学习该言语。

测试效果夸耀，MiniMax-Text-01在无坎坷文场景下eng→kalam (ChrF)得分最低，团队觉得其它模子可能是在预老师或后老师数据中集加入了kalam关连数据。在delta half book和full book上，MiniMax-Text-01越过了所有这个词模子。

在kalam→eng(BLEURT)得分上MiniMax-Text-01也与其它模子进展相当。

MiniMax-VL-01

MiniMax-VL-01禁受多模态大言语模子常用的“ViT-MLP-LLM”框架：

一个具有3.03亿参数的ViT用于视觉编码一个立时开动化的双层MLP projector用于图像适配以及算作基础LLM的MiniMax-Text-01

MiniMax-VL-01极度具有动态分辨率功能，不错凭据预设网作风整输入图像的大小，分辨率从336×336到2016×2016不等，并保留一个336×336的缩略图。

调换后的图像被分割成大小交流的不相同块，这些块和缩略图离别编码后组合，酿成好意思满的图像示意。

MiniMax-VL-01的老师数据涵盖标题、神色和请示。ViT从新首先在6.94亿图像-标题对上进行老师。在老师经由的四个阶段，处罚了揣度5120亿token。

最终，MiniMax-VL-01 在多模态排名榜上进展杰出，阐明了其在处罚复杂多模态任务中的上风和可靠性。

网友们已首先第一波实测

得知新模子已在Hailuo AI上部署，网友们已紧忙赶往测试。

有网友使用交流的prompt将它和Gemini、o1对比，景仰MiniMax-01进展令东说念主印象深入。

底下这个测试也没能难倒它：

给我5个奇数，这些数的英文拼写中不包含字母“e”。

感酷爱酷爱的童鞋不错玩起来了。

时候论文：https://filecdn.minimax.chat/_Arxiv_MiniMax_01_Report.pdf

参考通达：[1]https://x.com/MiniMax__AI/status/1879226391352549451[2]https://huggingface.co/MiniMaxAI/MiniMax-Text-01[3]https://huggingface.co/MiniMaxAI/MiniMax-VL-01

— 完 —

量子位 QbitAI · 头条号签约

吻玉足

温柔咱们男同 porn，第一时候获知前沿科技动态