Xiaomi Large Language Model
小米自研通用大语言模型，支持 1M 上下文、多模态输入与长程智能体任务。以更少 Token，完成更长的任务。
MiMo 是小米大模型 Core 团队打造的新一代通用大语言模型，面向全年龄段公众服务。
逻辑推理、知识问答、多步思维链
中英多语种写作、文档翻译、内容创作
代码生成、调试、重构，支持主流语言
工具调用、长程规划、视觉与音频理解
每个 Token 仅激活 15B 参数，兼顾能力与推理成本。
以 MiMo-V2.6-Flash 为例，MoE 架构 + 多模态组件 + 推测解码。
| Component | Specification |
|---|---|
| 总体结构 | MoE · 总参数 309B / 每 Token 激活 15B |
| 专家路由 | 256 个路由专家，每次激活 8 个 |
| 语言主干 | 48 层（39 层滑动窗口注意力 SWA + 9 层全局注意力），隐藏维度 4096 |
| 视觉编码器 | MiMo ViT 681M（28 层：24 SWA + 4 全注意力） |
| 音频组件 | AudioTokenizer 308M + audio patch encoder 127M |
| 推测解码 | 5 层 MTP，一次预测 7 个 Token |
| 输入格式 | 文本、图像、视频、音频 · 上下文窗口 1M Token |
大批次 + 全异步架构，是长程 Agentic RL 得以跑通的关键。
Rollout 系统完全异步（fully async），结合大 Batch 与全异步架构获得更高吞吐。
每步约 1,500 个 Prompt 中约 1,050 个来自 code（约七成）。
开源 RL 任务环境，覆盖软件工程、漏洞复现、知识型工作、网页设计开发。
Code 方向任务占比约七成，涵盖代码生成、调试、重构与系统级软件工程。
软件工程 · 漏洞复现 · 知识型工作 · 网页设计开发。一次运行中混合多个智能体框架。
为 Long-Horizon RL 任务提供更精准、多样的奖励信号。
test-case 验证 + rubric 量规奖励 + Group 内相对比较
冻结 MoE Router，抑制专家负载漂移
奖励设计、对抗性评测、异常检测、验证器交叉校验
统一轨迹格式与惩罚机制，高效完成长程任务
Flash 与 Pro 的训练成本。合计每小时约 3.1 万美元。
Flash 提升约 17 分；Pro 由 58.4 提升至 72.57。
样本外泛化：训练任务平均通过率相对提升
接入 API 时建议在系统提示词中显式写明当前日期与知识截止日期。
V2 系列公开模型卡口径的知识截止日期。对截止后的新事件，建议以实时信源为准。
当前 MiMo-V2.6 会话的知识截止日期已更新，覆盖更多最新知识与技术进展。