210 token 每秒,这个数是在一台 96GB 内存的 M5 Ultra Mac Studio 上测出来的。测的人是 EXO Labs,而且是和模型的开发方 Thinking Machines 一起调过之后的成绩。
同一款机器,换一个人、换一个运行时,数字是 83.4。
后一个成绩来自一场公开的 oMLX 测试,同样是 96GB 的 M5 Ultra,上下文 4k 时每秒 83.4 个 token,上下文拉到 32k 就掉到 56.2。编程智能体跑上几轮,上下文轻松过 32k,所以日常手感更接近 56,离 210 很远。这两天「本地小模型做应用比 Claude Sonnet 5.5 快 1.8 倍、便宜 11 倍」的说法传得很广,源头就是 EXO 那条帖子。拿它做采购决定之前,有几处口径要先对齐。
速度表上的六行
Inkling 2 Mini 是 11 月 20 日放出来的,权重挂在 Hugging Face 上,约 20GB,Apache 2.0 协议。发布才几天,已经有不少人在自己机器上跑过,结果差得很远。
| 机器 | 运行方式 | 解码速度(token/秒) | 谁测的 |
|---|---|---|---|
| 96GB M5 Ultra Mac Studio | EXO 调优版 | 210 | EXO Labs 自测 |
| 96GB M5 Ultra | oMLX,4k / 32k 上下文 | 83.4 / 56.2 | 公开测试 |
| 48GB M5 Max MacBook Pro | EXO 调优版 | 125 | EXO Labs 自测 |
| 48GB M5 Max MacBook Pro | MTPLX 三档量化包 | 103.8 到 128.8 | MTPLX 发布说明 |
| 48GB M5 Pro | 原版 MLX 权重 | 24.0 到 24.8 | 社区实测 |
| 24GB M4 Pro | 部分算力落在 CPU | 11.6(中位数) | 第三方评测 |
M5 Max 那两行对得上,说明 125 这一档装个现成的包就能复现。M5 Ultra 上的 210 目前只有 EXO 一家报出来。
差一个字母,差五倍。
同样是 48GB 内存,M5 Max 跑到 125,M5 Pro 只有 24.8。内存装得下模型只是门槛,速度看的是内存带宽和 GPU 核心数。「48GB 的 MacBook Pro 也有 125」这句话在转述里常常丢掉 Max 三个字母,丢掉之后就是另一个结论了。
三个量化包,最快的那个压得最狠
MTPLX 给这个模型出了三个包。Bare Speed 把注意力层、输出头和词嵌入都压到 4-bit,体积 16.0GB,最高 128.8;Optimized Speed 把注意力层和输出头留在 8-bit,17.2GB,最高 123.8;Optimized Quality 不动官方权重,20.2GB,最高 103.8。
要拿到宣传里那一档速度,得接受最激进的压缩。保留原始权重,速度先少 19%。EXO 的 210 用的是哪一档精度,帖子里没有写。
还有一个参数容易看漏。Inkling 2 Mini 总参数 26.4B,混合专家结构,每个 token 只激活 3.4B,看上去很轻。但它是循环架构,24 层里中间的 12 层共享权重,每个 token 要过三遍,官方自己给的口径是每个 token 实际经过 5.4B 的权重。拿 3.4B 去估它在你机器上的速度,会高估六成左右。
那个天气应用到底比了什么
「快 1.8 倍」比的是在 Mac Studio 上从头做一个原生天气应用的总耗时,「便宜 11 倍」按的是 API 价格。两个数不在同一套条件下:速度拿本地最好的硬件去比,成本却换成了云端标价。真在本地跑,token 费是零,该算的是那台机器的钱。
标价这边,Thinking Machines 自家接口是输入 0.15 美元、输出 0.50 美元每百万 token,OpenRouter 上挂的是 0.075 美元和 0.30 美元。Sonnet 5.5 是 2 美元和 10 美元。只看输出单价,差 20 倍。
可是 Sonnet 5.5 有五个推理档位,账单跟着档位走。Artificial Analysis 跑它那套智能指数时,max 档平均每道题吐 19.3 万个输出 token,单题成本 10.02 美元;low 档单题只要 0.41 美元。同一家机构在 9 月 28 日的发布评测里写的还是单题 7.60 美元,两个数对不上,取哪个都改变不了量级。输入这头还有缓存,命中价是标价的 5%,也就是 0.10 美元。
low 档的 Sonnet 5.5 指数 26 分。Inkling 2 Mini 是 20 分。
这组数在各种转述里几乎没人提。把 Sonnet 调到最省的那一档,它仍然比 Inkling 2 Mini 高出一截,一道题四毛钱出头;调到 max 是 55 分上下,已经不是同一个量级。做天气应用这种题,20 分和 55 分的模型都做得完,于是比到最后只剩速度。换一道 20 分做不下来的题,快 1.8 倍没有意义。
云端的速度也不慢。Sonnet 5.5 在 xhigh 档的输出速度是每秒 143 个 token,medium 档 110.6,和独立测试里 M5 Ultra 的 83.4 放在一起,本地不占便宜。Thinking Machines 自己的托管服务跑 Inkling 2 Mini 是每秒 280,比任何一台 Mac 都快。
两边各自过不去的坎
Inkling 2 Mini 的毛病,官方模型卡自己列了三条:会生成看似合理的错误内容,偶尔不严格按指令办,多轮长对话里表现下降。另有评测提到它的推理过程可能绕进循环出不来。上下文长度有两个说法,模型卡写最高 1M,Tinker 的文档写 256K;1M 的窗口在本地要吃掉多少内存,发布公告没有交代。它自报的 DeepSWE v1.1 成绩是 48.2%,Vals Index v2.2 是 46.5%,都是公司自己跑的,暂时没有第三方复测。
Sonnet 5.5 的问题集中在钱和控制权上。高档位很能写,同一道题的账单可以是 low 档的 24 倍,而开哪个档经常是智能体框架替你定的。输出上限 12.8 万 token,生成长文档会被截断。代码和数据全部经过 Anthropic 的服务器,有数据不出内网要求的项目直接出局。
断网就不能用。
32GB 以下的机器先别折腾
官方建议的内存下限是 32GB,Ollama 的支持范围也从 32GB 的 Mac 起算。Unsloth 出了能在 16GB 上跑的 GGUF 版本,24GB 的 M4 Pro 有人跑通,中位数每秒 11.6 个 token,这个速度拿来做代码补全都嫌慢。
手上是 M5 Max 或 M5 Ultra、内存 48GB 起步的人,可以把它当成一个离线可用的第二模型:改小函数、搭脚手架、处理不能传出去的代码,一百出头的速度足够顺手。跨文件排查、复杂重构这类活照旧交给 Sonnet 5.5,哪怕只开 low 档。
为了跑它专门添一台 96GB 的 Mac Studio,这笔账眼下不好算。按 low 档单题 0.41 美元计,4100 美元能跑一万道题,可以拿这个数去对一下那台机器的报价。
相关对比:《Gemini 4 Hydrogen 和 Claude Sonnet 5.5:57% 和 70.6% 根本不是同一张卷子》|《Muse Ember、Claude Haiku 5.5、GPT-6 Luna:标价一样,每道题的账差了快三倍》|《混元 Hy4 flash、DeepSeek V4.1 Flash 1017、GLM-5.3-Flash:腾讯说便宜八倍,按北京时间下午三点算只剩四倍》