EXO Labs 和 Thinking Machines 一起优化了 Inkling 2 Mini 在苹果芯片上的本地推理,放出了两组实测速度。
96GB 内存的 M5 Ultra Mac Studio:解码速度每秒 210 token。
48GB 内存的 M5 Max MacBook Pro:每秒 125 token。
对比一下体感。云端主流模型的输出速度通常在每秒几十到一百多 token 之间,210 这个数字意味着一台放在桌上的机器,吐字比大多数云端接口还快。笔记本上的 125 也已经到了完全不用等的程度。
除了速度,他们还拿它和 Claude Sonnet 5.5 比了一个具体任务:从头构建一个原生天气应用。结果是 Inkling 2 Mini 完成得快 1.8 倍,按 API 价格算成本低 11 倍。
这组对比要打个折扣看。任务只有一个,题目是发布方自己挑的,做一个天气应用也不算难,小模型在这种定义清晰的活上本来就不吃亏。它能说明的是:对这一档难度的工作,一个本地能跑的模型已经够用,而且更快更便宜。它说明不了复杂工程任务上谁更强。
更实际的门槛在硬件,而且这两组数目前只有发布方一家报出来。公开的独立测试里,同样 96GB 的 M5 Ultra 在 4k 上下文下是每秒 83.4 token,上下文拉到 32k 掉到 56.2;48GB 的 M5 Pro 只有 24 上下。几台机器的实测放在一起看,差距主要来自芯片档次和量化精度。
对已经有这类机器的开发者,可以试的场景很明确:代码补全、小型应用搭建、不方便把数据传出去的内部项目。断网能用、不计 token 费,这两条是云端模型给不了的。