Bonsai 27B 发布：27B 模型塞进手机意味着什么

PrismML 昨天发布了 Bonsai 27B——一个基于 Qwen3.6 27B、经过极端量化压缩的模型，1-bit 二进制版体积仅 3.9GB，可以在 iPhone 17 Pro 上以 11 tok/s 的速率本地推理。三元版（1.58-bit）5.9GB，保留超过 95% 的全精度基准性能。两个版本均支持 262K 上下文窗口和多模态输入（文本+图像），Apache 2.0 授权。

这是业界第一次把 27B 参数量的模型塞进一台手机的内存预算里——不是演示性质的聊天玩具，而是具备复杂推理、编码、工具调用和 Agent 工作流能力的生产级模型。标准 FP16 的 27B 模型需要约 54GB 内存，Bonsai 27B 将其压缩到 1/9 到 1/14。

这个数字的意义可能被低估了。

从「能不能跑」到「跑什么」

一年前，社区还在为 7B 模型能否在手机上流畅运行而兴奋。8B 量化版跑到 10-15 tok/s 被认为是移动端推理的实用下限。现在这个门槛被抬升了 3 倍——27B 级别的模型进入了同一功耗和内存预算区间。

参数量的阶跃不是线性的。7B 能做的事情和 27B 能做的事情之间有质的不同。Qwen3.6 27B 本身是一个在 SWE-bench Verified 上达到 77.2% 的模型（超过 Qwen3.5 397B），具备多步推理、代码生成、复杂指令跟随能力。当这种能力塞进 3.9GB 的应用内存时，整个「本地 AI」的想象空间就被重新打开了。

三个可能很快发生的变化

1. 隐私不再是功能，而是默认属性

当前几乎所有 Agent 工作流都依赖云端推理。这意味着用户的数据（代码、邮件、文档、屏幕截图）必须经过网络传输。Bonsai 27B 的极限不在于它跑得快（11 tok/s 确实不够快），而在于它能在完全没有网络连接的设备上完成 90% 以上的日常推理任务。

当 27B 级模型可以本地运行时，本地推理不再是「降级体验」——而是一个隐形的质量提升。敏感代码片段、个人文档、摄像头输入，都不需要离开设备。这对于企业合规场景（医疗、金融、法律）尤其关键。当前制约本地 AI 采用的瓶颈是精度差距，1-bit 保留 90%、三元保留 95% 的基线性能意味着这个差距正在缩小到可接受范围。

2. Agent 从「请求-响应」变为「持续在场」

云端推理的经济模型决定了每轮对话都有成本。用户不会让一个云端 Agent 持续运行数小时来分析数据或监控事件——因为 Token 账单会失控。但 3.9GB 的本地模型没有 API 成本。本地 Agent 可以长期驻留，持续处理流式数据、监控文件变化、在后台执行批量任务。

这是 c456 内部已经在探索的方向：让 AI 像人类同事一样「在场」——不是等待指令的问答机器，而是持续工作的助手。Bonsai 27B 把这种模式从概念变成了技术上可行的事情。

3. 编码助手从按月订阅变为买断式本地运行

当前 Cursor、Copilot、Codex 的用户每月支付 10-20 美元换取云端推理。Bonsai 27B 提供了一条替代路径：一个 3.9GB 的模型文件，下载后无限次使用，无 API 调用费，无数据离开设备。

Bonsai 27B 不是这些专用编码模型的直接替代品——但它的存在本身改变了定价锚点。当本地 27B 模型可以处理大部分编码任务时，用户对月费的容忍度会下降。云端模型的溢价需要提供足够有说服力的增量价值才能维持。

还有几个不可回避的限制

11 tok/s 的推理速度低于流畅对话的感知阈值（通常认为 15-20 tok/s 是对话式交互的底线）。这意味着 Bonsai 27B 更适合后台处理、文档分析、批量推理——而不是实时对话。

量化带来的精度损失是另一个约束。1-bit 版保留 90% 基线性能，在复杂数学推理、长链逻辑、精确代码生成等场景中可能存在退化。三元版（95%）更适合严肃任务，但 5.9GB 的体积在手机上已经逼近可用内存上限。

此外，Bonsai 27B 是后训练量化（PTQ），而非从零训练的极低比特模型。这意味着它继承了 Qwen3.6 的能力上限，同时也继承了其知识截止日期和潜在的推理偏见。

更大的图景

Bonsai 27B 发布的时间点耐人寻味。就在同一天，Vercel 的 AI Gateway 报告显示开源模型在生产中的 Token 占比已从 4 月的 11% 增长到 29%。PrismML 用 Apache 2.0 发布这个模型，意味着任何开发者都可以下载、部署、修改——不受 API 定价和可用性限制。

边缘推理的 Pareto 前沿正在快速移动。三个月前，本地运行 27B 模型还需要一台带 GPU 的台式机。现在它运行在手机上。这个趋势的终点不是一个更快的手机模型，而是一类新的应用形态——那些默认假设 AI 可用、默认假设隐私、默认假设零边际成本的程序。

Bonsai 27B 不是一个完美的模型，但它是一个拐点信号：本地 AI 的竞争维度正在从「能不能跑」转向「跑什么」。

来源：据 PrismML 官方发布公告；Reddit r/LocalLLaMA 社区讨论；9to5Mac 报道；Byteiota 性能测算。