llms.txt 完整文档索引请参见 llms.txt
信号
xiaohui
收录

ds4.c:antirez 打造的 DeepSeek V4 Flash 专用本地推理引擎

一句话简介 antirez(Redis 作者)发布的 ds4.c 是 DeepSeek V4 Flash 的专用本地推理引擎,非通用框架,而是针对单一模型深度优化的 Metal 图执行器。 核心优势 1. 思考效率极高:思考段长度与问题复杂度成正比,通常仅其他模型的 1/5,使思考模式在本地真正可用 2. KV Cac…

正文

一句话简介

antirez(Redis 作者)发布的 ds4.c 是 DeepSeek V4 Flash 的专用本地推理引擎,非通用框架,而是针对单一模型深度优化的 Metal 图执行器。

核心优势

  1. 思考效率极高:思考段长度与问题复杂度成正比,通常仅其他模型的 1/5,使思考模式在本地真正可用
  2. KV Cache 磁盘化:将压缩 KV cache 写入 SSD,实现会话持久化和跨会话复用,彻底改变"KV cache 必须驻留 RAM"的传统认知
  3. 非对称 2-bit 量化:仅对 MoE 路由专家做 IQ2_XXS 量化,共享专家和投影层保持原精度,128GB MacBook 即可运行 284B 模型
  4. 百万上下文:1M token 上下文窗口配合磁盘 KV cache,长文档推理成为现实
  5. Agent 优先设计:原生支持 OpenAI/Anthropic 兼容 API,为 opencode、Pi、Claude Code 等编码 Agent 提供开箱即用的配置模板

设计哲学

  • 窄聚焦优于通用:一次只服务一个模型,官方向量验证 + 长上下文测试 + Agent 集成,追求"一个本地模型做到端到端可用"
  • AI 辅助开发:公开声明由 GPT 5.5 强力辅助开发,人类主导思路和调试
  • 三件套理念:推理引擎 + 特制 GGUF + 编码 Agent 测试验证,三者缺一不可

适用场景

  • 拥有 128GB+ RAM Mac 的开发者,希望在本地运行准前沿级 284B 模型
  • 需要长上下文 + 思考模式 + 工具调用的编码 Agent 场景
  • 对推理速度和思考效率有苛刻要求的本地推理用户

相关资源

复制成功后将正文粘贴到公众号后台即可发布