deepseek-ai/DeepInfer

它是做什么的

DeepSeek 自家生产环境在用的高性能推理框架，这是它的开源离线版。「推理」指的是让训练好的模型跑起来回答问题的过程，这个框架专门为大规模、高吞吐的服务场景优化。

特点

• 内置多种优化过的计算内核：FlashMLA、DeepGEMM、DeepEP、TileKernels 等，都是 DeepSeek 自己开源的高性能组件
• 完整的并行策略：Attention 层的 DP、均衡的 CP，MoE 层的 EP 加 EPLB（专家负载均衡）
• 支持确定性采样和批处理不变性——同样的输入无论批量大小都得到同样输出，方便复现实验
• 异步调度，号称零开销的批处理调度器
• 支持结构化输出

什么任务适合用它

• 要自己部署 DeepSeek 模型对外提供推理服务
• 对吞吐、延迟、结果可复现性有要求的团队
• 研究 MoE 模型的高效推理实现

使用建议

• 先看支持的模型列表（目前写明支持 DeepSeek-V4.1-Flash），别拿不支持的模型硬跑
• 要复现实验结果时打开确定性采样，否则同样输入可能得到不同输出
• 这是给有 GPU 集群和部署经验的人用的，不是下载就能双击运行的桌面软件

注意事项

• 只支持特定模型，换模型需要确认兼容性
• 需要相应的 GPU 硬件和驱动环境，配置门槛高
• 面向服务端部署，个人电脑上基本跑不动

下载与源码

源码包是仓库默认分支的当前快照；要安装包请看发布页。

git clone https://github.com/deepseek-ai/DeepInfer.git

git clone "https://ghproxy.link/https://github.com/deepseek-ai/DeepInfer.git"

以上链接均逐个实测可访问。「直连可用」= 不开代理也能下载；「需代理」= 你的网络需要已开启代理。

使用说明

查看完整使用说明（中文）→ · GitHub 仓库 ↗

中文版由官方 README 翻译整理，保留原结构与命令，专有名词附英文原文。

查证来源

本文依据该仓库 README 与插件目录声明整理。

打开 GitHub 仓库 ↗