DeepInfer · 高性能推理框架
本文依据官方 README 翻译整理，保留原有结构与命令。
这是什么
DeepInfer 是驱动 DeepSeek 大规模生产服务的高性能推理框架。这个开源版本提供离线推理，包含大规模服务所需的核心特性。
支持的模型
- DeepSeek-V4.1-Flash
特性
- 优化过的 kernels、模型与采样运行时
- 并行：Attention DP / 均衡 CP，MoE EP + EPLB
- DSpark 与置信度调度验证
- SWA 有界重放
- 异步调度（零开销批处理调度器）
- 批处理不变推理（batch-invariant）
- 确定性采样
- 结构化输出
优化内核
项目集成了 DeepSeek 自研的一系列高性能组件：
- FlashMLA — 注意力计算
- DeepGEMM — 矩阵乘法
- DeepEP — 专家并行通信
- TileKernels — 分块内核
- DeepSelect — 选择算子
- 以及自定义的 TileLang kernels
注意事项
- 只支持特定模型，换模型需确认兼容性。
- 需要相应的 GPU 硬件与驱动环境。
- 面向服务端部署，个人电脑上基本跑不动。
- 需要复现实验时打开确定性采样，否则同样输入可能得到不同输出。