Laya · 非自回归决策引擎
本文依据官方 README 翻译整理，保留原有结构与命令。
这是什么
多语言、非自回归的 System 1 决策引擎。
对 100 多种语言做类型化决策，单次前向约 33 毫秒。用强化学习按「严格适当评分规则」（RLCD）训练，内置一个 router，按请求挑选合适的 checkpoint。
「非自回归」的意思是：它不像聊天模型那样一个字一个字生成，而是一次前向直接输出结果——所以快。
安装
python -m pip install laya用 uv 的话，在 uv 项目里 uv add laya，或在虚拟环境里 uv pip install laya。
需要 Python 3.10 或更新版本。
可选依赖：
laya[serve]— HTTP 服务laya[mcp]— MCP 服务laya[langchain]— LangChain / LangGraphlaya[llamaindex]— LlamaIndex 选择器laya[crewai]— CrewAI 路由laya[onnx]— ONNX Runtimelaya[fast]— TileLang GPU 加速路径laya[structured]— 在decide里用 pydantic 模型
TypeScript / 浏览器
见仓库的 laya-ts/ 目录。npm 包 laya-ts 从本仓库的 laya-ts-v* 发布标签发布。
长文档
laya-multilingual 用 max_len=8192 最多读 8,192 个 token。
但它的默认限制是 1,024 个 token，长文档会被截断。 处理长文档时一定要显式传 max_len=8192。
注意事项
- 它是决策模型，不是对话模型，不要期待它写文章。
- 超过 8192 token 后准确率变得不稳定，README 给了实测曲线。
- 需要自己部署模型权重（Hugging Face 上有）。