NandhaKishorM/laya

它是做什么的

一个「决策引擎」，不是聊天模型。你给它一段文字，它直接给出结构化的判断结果——选项、分数、是/否，而不是一段话。因为不做逐字生成，所以快得离谱：单次前向约 33 毫秒。

特点

• 支持 100 多种语言，同一套接口处理多语言输入
• 一次前向就出结果（非自回归），不像聊天模型那样一个字一个字往外蹦
• 内置 router，会按请求自动挑选合适的 checkpoint，你不用手动指定模型
• 用强化学习按「严格适当评分规则」训练，目标是让输出的置信度有实际意义
• 提供 Python 包（`pip install laya`）和 TypeScript 版本，还能接 MCP、LangChain、LlamaIndex、CrewAI

什么任务适合用它

• 需要低延迟的分类、路由、筛选、是/否判断，比如给工单自动打标签
• 要把「决策」嵌进已有系统，而不是生成一段文字给用户看
• 多语言场景下需要统一的行为

使用建议

• 需要 Python 3.10 或更新版本；按用途装可选依赖，比如要 HTTP 服务装 `laya[serve]`，要 MCP 装 `laya[mcp]`
• 处理长文档时一定要显式传 `max_len=8192`，它默认只读 1024 个 token，超出部分会被截断——这是最容易踩的坑
• 先用 Colab 笔记本跑一遍示例，确认输出格式符合你的预期再接进生产

注意事项

• 它是决策模型不是对话模型，让它写文章、做开放式回答会失望
• 长文档在 8192 token 之后准确率会变得不稳定，README 自己给了实测曲线
• 需要自己部署模型权重（Hugging Face 上有），有一定的机器资源要求

下载与源码

源码包是仓库默认分支的当前快照；要安装包请看发布页。

git clone https://github.com/NandhaKishorM/laya.git

git clone "https://ghproxy.link/https://github.com/NandhaKishorM/laya.git"

以上链接均逐个实测可访问。「直连可用」= 不开代理也能下载；「需代理」= 你的网络需要已开启代理。

使用说明

查看完整使用说明（中文）→ · GitHub 仓库 ↗

中文版由官方 README 翻译整理，保留原结构与命令，专有名词附英文原文。

查证来源

本文依据该仓库 README 与插件目录声明整理。

打开 GitHub 仓库 ↗