智谱公开国内首个 RSI 工程案例：AI 在 10 万卡国产集群上自建推理系统，两周吞吐翻 3 倍

今天（2026 年 9 月 17 日）下午，智谱创始人、首席科学家唐杰与 GLM 团队发布长文，披露了递归自我改进（Recursive Self-Improvement，RSI）方向的第一个工程化实践：GLM-5.3-Flash 的线上推理服务，其设计、调试与优化全部由 GLM-5.3 驱动的 Infra Agent 完成。

时间、口径先说清楚：训练与调优工作由 Agent 承担，运行在超过 10 万张国产芯片组成的集群上，不到两周把端到端吞吐提升到初始基线的 3 倍，硬件利用效率和单 Token 成本达到主流 NVIDIA GPU 的相当水平，且这套系统已承载 GLM-5.3-Flash 的全部线上推理——不是实验室 Demo。

但智谱自己在文中明确强调了一句：「我们还没有实现 RSI。」目标怎么定、边界怎么划、风险怎么判断，目前仍由人类工程师负责。这句话决定了这篇文章该怎么读——它是一个真实的、跑进生产的早期形态，不是「AI 已经能自己造 AI」的标题党。

一、一句话结论

二、关键数字：官方口径与媒体口径分列

以下数字全部来自智谱官方技术博客（2026-09-17 发布），媒体转述口径单独标注，不做合并：

指标	数值	口径来源
集群规模	超过 10 万张国产芯片	官方博客 / 媒体一致
端到端吞吐提升	提升至初始基线的 3 倍	官方博客原文口径
（同上，媒体转述）	3.2 倍	腾讯新闻 9/17 报道口径，非官方原文
完成周期	不到两周（模型适配 → 生产可用）	官方博客
硬件效率 / 单 Token 成本	达到主流 NVIDIA GPU 相当水平	官方博客（定性表述，未给具体差值）
Ox-Alpha 实名前调用量	6 天超 62 万亿 Token	官方博客 / 证券时报 9/17 一致
匿名期平台表现	上线一周成为 OpenCode / OpenRouter 双平台调用量最大模型	官方博客

三、为什么这不是普通的「AI 写代码」

让 AI 帮忙改代码早已不新鲜。这次的区别在于反馈的质量：代码库只能提供静态上下文，而推理系统里的问题——精度异常、性能退化、优化目标未达成——往往来自算子实现、并行策略、通信行为、内存管理、服务调度多个层面的动态交互。

如果 Agent 一次修改后只拿到「精度测试未通过」「TTFT 增加 30%」这种端到端结果，它无法判断问题出在哪一层、假设为什么不成立、下一步该验证什么。端到端指标只能告诉它「结果变差了」，解释不了「为什么变差」。

智谱给出的解法叫「稠密反馈」。注意：这里的「稠密」不是指把海量日志和指标灌给 Agent，而是强调反馈的三个特征：

特征	含义	落地做法
足够局部	反馈要能关联到具体的启动参数、改动的代码、算子、输入条件、线程或执行区间	对比「引入融合优化后精度下降」与「某个具体请求在优化前后的输出差异」，后者才能构造最小复现
低成本、及时	每提一个假设、每改一次代码、每做一组对照实验，都要有对应的验证入口	能用算子测试或局部微基准回答的，不必等完整服务部署 + 端到端压测
可客观验证	对错与优劣须由参考实现、测试结果、可比较的实验指标判定	运行信号只能帮 Agent 提出候选原因，不能仅凭现象相关性确认根因，必须做控制变量的对照实验

落地形态是一套由工程师 + Infra Agent + 实验环境组成的三方闭环：工程师定义目标与系统边界，Agent 负责分析、假设和修改，实验环境提供分层、及时、可验证的反馈。原本依赖资深工程师经验串联的诊断过程，被转化成 Agent 可以持续执行的工程工作流。

四、三个真实案例：Agent 具体改了什么

官方博客给出三个案例，分别对应「算得正确」「为什么跑不快」「怎样跑得更快」三类问题。这是全文最有价值的部分，因为它披露了可复用的工程细节：

案例	问题定位	根因与修复	效果
① 正确性反馈	KDA 算子 Context Parallel（上下文并行）路径与非 CP 路径输出存在数值偏差	原实现中 tl.dot 即使接收 FP32 输入，也默认采用 TF32 计算；误差在状态变换合并与后续分片初始化的更新中累积，长上下文下更明显。修复：两处计算显式指定 input_precision="tf32x3"，用三次 TF32 Tensor Core 运算组合出更高精度	精度修复已合并至 Flash Linear Attention 上游（PR #1180）
② 系统行为反馈	验收条件规定「Prefill + KV Transfer 与单独 Prefill 的性能差距不应超过 5%」，但部分场景实际差距超过 20%	Agent 分析时间线发现 KV Transfer 的 Python 侧执行从未与 DeepEP dispatch/combine 调用区间重叠 → 追到 DeepEP v1.2.1 中 intranode_dispatch / intranode_combine 未显式释放 Python GIL（同版本 internode_dispatch 已显式释放，源码注释即为避免阻塞 KV Transfer）→ 持锁期间 Mooncake Transfer 的 Python 线程拿不到 GIL，传输任务提交被推迟。修复：在相关 C++ 执行区间释放 GIL	性能差距从 >20% 压到 <1%
③ 性能优化	KDA Decode 算子存在进一步优化空间	Agent 重新组织该算子的计算方式	取得 1.71× 性能提升

五、支撑这次优化的技术栈清单

Agent 之所以能把吞吐拉到 3 倍，前提是它做的是带明确技术方向的系统级改造，而非零散调参。官方披露的关键技术如下（可直接作为国内做国产卡推理部署的参考清单）：

技术项	作用
节点内张量并行	针对线性注意力与 LM Head 两个算子做节点内切分
ReplaySSM	状态空间模型相关的重放机制
W8A8 量化	权重与激活均 8bit，降低显存占用与带宽压力
INT8 / FP8 / BF16 混合精度缓存量化	对 KV Cache 分层量化，在精度与显存之间取平衡
Layer Split	按层切分部署，适配受限硬件的内存容量
EPD 分离式架构	Encode–Prefill–Decode 分离，是端到端性能约 3 倍提升的关键架构改动
激进内存优化策略	以算力换带宽、以通信换显存等定制化方案

官方描述的背景条件也值得注意：此前没有人成功部署过如此大规模的国产卡集群，面对芯片内存容量和带宽相对受限的挑战，同时要支持新结构模型的 1M 上下文窗口和多模态请求——「生态不成熟，算子不完备，许多文档基本靠猜」。这句话解释了为什么这件事的难度不在模型侧。

六、Ox-Alpha 与 Union Alpha：匿名试水已成行业常规

这次披露同时坐实了一件此前只是推测的事：8 月在 OpenCode / OpenRouter 上以匿名身份登顶调用量榜的 Ox-Alpha，就是智谱的 GLM-5.3-Flash。

而巧合的是，就在昨天（9 月 16 日），OpenRouter 上又出现了一个新的匿名免费模型 —— Union Alpha。两者放在一起看，这条「先匿名试水、再实名认领」的流水线已经非常清晰：

对比项	Ox-Alpha	Union Alpha
身份	已揭晓：智谱 GLM-5.3-Flash（9/17 官方确认）	仍匿名：第三方提供商，OpenRouter 声明自己只负责路由
上线时间	2026 年 8 月	2026 年 9 月 16 日
平台	OpenCode + OpenRouter	OpenRouter（OpenCode 官方称下周上线）
价格	匿名期免费	官方标价 Free（输入输出均为 $0）
上下文 / 模态	1M 上下文	262K 上下文，支持文本 + 图片输入，支持工具调用与结构化输出
数据政策	—	官方页原文：提示词与补全可能被提供商保留，但不用于训练；其余适用 Stealth Model Terms
实测表现	6 天超 62 万亿 Token，上线一周双平台调用量第一	平台实时数据波动较大：P50 吞吐约 18–24 tok/s，首字延迟 P50 约 8.7–10.7 秒

七、对国内开发者的三条现实意义

意义一：国产卡集群的「工程差距」正在被补上

此前国产芯片在多模态与超长上下文的生产级推理上一直被认为生态不成熟。这次披露的价值在于：10 万卡规模、1M 上下文、多模态请求、单 Token 成本追平主流 NVIDIA GPU 这几个条件同时成立，说明差距的补齐路径主要靠工程（并行策略、量化、架构分离），而不只是靠单卡性能。

意义二：稠密反馈是一套可以搬走的通用方法论

不管你优化的是推理服务、数据库查询还是构建流水线，这套思路都成立：把稀疏的端到端结果，转化为细粒度、可归因、能直接指导下一步行动的反馈。判断标准就三条——反馈是否足够局部、获取成本是否足够低、能否客观验证。缺任何一条，Agent（或人）都只能在无效假设上打转。

意义三：免费额度这件事，要按「临时口粮」而不是「基础设施」来规划

同一天的另一个信号值得对照：聚合平台 B.AI 的最后三款 0 元模型（Qwen3.8-Flash / Hy3 / MiMo-V2.5）已于 9 月 16 日 17:00 统一转为「限时 1 折」，其免费档在 30 天内分三批清零（9/3 降 5 折 → 9/12 转 1 折 → 9/16 全清）。

一边是国产模型把推理成本压到 GPU 同等水平，一边是聚合平台的免费档按批次关停——结论很直接：长期项目按官方付费价建模，免费额度只当应急口粮。

八、实操：怎么用上 GLM-5.3-Flash

以下路径均基于智谱官方入口，不含任何邀请/推广链接。GLM-5.3-Flash 是智谱当前的 Flash 档模型，也是这次 RSI 案例中承载线上推理的模型。

路径一：智谱 BigModel 开放平台（国内直连，推荐）

1. 访问 open.bigmodel.cn 注册并完成实名，控制台创建 API Key
2. base_url 填 https://open.bigmodel.cn/api/paas/v4，OpenAI SDK 可直接使用
3. 模型名填 glm-5.3-flash
4. 注意活动窗口：智谱 GLM-5.3-Flash 的每晚 23:00–次日 09:00 免费活动按此前公告到 9 月 20 日，务必在调用前到官方定价页核对最新活动状态——「限时免费」不等于「永久免费」

路径二：通过 OpenRouter / OpenCode 接入（海外通道，需网络条件）

1. 在 OpenRouter 注册并创建 API Key（不要申请任何第三方邀请链接）
2. base_url 填 https://openrouter.ai/api/v1
3. 模型 ID 按当前 OpenRouter 模型页显示填写
4. 如测试匿名模型，模型 ID 去掉 :free 后缀

路径三：混合路由（生产环境建议）

参考本文的案例结论——成本结构的改变比单价更重要。建议按任务类型分流：实时交互走稳定付费通道，批量离线任务走闲时/免费档，长上下文任务优先选支持 1M 窗口的模型，并对所有通道配置自动降级与重试。

九、信息核验日期与来源

信息核验日期：2026-09-17 18:00（北京时间）

核实来源：

• 智谱 GLM 团队官方技术博客（唐杰 & GLM 团队，2026-09-17 发布）——RSI 工程化实践原文，全文事实与数字均以此为准
• 腾讯新闻《刚刚，唐杰发布智谱 RSI 首个成果》（2026-09-17）——官方博客全文转载与补充口径（含 3.2 倍、1.71× 等媒体转述数值）
• 证券时报·e公司 / 人民财讯（2026-09-17）——集群规模、吞吐倍数、62 万亿 Token 交叉核对
• 科创板日报（2026-09-17）—— RSI 案例定性表述交叉核对
• OpenRouter 模型页 stealth/union-alpha（2026-09-17 抓取）——Union Alpha 参数、价格、上下文、数据政策、实时性能数据
• OpenCode 官方账号公开帖（2026-09-16）——免费一周口径与容量说明
• 第三方免费 API 动态整理（2026-09-17）—— B.AI 免费档清零时间线（8/31 六款 → 9/3 两款转 5 折 → 9/12 一款转 1 折 → 9/16 三款全清）

口径说明：本文所有涉及「倍数」「价格」「额度」的数字均已标注来源与口径。凡官方未公布具体数值的，文中以定性表述呈现，不做推算填补。各平台活动政策随时可能调整，请在调用前以官方页面实时显示为准。

常见问题（FAQ）

智谱公开国内首个 RSI 工程案例是什么？

今天（2026 年 9 月 17 日）下午，智谱创始人、首席科学家唐杰与 GLM 团队发布长文，披露了递归自我改进（Recursive Self-Improvement，RSI）方向的第一个工程化实践：GLM-5.3-Flash 的线上推理服务，其设计、调试与优化全部由 GLM-5.3 驱动的 Infra Agent 完成。 时间、口径先说清楚：训练与调优工作由 Agent 承担，运行在超过 10 万张国产芯片组成的集群上，不到两周把端到端吞吐提升到初始基线的 3 倍，硬件利用效率和单 Token 成本达到主流 NVIDIA GPU 的相当水平，且这套系统已承载 GLM-5.3-Flash 的全部线上推理——不是实验室 Demo。 但智谱自己在文中明确强调了一句：「我们还没有实现 RSI。

智谱公开国内首个 RSI 工程案例的关键数据是多少？

时间、口径先说清楚：训练与调优工作由 Agent 承担，运行在超过 10 万张国产芯片组成的集群上，不到两周把端到端吞吐提升到初始基线的 3 倍，硬件利用效率和单 Token 成本达到主流 NVIDIA GPU 的相当水平，且这套系统已承载 GLM-5.3-Flash 的全部线上推理——不是实验室 Demo。

使用智谱公开国内首个 RSI 工程案例需要注意什么？

」目标怎么定、边界怎么划、风险怎么判断，目前仍由人类工程师负责。 这句话决定了这篇文章该怎么读——它是一个真实的、跑进生产的早期形态，不是「AI 已经能自己造 AI」的标题党。 一、一句话结论 核心判断：这件事对国内开发者的实际价值，不在「RSI 有多科幻」，而在两层现实意义——① 10 万卡规模的国产芯片集群已能承载 1M 上下文 + 多模态的生产级推理，硬件层面的差距被工程手段补上了一大截；

常见问题（FAQ）

智谱公开国内首个 RSI 工程案例是什么？

一句话答案：一边是国产模型把推理成本压到 GPU 同等水平，一边是聚合平台的免费档按批次关停——结论很直接：长期项目按官方付费价建模，免费额度只当应急口粮。 关键点：一边是国产模型把推理成本压到 GPU 同等水平，一边是聚合平台的免费档按批次关停——结论很直接：长期项目按官方付费价建模，免费额度只当应急口粮。 一、一句话结论 核心判断：这件事对国内开发者的实际价值，不在「RSI 有多科幻」，而在两层现实意义——① 10 万卡规模的国产芯片集群已能承载 1M 上下文 + 多模态的生产级推理，硬件层面的差距被工程手段补上了一大截；

智谱公开国内首个 RSI 工程案例的关键数据是多少？

一、一句话结论 核心判断：这件事对国内开发者的实际价值，不在「RSI 有多科幻」，而在两层现实意义——① 10 万卡规模的国产芯片集群已能承载 1M 上下文 + 多模态的生产级推理，硬件层面的差距被工程手段补上了一大截；

使用智谱公开国内首个 RSI 工程案例需要注意什么？

如果 Agent 一次修改后只拿到「精度测试未通过」「TTFT 增加 30%」这种端到端结果，它无法判断问题出在哪一层、假设为什么不成立、下一步该验证什么。 今天（2026 年 9 月 17 日）下午，智谱创始人、首席科学家唐杰与 GLM 团队发布长文，披露了递归自我改进（Recursive Self-Improvement，RSI）方向的第一个工程化实践：GLM-5.3-Flash 的线上推理服务，其设计、调试与优化全部由 GLM-5.3 驱动的 Infra Agent 完成。 时间、口径先说清楚：训练与调优工作由 Agent 承担，运行在超过 10 万张国产芯片组成的集群上，不到两周把端到端吞吐提升到初始基线的 3 倍，硬件利用效率和单 Token 成本达到主流 NVIDIA GPU 的相当水平，且这套系统已承载 GLM-5.3-Flash 的全部线上推理——不是实验室 Demo。