模型偷偷删了自己的思考，你发现了吗？

还真有这种事。不过，"删思考"的不是模型自己——是Agent框架在背后动的手。 Agent每调用一次工具，框架就要把整段对话重新渲染成文本再喂给模型。这时候，某些模型的聊天模板（Chat Template）会悄悄裁剪掉历史的推理内容。比如Qwen3和Kimi K2的模板，只保留**最后一轮用户消息之后的推理**——前面几轮模型辛辛苦苦"想"出来的中间步骤，直接被扔掉了。这还没完。重新渲染时，BPE分词器会把文本再度切分成Token。听起来只是"同一段话再编码一次"对吧？但BPE存在编解码不对称——同一段文本可以对应多组不同的Token序列，重新编码时算法只能贪心地选一组，不一定是原始那组。于是，训练端拿到的Token序列和推理端实际生成的根本不是同一回事。模型"说"的是A，训练系统"听到"的却是B。这就是Miles的TITO方案要堵的漏洞：不再让框架重新拼Token，而是把推理时最原始的Token缓冲区原封不动地交给训练端——连一个字节都不许动。

600亿美元，买的到底是模型还是水管？

600亿买的不是一瓶水，是水龙头本身。 Cursor的Composer 1.5模型当然值钱，但SpaceX真正锁定的，是藏在IDE界面背后的那根"水管"——数百万开发者每天在编辑器里接受或拒绝代码建议，每一下点击都在为RL（强化学习）训练输送真实反馈。Cursor自己披露，它的RL规模一年扩大了20倍，后训练计算量已超过预训练。换句话说，模型本身只是管道末端流出来的那杯水，而Cursor拥有的是整座自来水厂：用户数据飞轮→奖励信号→持续训练→更强模型→更多用户，循环自转。 SpaceX把Cursor接入自家Colossus GPU集群和Grok生态，相当于给这根水管接上了无限算力。Miles这样的训练基础设施就是保证水管不堵的工程方案——Token一致、路由一致、权重秒传，少一环整条产线就崩。600亿美元的赌注是：未来AI的护城河不在一时的模型能力，而在谁能把"训练→部署→反馈→再训练"这条产线持续跑起来。Cursor跑通了，SpaceX就买下了整条产线。

加速2.7倍，模型却悄悄'改主意'？

这件事 Fireworks 团队在 Kimi K2.5 上亲手撞过。他们发现，把 MoE 层的专家加权求和、跨 GPU 聚合和 RMSNorm 三条流水线**融合成一个 kernel**，性能提升非常可观——省掉多次 HBM 来回读写，吞吐大幅跃升。但同一个操作也埋下了隐患。根源在于浮点加法**不满足结合律**。`(a+b)+c` 和 `a+(b+c)` 在数学上等价，在 GPU 里却因舍入顺序不同而产生微小差异。融合后的 kernel 改变了线程布局和累加顺序，每个 MoE 层引入的误差仅有小数点后好几位。但 Kimi K2.5 有 **58 层 MoE、61 层 Transformer**——这些微小扰动像滚雪球一样层层放大，最终让隐藏状态偏移到足以**翻转 top-K 路由决策**：模型"选"了不同的专家，输出悄悄变了。 Fireworks 用 k3（KL 散度变体）量化了这个漂移——仅 MLP 融合一项就让 k3 提升约 **2.7 倍**。好消息是，所有融合方案的 k3 仍在 0.001 阈值以下；但坏消息是，对 RLHF 这类需要推理端作为"参考锚点"的场景来说，这点漂移已经足够让奖励信号失真。这也是 Miles 的 R3 方案要直接记录推理时实际激活的专家掩码、训练时照单重放的原因——**不靠重新算，就不会算错**。

新知 - 大圆镜｜Miles框架三项工程解法让千亿参数Agent强化学习高效运行

对抗知识焦虑，从看懂这条开始

App 下载

关于大圆镜

大圆镜（dyj.live）·中文科普知识平台。1000+ 顶级一手科学信源（arXiv / Nature / Cell / DeepMind / 中科院等五层体系），每日精选 200+ 条世界级科学新知，AI 锐评 + 人工把关 + 完整证据链。

大圆镜是什么？

大圆镜（dyj.live）是中文科普知识平台，提供最新鲜的、可循证的硬核知识。以 1000+ 顶级一手科学信源（arXiv / Nature / Cell / DeepMind / 中科院等五层体系）为根基，每天精选 200+ 条世界级科学新知，AI 编辑流水线 + 人工把关完成锐评、深度解读、脉络梳理与真理追问。

大圆镜的内容跟其他科技媒体有什么不同？

不做二手搬运。每条都可追溯到原始一手信源（学术论文、机构发布、实验室博客），文末附 3-50+ 个学术 / 媒体 / 百科信源含发表年份与被引数。每条均经「信源权威度 + 新颖性 + 跨源验证 + 公众可读」多维评分入库。

大圆镜覆盖哪些学科？

全科普谱系，10 大领域：人工智能与计算、生命科学与医学、脑科学与认知、量子物理与天体物理、化学与材料、天文与空间、地球与环境、数学与统计、能源与工程、经济与社会。关键词含大语言模型、基因编辑、聚变能源、脑机接口、量子计算、商业航天、AlphaFold、CRISPR 等。

大圆镜接入了哪些信源？

1000+ 顶级一手信源，分五层：L1 预印本（arXiv / bioRxiv / medRxiv 等约 2,500 篇/日）、L2 顶级期刊（Nature / Science / Cell / NEJM / PNAS 等约 95 刊）、L3 机构 PR（NASA / NIH / 中科院 / MIT 等约 120 家）、L4 产业实验室（OpenAI / DeepMind / DeepSeek 等约 45 家）、L5 同业策展（Quanta / 量子位 / 机器之心等约 45 家）。

大圆镜的内容是 AI 生成的吗？

是 AI 编辑流水线 + 人工把关的工业化产线。AI 负责信源监控、标题生成、锐评撰写、多维评分；人工负责上线前的复审、阈值调整、质量持续迭代。所有信源、数据、引用均可溯源，不编造事实。

大圆镜有哪些产品模块？

七大产品矩阵：① 新知（个性化深度信息流，Web + App）② 灵镜岛（知识图谱式学习模块，App 端深度体验）③ 镜界（经认证科学家共建社区，App 端深度体验）④ 新知电报（分钟级科学进展快讯 + 突破性进展推送，App 端深度体验）⑤ 镜选（充电热榜，用户共创选题）⑥ 镜选片场（≥ 100 充电的待制作选题流水线）⑦ 视频（400 万粉「大圆镜科普」账号 IP 系列 + App 独家彩蛋）。

灵镜岛是什么？跟刷文章有什么差别？

灵镜岛是大圆镜 App 内的知识图谱学习模块。把每天产出的科学新知按「概念节点 + 关系边」织成认知地图，支持从入门概念到学术原文的多层级跳读。区别于「刷文章只看碎片」，灵镜岛让用户系统性掌握一个学科。

镜界是什么？里面的科学家是真实的吗？

镜界是大圆镜 App 内的科学家共建讨论社区（类似微信读书的「书友」模块）。采用实名认证制，目前认证身份为高校教师与机构研究员（蓝标），每位档案含所属机构、研究方向、代表论文。社区围绕大圆镜每日新知展开讨论 —— 读者可一键把新知文章里的精彩评论分享到镜界发起更广对话。

大圆镜的「充电」是什么？怎么影响内容生产？

「充电」是 App 内的支持机制（相当于「投票 + 关注」）。读者给镜选热榜的选题充电，累计达到 100 票即进入镜选片场（待制作流水线），按票数高低依次进入大圆镜制作排期。整个过程对所有读者透明可见，可追踪选题从充电到上线的每一步。

「大圆镜科普」视频账号是什么？《大脑简史》等 IP 在哪看？

「大圆镜科普」是大圆镜旗下视频科普账号，全网粉丝 400 万+，运营七大科普 IP 系列：《大脑简史》《生命科学简史》《人工智能简史》《古生物简史》《瘟疫简史》《成瘾简史》《未解之谜》。日常视频在 B 站、抖音、小红书、百家号等平台发布；大圆镜 App 内同步全集，并独家提供彩蛋内容、配套图片壁纸、BGM 素材、视频对应的文字版深度解读。

你有一间装了64张顶级GPU的机房，每一张都贵得让人心疼。但你跑起强化学习训练时盯着监控面板，看到的不是GPU在吞吐数据——90%的时间，它们在空等。等最慢的那条Agent轨迹跑完，等整个批次收齐，等训练端终于可以做一次梯度更新。

这不是某个实验室的个例。风投机构Amplify Partners调研多家顶级AI实验室后发现，同步RL集群里，高达90%的GPU时间被浪费在等待上。

RadixArk的Miles框架要解决的就是这件事。2026年9月，团队发布完整技术报告，用64张NVIDIA GB300显卡对7440亿参数的MoE模型（混合专家模型——每个Token只激活少数专家子网络，而非全部参数都参与计算）做了一次从头到尾的Agent强化学习——每一步中位时间263秒。这不是靠堆更多GPU，而是把RL循环里三个最要命的工程瓶颈，一个接一个拆开了。

为什么744B的模型一跑RL就卡死？GPU不是算不动，是等不起

强化学习训练大模型，说起来只有三步：让模型生成回答（Rollout），根据回答质量更新模型（Training），再把新参数推回推理端（Weight Update）。三步循环往复。

但一到Agent任务，事情立刻崩了。一个Agent可能调用几十次工具——查文档、跑代码、读文件——每条轨迹的长度差异巨大。有的30秒跑完，有的要跑三分钟。在同步模式下，最快完成的GPU只能干等最慢的那条。训练端也必须等整个批次收齐。

Miles的做法是把Rollout和Training彻底解耦。它引入一个有界数据缓冲区——想象餐厅后厨的成品台：厨师做好一道菜就往台上一放，不用等其他厨师收工；品控从台子上取菜试味，不用等着所有菜一起上。这道"成品台"就是Miles的异步调度核心：Rollout GPU把完成的轨迹往里丢，训练端从中独立取样做梯度更新。两边速度各自独立——谁也别等谁。

缓冲区的深度需要小心控制。太深，训练端拿到的轨迹是旧模型产生的，和当前模型的实际行为已有差距（这叫off-policy偏差）；太浅，训练端可能饿死。Miles把深度做成可调参数。调度粒度也做到了逐样本级别——一条轨迹完成就立刻进缓冲区，不等凑齐一批。

还有一个让速度翻倍的设计：Prefix Cache。Agent多轮对话里，每一轮都继承前面的上下文——前面算过的键值缓存（模型对已处理上下文的理解快照）如果丢了，就得重算。Miles的做法是为同一个会话锁定路由——同一个Agent的后续轮次永远落在同一台推理引擎上，新会话才去找当前最闲的引擎。在GLM-5.2实验中，这套机制把缓存命中率维持在了96%。

那么问题来了：训练端虽然不等了，但它学的东西，真的是模型刚才生成的那条轨迹吗？

Token一模一样还不够——MoE模型有个更隐蔽的陷阱

你可能会想：Rollout端生成了回答，训练端拿同样的回答去算梯度，这有什么难的？

问题出在Token化。Agent的输出不是裸文本——它经过消息解析、工具调用、Chat Template渲染，再被重新切分成Token。而这个"重新切分"会静默破坏原始序列。根源在于BPE分词器（一种把文本切成最小Token单元的算法）的编解码不对称：一段文本可以对应多组不同的Token序列，但重新编码时，算法只能贪心地选一组——不一定是原始那组。

还有更隐蔽的破坏方式。某些模型的聊天模板会自动裁剪历史推理内容——Agent每调用一次工具就注入一条系统消息，之前的推理Token就被静默擦掉。有研究人员把这叫"精确比特前缀被破坏"。

Miles的TITO方案直接绕过了整个问题。它不再让Agent框架自己去重新拼Token，而是在推理端维护一个只追加不重写的Token缓冲区。原始生成的是什么Token ID、什么对数概率，训练端拿到的就是什么。就像餐厅里，品控不靠服务员口头转述"这道菜放了什么"——而是直接拿到厨师实际下料的原始记录。

到这里，Token一致性解决了。但如果你用的是MoE模型，还有一个更深的问题。

即使Token序列完全一致、模型权重完全一致，同一个Token在训练端和推理端仍可能走进不同的专家。根源是浮点运算的非结合性：不同框架的通信拓扑、算子融合方式、聚合顺序不同，导致微小的数值差异。MoE路由器对隐藏状态极其敏感——一个微小扰动就可以翻转top-K选择。在61层深度、58层使用了MoE的模型上，这种误差跨层累积放大。

R3论文给出的数字让人心头一紧：在Qwen3-30B-A3B上，94%的Token在至少一层MoE中选错了专家。 平均每个Token有大约6个路由器的选择不一致。训练-推理KL散度——衡量两个模型对同一输入预测分布差异的指标——达到1.535×10⁻³，是同等规模稠密模型的2.4倍。

这很像分布式数据库领域一个纠缠了几十年的老问题。Google Spanner用原子钟保证"外部一致性"——如果交易T1在T2之前完成，所有读取者都必须先看到T1再看到T2。Kafka用leader epoch号防止消费者从"僵尸leader"读到过期数据。它们的共同逻辑是：不靠重新计算来判断"应该是哪个版本"，而是把写入时的真实状态直接保存下来。Miles的R3方案走的正是同一条路——它不重新计算每个Token应该进哪个专家，而是把推理时每个Token实际激活的专家编号记下来，训练时直接照单重放。

效果立竿见影：KL散度从1.535×10⁻³降到7.5×10⁻⁴——接近稠密模型水平。训练稳定性大幅提升：没有R3时，60步训练后10%的Token概率差超过两倍；有R3后，这个比例始终低于万分之一。

现在，Token一致了，路由一致了，异步也跑起来了。但每训练完一步，怎么把744B甚至1T参数的更新模型送回推理集群？

权重更新从53秒压到7秒——但单节点反而更慢

传统做法是NCCL Broadcast——把整个模型权重广播给所有推理节点。模型来到数百B参数时，这成了一场噩梦。Miles实测中，GLM-5 744B的一次完整Broadcast耗时58秒——每训练一步，推理端要等将近一分钟才能拿到新模型。Kimi K2 1T参数更夸张：53.28秒。

Miles的P2P方案做了一个概念翻转：不广播，而是点对点直传。在训练节点的CPU内存里建一个模型副本，通过RDMA——一种让一台机器直接读写另一台机器内存的网络技术——每个训练节点把自己负责的那片权重直接写入对应推理节点的内存。推理节点不用参与传输，只是被动地发现自己内存里多了新数据。

效果：Kimi K2 1T从53.28秒降到7.23秒，缩短86.4%。GLM-5 744B从58.30秒降到8.48秒，缩短85.5%。而且P2P的加速比随节点数增长——节点越多，广播浪费越严重，P2P优势越大。

但这里有一个教科书级的工程反转。

单节点环境下，P2P反而比Broadcast慢大约70%。原因很简单：把权重加载到CPU内存的固定开销——内存注册、张量格式转换——在节点数少的时候，超过了P2P省下的传输时间。Miles团队在论文里坦率标注了这个边界条件，并保留Broadcast作为默认方案。这不是P2P的失败——这是好工程的标志：知道方案的适用边界，比知道方案的优势更重要。

Miles还顺手解决了显存问题。全参数训练中，高精度主权重加上优化器追踪梯度方向的两个辅助变量，每个参数要占大约12字节——相当于每存一个参数，就要在边上堆好几倍的"优化器行李"。对于超大模型，Miles可以把这些行李按块流式搬到磁盘上。在Qwen3-30B-A3B上，卸载时间从24秒降到5.2秒，重载从8.9秒降到1.3秒。

后训练基础设施，正在成为AI公司的新护城河

Miles不是一个孤例。2026年，整个AI行业正在经历一个静默的重心转移：后训练计算量已经超过了预训练。

Cursor在Composer 1.5中披露，它的RL规模在一年内扩大了20倍，后训练计算量超过预训练。Anthropic的Opus 4.7在软件工程基准测试SWE-Bench Verified上从80.8%跳到87.6%——近7个百分点的提升不是靠更大的基座模型，而是靠更好的后训练。Salesforce同期发布了SFR-RL，宣称同样GPU可以训练5倍更大的模型。行业共识正在成形：2026年的护城河不是预训练数据量，而是后训练数据、领域化奖励模型，以及能支撑这套循环持续运转的RL计算基础设施。

在这个背景下，Miles的定位就很清楚了。它不是又一个"新的RL目标函数"——它不试图改进现有RL算法的数学公式。它做的事情更低层、更基础：让RL循环在千亿参数规模上持续运转，不出故障。Token要一致，MoE路由要一致，Rollout不能闲着，Trainer不能被显存卡住，数百B乃至1T参数的权重还得在几秒内送到推理集群。这些不是锦上添花的优化——哪一项没做好，整个训练就会崩。

但这也意味着Miles的门槛很高。64张GB300只是入门券——单节点场景下P2P反而更慢，小团队无法从中受益。开源RL框架的生态正在碎片化：veRL、OpenRLHF、TRL、Miles、SFR-RL各有侧重，没有统一标准。这些基础设施会进一步巩固算力寡头的优势，还是给小实验室一个追赶的抓手，目前仍无定论。

团队自己也刻意压低了调门。100步、单一任务分布上的Reward从0.438涨到0.556——但他们明确写道，这"无法排除不同Run之间的随机波动"。在一篇充斥着benchmark军备竞赛的行业里，这是一种难得的清醒。

真正值得关注的不是某个数字涨了几个点。是这套系统证明了一件事：Agent RL可以在744B参数的MoE模型上持续跑100步，每步不到五分钟，中间没有崩过。Token一致、路由一致、权重秒传——把这三件事同时做对，RL才从"能跑demo"变成了"能上产线"。而谁能把这条产线跑起来，谁就拿到了下一代AI Agent的入场券。