这项由百度、清华大学、同济大学（原文为Tsinghua University）以及复旦大学联合完成的研究，以预印本形式发布于2025年5月，论文编号为arXiv:2605.00425v3，有兴趣深入了解的读者可通过该编号在arXiv平台查阅完整原文。
**研究背景：AI智能体面临的"蒙眼猜拳"困境**
要理解这项研究解决了什么问题，可以先设想这样一个场景：你雇了一位助理帮你完成一项复杂任务，比如在网上购物网站上帮你找到性价比最高的耳机。这位助理需要不断搜索、点击、比较，经历许多步骤，最终才告诉你结果是否令他满意。问题在于，如果最终结果不理想，你无法知道是哪一步出了错——是搜索关键词选得不好，还是比价策略有问题，还是最后那一次点击判断失误？这种"只知道终点好不好、不知道哪段路走错了"的困境，在AI领域被称为**稀疏奖励下的信用分配问题**。
大型语言模型（LLM）正在越来越多地被用于这类"智能体"任务——不仅仅是回答一个问题，而是像人一样与外部环境持续互动：操作网页、调用工具、修复代码错误、在模拟家居环境中完成任务。强化学习（RL）是训练这类智能体的核心方法，简单说就是让模型不断尝试，做得好就给奖励，做得差就惩罚，从而逐步改进。
然而，当任务变得很长、步骤很多时，麻烦就来了。模型完成了三十步操作，最后才收到一个"成功"或"失败"的信号，但这三十步中每一步对最终结果的贡献各不相同。训练时很难区分哪些步骤应该被强化、哪些应该被纠正，整个过程就像蒙着眼睛猜拳——反馈太模糊，学习效率极低。
现有的解法大致分成几类。一类是引入"过程奖励模型"，专门训练一个额外的模型来给每一步打分，相当于雇了一位随时监督的顾问；另一类是通过树状结构让多条轨迹并行探索，再精细地比较每个分支的效果；还有一类是从轨迹本身的结构推断哪些步骤更关键。这些方法要么需要大量额外的监督数据和模型，要么计算开销极大，要么依赖对任务结构的强假设，难以推广到不同场景。
这正是这项研究要填补的空白。研究团队提出了一个叫做**AEM（自适应熵调制，Adaptive Entropy Modulation）**的方法，核心思路是：不依赖任何额外的监督信号，而是利用模型自身的"信心程度"——即所谓的**熵（entropy）**——来自动调整每一步的学习权重，从而解决信用分配问题，同时实现从"广泛探索"到"精准利用"的自然过渡。
---
**一、"信心"是什么？熵为什么能作为信号？**
在理解AEM之前，需要先搞清楚"熵"在这里是什么意思。在日常语境里，熵通常让人联想到"混乱程度"。在AI语境里，它描述的是模型对自己答案的"不确定程度"。
假设你让一位棋手在某个棋局中选择下一步。如果他非常有把握，他会毫不犹豫地指向某一个位置，其他选项他几乎不考虑——这叫低熵，即高度确定。如果他面对的是一个让他感到迷茫的棋局，他会觉得好几个方向似乎都差不多，很难取舍——这叫高熵，即高度不确定。
对于AI智能体而言，当它在某个状态下生成一段回复时，如果这段回复的熵很高，说明模型对这个位置"没底"，处于探索状态；如果熵很低，说明模型对这一步非常自信，处于利用已有知识的状态。
研究团队注意到一个关键事实：在智能体任务中，真正改变外部环境状态的是**整段回复**，而不是其中的某一个词。AI每次说完一整段话或一整个行动指令，环境才会做出反应。因此，把"信心度"这个概念从单个词的层面提升到整段回复的层面，才能更准确地反映模型在这个决策点上的真实不确定性，也更不容易被某几个随机采样的词语干扰。
这就是AEM的出发点：把回复级别的熵作为一个内在信号，用它来调整训练时每段回复所获得的学习权重，从而在不引入任何外部监督的情况下，让信用分配变得更加精细。
---
**二、理论基础：熵的变化由什么决定？**
研究团队并不是凭直觉拼凑出这个方法的，而是从数学上严格推导了"训练过程中模型的熵会如何变化"。
理解这个推导，可以用"天平调零"来类比。训练的本质是不断调整模型的参数，让好的回复更容易被选到，坏的回复更难被选到。而熵描述的是模型在所有可能回复之间的"分散程度"——熵高说明模型的注意力很分散，熵低说明它高度集中在少数几个选择上。
研究团队在一个叫做"Fisher-Rao度量"的数学框架下分析了这个问题。这个框架是信息几何领域的工具，它用一种特殊的尺子来衡量策略更新的方向和大小，使得分析不依赖模型具体的参数形式。在这个框架下，他们推导出了一个核心结论：**模型熵的变化方向，由两个量的乘积决定——一是这段回复的"优势值"（advantage），二是这段回复的"相对惊讶度"（relative surprisal）**。
优势值衡量的是这段回复比平均水平好多少或差多少，这是强化学习中常用的概念。相对惊讶度则是衡量这段回复相对于模型当前熵水平"有多意外"——简单说，如果模型生成了一段它本来觉得不太可能的回复，那它的惊讶度就高；如果这段回复是模型"意料之中"的，惊讶度就低。
两者乘积为正，熵就上升（模型变得更加分散、更愿意探索）；乘积为负，熵就下降（模型变得更加集中、更倾向于利用已有经验）。这个结论的意义在于：如果我们想要主动引导熵的走向，只需要对优势值进行适当的缩放就可以做到，完全不需要改变训练框架的其他部分。
研究团队还进一步证明，回复级别的熵和整个策略的熵之间有严格的数学关联：调整回复级别的熵，必然带来整体策略熵的相应变化。这保证了AEM在回复这个粒度上的操作，确实能够影响到模型的整体训练状态。
---
**三、AEM的具体做法：一把自动调节的旋钮**
有了理论基础，AEM的实现方式其实相当简洁。可以把它理解为在原有训练流程上加了一个"自动调节旋钮"，这个旋钮会根据每段回复的熵值高低，自动放大或缩小该回复对应的学习信号。
具体操作分成几个步骤，整个过程像是在做一道菜时调整火候和用量。
第一步是"量温度"，也就是计算每段回复的熵代理值。模型在生成回复的每一个词时，内部都会产生一个"当前位置的词级熵"，即模型对这一步选哪个词有多不确定。AEM把这些词级熵加起来，再除以回复的长度做归一化，得到一个代表整段回复"平均不确定程度"的数值。长度归一化很重要，因为不同回复的长短差异很大，不归一化的话熵值根本没有可比性。
第二步是"校准量杯"，也就是在同一组回复（即同一个提示词下采样出的所有候选回复）内部，对这些熵值做最小-最大归一化，把所有值压缩到0到1的范围内。这一步的目的是避免不同任务、不同时间点的熵值绝对大小不同带来的干扰，只看同一组内部的相对高低。如果同组内所有回复的熵值差异非常小（小于0.1），说明这批数据的信息量不足以做有意义的区分，此时AEM会把调节系数设为1，即保持原样不动。
第三步是"算系数"，用一个温度参数λ控制的指数函数，把归一化后的熵值转换成调节系数α：熵值低的回复得到大于1的α，熵值高的回复得到小于1的α。然后对整组回复的α做自我校正，使得组内所有α的平均值接近1，保证AEM不会整体放大或缩小这一批回复的学习信号，只是调整它们内部的相对权重。
第四步是"调火候"，把算出来的α乘以原有的优势值，得到调整后的新优势值，然后像平时一样用这个新优势值来更新模型参数。整段回复内所有词都用同一个α，不会有词与词之间的差异。
整个过程完全不需要额外跑一遍模型前向传播——词级熵值本来就是训练时计算旧策略概率时的副产品，可以直接拿来复用，额外的计算量几乎可以忽略不计。
---
**四、为什么这个设计能自动完成"探索到利用"的过渡？**
AEM最巧妙的地方在于，它的行为会随着训练进程自动发生变化，不需要人为设定任何时间表。
在训练初期，模型还很"生涩"，大多数尝试都会失败，也就是说大多数回复的优势值是负的。此时AEM是这样工作的：对于那些熵值相对较低（模型比较自信地做出但依然失败）的回复，α小于1，意味着这个负向信号被适当削弱，避免模型过度惩罚自己、过早收敛到某个固定套路上；对于那些熵值相对较高（模型在犹豫中做出且失败）的回复，α大于1，意味着这个负向信号被放大，推动模型更积极地调整自己在不确定区域的行为。综合效果是：早期训练时熵被保持在较高水平，模型保留了更多的探索能力，不会过早"定型"。
随着训练推进，模型越来越擅长任务，成功率逐步提升，同一批回复中正向优势值的比例越来越高。此时AEM的逻辑变成：对于熵值较低（模型自信地做出且成功）的回复，α大于1，正向信号被放大，促使模型更坚定地走向这些可靠路径；对于熵值较高（模型在不确定中侥幸成功）的回复，α小于1，正向信号被适当抑制，防止模型因偶然的幸运而过度强化某些不稳定的做法。综合效果是：晚期训练时熵逐步降低，模型向更确定、更精准的方向收敛。
这种"正负样本比例决定整体熵压力方向"的机制，让AEM天然地实现了探索与利用之间的动态平衡，无需人为干预，无需预设的课程安排。
---
**五、实验验证：在三个截然不同的战场上测试**
研究团队在三个差异悬殊的多轮交互任务上对AEM进行了系统验证，同时测试了从1.5亿参数到320亿参数的多个模型规模。
第一个战场是**ALFWorld**，这是一个文字版的家庭助理模拟环境。AI需要扮演一个家居助理，完成各种任务，比如"找到一块肥皂，把它清洗后放到浴室台面上"，操作空间包括取物、移动、使用电器等六类行动。这是一个步骤清晰但需要合理规划的任务。
第二个战场是**WebShop**，一个模拟网购环境。AI需要在海量商品中根据用户需求搜索、筛选、比较，最终购买到符合要求的商品。这个任务更接近现实中的信息检索和决策场景，干扰因素很多。
第三个战场是**SWE-bench-Verified**，一个软件工程基准测试集。AI需要阅读真实GitHub仓库中的issue描述，理解问题，定位代码、修改文件，通过测试来解决实际的软件缺陷。这是三个任务中最复杂、最开放的，解决方案空间极为庞大，而且任务本身就是专业程序员日常面对的真实挑战。
实验的基本逻辑是"插件测试"：AEM不替换原有的强化学习算法，而是像一个附加模块一样叠加在现有算法之上。研究团队选取了几种主流的基于分组的强化学习算法作为基础——包括GRPO、DAPO和GSPO——分别在叠加AEM前后对比性能。
在ALFWorld上，用1.5B规模的模型配合GRPO训练，加入AEM后整体成功率从68%提升到了76.8%，提升幅度达8.8个百分点。用7B模型搭配DAPO训练时，成功率从96.1%进一步提升到96.6%，在本就已经很高的基线上还能继续改进，说明AEM并非只在弱基线上起作用。在WebShop上，1.5B模型使用GRPO的成功率从65%提升到70.6%，7B模型使用DAPO的成功率从86.7%提升到88.9%。
最能体现AEM实用价值的是SWE-bench-Verified的结果。研究团队把AEM集成到了一个叫做DeepSWE的当时最先进的开源软件工程智能体训练框架中。DeepSWE本身已经是一个经过精心调优的系统，使用320亿参数的Qwen3-32B模型，采用了裁剪策略、去除KL惩罚、难度偏差校正等多种优化技巧，在SWE-bench-Verified上的解决率为42.3%。加入AEM之后，这个数字提升到了43.7%，绝对提升1.4个百分点。在这类高难度、高基线的测试上，1.4%的提升是相当可观的进步。
整个实验过程中，不同任务、不同模型规模、不同基础算法，AEM几乎无一例外地带来了正向收益，这种普遍性是研究团队最看重的性质之一。
---
**六、三组分析实验：拆开看AEM到底做了什么**
除了整体性能数字，研究团队还设计了三组专门的分析实验，用来验证AEM的工作机制是否真的符合理论预期。所有分析实验均在WebShop任务上用1.5B模型配合GRPO进行。
第一组分析验证α与真实相对惊讶度的一致性。研究团队随机抽取了64个状态，对每个状态用蒙特卡洛方法采样64条回复，用大量采样的平均惊讶度来估计真实的回复级别熵期望。然后比较α-1（AEM计算出的调节方向）和真实相对惊讶度的关系。结果显示，两者的皮尔逊相关系数达到0.63，在64个状态中有55个（85.9%）的符号方向一致。这说明AEM用来估计相对惊讶度的代理指标，确实捕捉到了真实信号的主要成分，虽然是近似，但方向性是准确的。
第三组分析追踪完整训练过程中的熵动态。对比GRPO和GRPO+AEM各3次独立运行的熵曲线：GRPO基线在训练初期就出现急剧的熵崩塌，随后进入一段低熵平台期，成功率在这个阶段的进步非常有限；而GRPO+AEM在训练初期保持了较高的熵值，随着成功率爬升，熵才逐渐平稳下降，最终收敛到一个更低的水平，同时成功率也达到了更高的终点。这个"探索期更长、收敛更彻底、结果更好"的模式，正是AEM设计目标的直接体现。
---
**七、消融实验：哪些设计缺一不可？**
为了确认AEM的每个设计选择都是必要的，研究团队还系统地测试了多个变体，用WebShop任务上的成功率来对比。
把α的方向倒过来（熵值高的回复反而得到更大的α）会导致成功率从65.0%跌到64.5%，甚至低于不使用AEM的基线。这证明信用分配的方向必须正确，反向调整不仅无益，而且有害——它会加速早期的熵崩塌，同时压制后期有益的收敛。
把α值打乱随机分配给同组内的回复（保留α的分布，但破坏α与具体回复之间的对应关系）之后，成功率是64.8%，比AEM的70.6%低了接近6个百分点，但仍略高于基线的65%。这个细微的结果很有意思：它说明仅仅是引入了某种组内细粒度缩放这件事本身有一点点帮助，但真正的大头收益来自"把对的系数配对给对的回复"，也就是熵值与回复之间的精确对应关系。
在归一化方案上，研究团队比较了三种选择：在同一组（同一个提示词下的所有采样回复）内做归一化，在单条轨迹内做归一化，以及在整个训练批次内做归一化。实验结果显示，组内归一化表现最好：相比轨迹级归一化，它聚合了更多的回复样本，统计估计更稳定；相比批次级归一化，它避免了不同任务之间熵值基准不同带来的混淆，同组内的回复来自同一个提示词，熵值具有真实的可比性。
---
**八、计算开销：几乎感知不到的额外成本**
AEM在实用性上还有一个重要优点：它几乎不增加训练的计算成本。
研究团队给出了在ALFWorld上用1.5B模型训练时每一步的时间分解：轨迹采样占总时间的45.9%，模型参数更新占36%，计算旧策略概率和参考策略概率分别占8.2%和8.6%，基础优势值计算占0.2%，而AEM的全部额外计算（回复级熵聚合、组内归一化、系数计算和优势值缩放）只占1.1%。
这个几乎可以忽略不计的额外开销，来源于AEM的巧妙设计：它所需要的词级熵值，本来就是训练时重新计算旧策略概率时的副产品，不需要额外的前向传播。整个AEM的计算只是一些轻量的数值操作，不涉及任何神经网络的运算。
---
归根结底，AEM做的事情可以用一句话来概括：在AI智能体的学习过程中，用模型自己的"信心程度"作为一把动态尺子，让那些"模型既自信又做对了"的回复得到更强的正向强化，让那些"模型已经很迷茫还做错了"的回复获得更多的探索空间，从而在不引入任何额外监督的情况下，让整个训练过程更有方向感。
这项研究真正有意思的地方在于，它并没有试图用更复杂的外部信号来解决复杂问题，而是问了一个简单得多的问题：模型自己已经在产生哪些有用的信号，我们是否充分利用了它们？答案是：还没有。熵就摆在那里，每次前向传播都在产生，只是之前没人把它系统地用到信用分配上来。
当然，AEM并非没有局限性。由于真实的回复级熵期望在数学上是无法精确计算的（它需要枚举所有可能的回复），AEM使用的组内归一化熵代理终究是一个近似，它的有效性依赖于同组采样的质量和多样性。如果采样覆盖很差，或者组内所有回复的熵差异很小，AEM的调节效果就会减弱。更精确的相对惊讶度估计器，是研究团队明确指出的未来改进方向。
对于普通人而言，这项研究意味着什么？AI智能体在帮助我们处理复杂、多步骤任务时——无论是自动化地修复软件错误、在网上帮我们完成购物、还是在模拟环境中执行家务任务——训练效率的提升会直接带来更能干、更可靠的助手，同时不需要额外的数据标注成本。训练更高效，就意味着开发和部署这些助手的代价更低，技术能够更快地落地到实际产品中。
如果你对AI智能体的训练方法、强化学习中的信用分配问题，或者熵在机器学习中的应用感兴趣，强烈建议通过arXiv搜索编号2605.00425查阅这篇论文的完整版本，包括所有数学推导的细节和附录中更多的实验数据。
---
Q&A
Q1：AEM和普通的强化学习训练有什么区别？
A：AEM是一个"插件"，不替换原有的强化学习算法，而是在原有算法计算出每段回复的学习信号（优势值）之后，根据这段回复的熵值高低，自动乘以一个调节系数。熵值低（模型比较自信）的回复，系数大于1；熵值高（模型比较迷茫）的回复，系数小于1。这让训练过程自动区分"有把握的决策"和"随机试探的决策"，而普通强化学习对同组内所有回复使用完全相同的权重，无法做到这种区分。
Q2：AEM里的"熵"是怎么计算出来的，需要额外跑一次模型吗？
A：不需要。AEM用的词级熵值，本来就是训练时重新计算旧策略概率这一步的副产品，直接从这个计算中读取即可。AEM的额外操作只是把这些词级熵在回复范围内取平均、做归一化、算指数、除以组平均，全是简单数值运算，不涉及任何神经网络的额外调用，实测只增加约1.1%的训练时间。
Q3：AEM在SWE-bench-Verified上只提升了1.4%，这个提升是否足够显著？
A：在SWE-bench-Verified这类基准测试上，1.4%的绝对提升是相当实质性的进步。原因在于：这个测试集本身难度极高股票配资正规网，任务是解决真实GitHub仓库中的软件缺陷，解决率的绝对上限很难突破；而且AEM叠加的基线DeepSWE本身已经是经过多项精心优化的当时最先进框架，在高基线上继续改进远比在弱基线上改进更难。研究团队对三次独立运行取平均，DeepSWE的平均解决率为42.3%，DeepSWE+AEM为43.7%，误差范围分别为±0.3和±0.4，两者的置信区间几乎没有重叠，说明这个提升是统计上可靠的。
富牛优配提示：文章来自网络，不代表本站观点。
- 上一篇：专业的股票配资一览表 AI让城市治理更有温度 武汉荣获全国一等奖
- 下一篇：没有了
相关文章
热点资讯
