Fugu-MT 論文翻訳(概要): AEM: Adaptive Entropy Modulation for Multi-Turn Agentic Reinforcement Learning

論文の概要: AEM: Adaptive Entropy Modulation for Multi-Turn Agentic Reinforcement Learning

arxiv url: http://arxiv.org/abs/2605.00425v1
Date: Fri, 01 May 2026 05:54:37 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-04 17:43:28.863641
Title: AEM: Adaptive Entropy Modulation for Multi-Turn Agentic Reinforcement Learning
Title（参考訳）: AEM: エージェント強化学習のための適応エントロピー変調
Abstract要約: 強化学習(RL)は、大規模言語モデル(LLM)エージェントが環境と相互作用し、マルチターンタスクを解く能力を大幅に進歩させた。しかし、結果のみの報酬は、エージェントの行動軌跡における個々のステップにクレジットを割り当てるのが難しくなるため、効果的なトレーニングは依然として困難である。本稿では、RLトレーニング中にエントロピーのダイナミクスを適応的に調整し、より効果的な探索・探索トレードオフを実現するための、監督不要な信用割当手法であるAEMを提案する。
参考スコア（独自算出の注目度）: 13.755500788361815
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Reinforcement learning (RL) has significantly advanced the ability of large language model (LLM) agents to interact with environments and solve multi-turn tasks. Yet effective training remains challenging, as sparse, outcome-only rewards make it difficult to assign credit to individual steps in an agent's action trajectory. A common remedy is to introduce dense intermediate supervision, such as process reward models or auxiliary self-supervised signals, but this increases supervision and tuning complexity and often generalizes poorly across tasks and domains. This paper presents AEM, a supervision-free credit assignment method that adaptively modulates entropy dynamics during RL training to achieve a more effective exploration-exploitation trade-off. Theoretically, we elevate entropy analysis from the token level to the response level to reduce token sampling variance and show that entropy drift under natural gradients is intrinsically governed by the product of the advantage and the relative response surprisal. Specifically, we derive a practical proxy to reshape training dynamics, enabling a natural transition from exploration to exploitation. Extensive experiments across various benchmarks and models ranging from 1.5B to 32B parameters demonstrate the effectiveness of AEM, including a notable 1.4 percent gain when integrated into a state-of-the-art baseline on the highly challenging SWE-bench-Verified benchmark.
Abstract（参考訳）: 強化学習(RL)は、大規模言語モデル(LLM)エージェントが環境と相互作用し、マルチターンタスクを解く能力を大幅に進歩させた。しかし、結果のみの報酬は、エージェントの行動軌跡における個々のステップにクレジットを割り当てるのが難しくなるため、効果的なトレーニングは依然として困難である。一般的な治療法は、プロセス報酬モデルや補助的な自己監督信号のような密集した中間的監督を導入することであるが、これは監督とチューニングの複雑さを高め、多くの場合、タスクやドメイン間での一般化が不十分である。本稿では、RLトレーニング中にエントロピーのダイナミクスを適応的に調整し、より効果的な探索・探索トレードオフを実現するための、監督不要な信用割当手法であるAEMを提案する。理論的には、トークンレベルから応答レベルへのエントロピー解析を向上し、トークンサンプリングのばらつきを低減し、自然勾配下でのエントロピーのドリフトが、その利点と相対的な応答の積によって本質的に制御されていることを示す。具体的には、トレーニングダイナミクスを再形成する実用的なプロキシを導出し、探索から搾取への自然な移行を可能にする。 1.5Bから32Bのパラメータを含む様々なベンチマークおよびモデルにわたる大規模な実験は、非常に挑戦的なSWE-bench-Verifiedベンチマーク上で最先端のベースラインに統合された場合、注目すべき1.4パーセントの増加を含む、AEMの有効性を示している。

関連論文リスト

ARISE-RL: Agentic Rubric-Grounded Iterative Self-Evolution with Reinforcement Learning [74.19730275669227]
ARISE-RLは、オープンエンドエージェントをトレーニングするための新しいフルサイクルの自己進化フレームワークである。 Reward-Gated Self-Evolution Distillation (RG-SED)を提案する。 ECR-Benchは,シングルツールディープリサーチとマルチツールトラベルプランニングを対象とする,専門家校正型ルーリックベンチマークスイートである。
論文参考訳（メタデータ） (2026-09-01T10:54:13Z)
Self-evolving LLM agents with in-distribution Optimization [60.05867547965365]
大規模言語モデル(LLM)は最近、複雑な環境で対話的なエージェントのための強力なコントローラとして登場した。本稿では,自動プロセス・リワードラベリングとポリシー学習を統一するLDMエージェントの自己進化フレームワークであるQ-Evolveを提案する。我々は,AlfWorld,WebShop,ScienceWorldの手法を評価し,Q-Evolveがサンプル効率,堅牢性,全体的なタスク性能において高いベースラインを達成していることを示す。
論文参考訳（メタデータ） (2026-06-05T15:09:52Z)
Uncertainty-Aware LLM-Guided Policy Shaping for Sparse-Reward Reinforcement Learning [2.384534878752428]
校正された大言語モデルを強化学習訓練ループに統合するフレームワークである,不確実性を考慮した LLM-Guided Policy Shaping (ULPS) を提案する。 ULPS は A* ベースのオラクルを用いて最適な記号軌道を合成し、BERT ベースの言語モデルを微調整する。成功率、報酬効率、サンプルの複雑さを、無誘導、非校正、標準のRLベースラインで一貫した改善を観察する。
論文参考訳（メタデータ） (2026-06-04T19:46:45Z)
RetroAgent: From Solving to Evolving via Retrospective Dual Intrinsic Feedback [54.39884046754265]
RetroAgentは、エージェントが複雑なインタラクティブ環境をマスターできるオンラインRLフレームワークである。実験の結果,RetroAgentはSOTA(State-of-the-art)の性能を達成できた。
論文参考訳（メタデータ） (2026-03-09T16:23:33Z)
Improving Deepfake Detection with Reinforcement Learning-Based Adaptive Data Augmentation [60.04281435591454]
CRDA(Curriculum Reinforcement-Learning Data Augmentation)は、マルチドメインの偽造機能を段階的にマスターするための検出器を導く新しいフレームワークである。私たちのアプローチの中心は、強化学習と因果推論を統合することです。提案手法は検出器の一般化性を大幅に向上し,複数のクロスドメインデータセット間でSOTA法より優れている。
論文参考訳（メタデータ） (2025-11-10T12:45:52Z)
Revisiting Entropy in Reinforcement Learning for Large Reasoning Models [54.96908589622163]
検証可能な報酬(RLVR)を用いた強化学習で訓練した大規模言語モデルのエントロピーダイナミクスについて検討する。以上の結果から,RLVRでトレーニングしたLDMのエントロピーに影響を及ぼす重要な要因として,非政治的更新数,トレーニングデータの多様性,最適化目標におけるクリッピング閾値が示唆された。
論文参考訳（メタデータ） (2025-11-08T12:50:41Z)
Rediscovering Entropy Regularization: Adaptive Coefficient Unlocks Its Potential for LLM Reinforcement Learning [55.59724323303857]
本稿では,3つのコンポーネントによる探索と利用のバランスをとるフレームワークを提案する。複数の数学的推論ベンチマークの実験は、AERが一貫してベースラインを上回り、推論精度と探索能力の両方を改善していることを示している。
論文参考訳（メタデータ） (2025-10-13T03:10:26Z)
Don't Just Fine-tune the Agent, Tune the Environment [25.7349297100143]
合成データの微調整の監督は、過度な適合につながる。標準的な強化学習は、重要なコールドスタート問題とトレーニング不安定性に苦慮している。本研究は,静的軌道の教師付き微調整から動的環境探索へのパラダイムシフトを示す。
論文参考訳（メタデータ） (2025-10-11T12:35:15Z)
Decomposing the Entropy-Performance Exchange: The Missing Keys to Unlocking Effective Reinforcement Learning [106.68304931854038]
検証可能な報酬付き強化学習(RLVR)は、大規模言語モデル(LLM)の推論能力を高めるために広く用いられている。我々は,RLVRのエントロピー・パフォーマンス交換機構を,異なるレベルの粒度で系統的に解析する。分析の結果, 上昇段階において, 負のサンプルのエントロピー減少は効果的な推論パターンの学習を促進することが明らかとなった。プラトー段階では、学習効率は、低エントロピーのサンプルに存在する高エントロピートークンと、シーケンスの終端に位置するトークンと強く相関する。
論文参考訳（メタデータ） (2025-08-04T10:08:10Z)
Agentic Reinforced Policy Optimization [66.96989268893932]
検証可能な報酬付き大規模強化学習(RLVR)は,大規模言語モデル(LLM)を単一ターン推論タスクに活用する効果を実証している。現在のRLアルゴリズムは、モデル固有のロングホライゾン推論能力と、マルチターンツールインタラクションにおけるその習熟性のバランスが不十分である。エージェント強化ポリシー最適化(ARPO: Agentic Reinforced Policy Optimization)は,マルチターンLDMエージェントを学習するためのエージェントRLアルゴリズムである。
論文参考訳（メタデータ） (2025-07-26T07:53:11Z)
Finite-Time Convergence and Sample Complexity of Actor-Critic Multi-Objective Reinforcement Learning [20.491176017183044]
本稿では多目的強化学習(MORL)問題に取り組む。 MOACと呼ばれる革新的なアクター批判アルゴリズムを導入し、競合する報酬信号間のトレードオフを反復的に行うことでポリシーを見出す。
論文参考訳（メタデータ） (2024-05-05T23:52:57Z)
Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
論文参考訳（メタデータ） (2024-02-09T07:45:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。