論文の概要: Teach the Magnitude, Not the Direction: Verifier-Bounded Credit Assignment for Multi-Turn Multi-step LLM Agents
- arxiv url: http://arxiv.org/abs/2608.13179v1
- Date: Thu, 13 Aug 2026 12:44:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.521225
- Title: Teach the Magnitude, Not the Direction: Verifier-Bounded Credit Assignment for Multi-Turn Multi-step LLM Agents
- Title（参考訳）: 多段多段LCMエージェントの検証基準付クレジットアサインメント
- Abstract要約: 検証可能な報酬を用いた強化学習は、不均一なターン毎の結果を単一の報酬信号に融合させる。
オンライン蒸留は、トーケンあたりの密集した監督を提供するが、教師が拘束されるか、勾配の集中が崩壊する傾向にある。
我々は、RLの検証済み天井を保持する階層的な信用代入フレームワークであるtextbfCrEST$を導入し、特権付き自己教育者からの高密度トークンレベル信号を取り入れた。
- 参考スコア（独自算出の注目度）: 15.12019413574721
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Reinforcement learning with verifiable rewards (RLVR) offers a verifier-bounded performance ceiling for training multi-turn tool-use agents, yet its trajectory-level credit assignment conflates heterogeneous per-turn outcomes into a single reward signal. On-policy distillation provides dense per-token supervision but is either teacher-bounded or prone to gradient concentration collapse. We introduce $\textbf{CrEST}$, a hierarchical credit assignment framework that retains RL's verifier-bounded ceiling while incorporating dense token-level signals from a privileged self-teacher. $\textbf{CrEST}$ resolves credit at two levels: turn-segmented verified advantages address inter-turn dilution, while entropy-gated self-teacher modulation refines intra-turn token contributions. Experiments on BFCL V3 and WildToolBench show that $\textbf{CrEST}$ consistently outperforms both RL and distillation baselines across two model scales, with the largest gains on long-trajectory and strict session-level metrics. Our work demonstrates that the teacher's role in policy optimization can be reduced from determining update directions to modulating update magnitudes, unlocking dense credit assignment without sacrificing the verifier-bounded ceiling.
- Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は、多ターンツール使用エージェントを訓練するための検証器バウンドパフォーマンス天井を提供するが、軌道レベルのクレジット割り当ては不均一なターン毎の成果を単一の報酬信号に融合させる。
オンライン蒸留は、トーケンあたりの密集した監督を提供するが、教師が拘束されるか、勾配の集中が崩壊する傾向にある。
我々は、RLの検証済みの天井を保持する階層的な信用割当フレームワークである$\textbf{CrEST}$を紹介し、特権付き自己教育者からの高密度なトークンレベル信号を取り入れた。
turn-segmented confirmed advantage address inter-turn dilution, and entropy-gated self-Teacher modulations in-turn token contributions。
BFCL V3とWildToolBenchの実験によると、$\textbf{CrEST}$はRLと蒸留ベースラインを2つのモデルスケールで一貫して上回っており、長い軌道と厳密なセッションレベルのメトリクスで最大の利益を得ている。
本研究は, 政策最適化における教師の役割を, 更新方向の決定から, 更新の規模を調節し, 検証対象の天井を犠牲にすることなく, 密着した信用代入を解き放つことにより, 教師の役割を低減できることを実証する。
関連論文リスト
- How Much, Then Where: Credit-Conserving Action-to-Token Allocation for Multi-Turn Agent Reinforcement Learning [10.15294517210249]
FACTORを導入し、行動に軌跡レベルのクレジットを割り当て、各アクションのクレジットをトークンに分散させる決定を分離する。
FACTORは、ALFWorld、WebShop、ScienceWorld間の競争ベースラインよりも一貫して改善されている。
論文 参考訳（メタデータ） (2026-08-07T11:22:09Z) - AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。
ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
論文 参考訳（メタデータ） (2026-08-06T13:00:59Z) - Agentic Reinforcement Learning with Self-Distilled Reward Shaping [12.091871903119698]
エージェント強化学習は、LLMエージェントが相互作用を通じて学ぶことを可能にするが、低軌道レベルの報酬は、どの中間決定が信用に値するかを特定せずに、成功を明らかにする。
本稿では,言語エージェントに対する返却関連トークンレベルクレジットを構築するためのフレームワークである,自己拡張型リワードシェーピングを用いたエージェント強化学習を紹介する。
実験の結果、ADRSは長い水平タスクのパフォーマンスを継続的に改善し、RLバックボーン、データ設定の削減、目に見えないタスク、トレーニングの拡張などを実現している。
論文 参考訳（メタデータ） (2026-08-04T06:56:47Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。
ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。
純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
論文 参考訳（メタデータ） (2026-07-15T16:16:42Z) - CRAFT: Counterfactual Credit Assignment from Free Sibling Rollouts for Self-Distilled Agentic Reinforcement Learning [4.663685189987781]
自己蒸留剤強化学習は、トークンレベルの蒸留損失で軌跡レベルの報酬を増大させる。
一般的なレシピでは、この損失を1つのスカラー、すなわち教師と学生の対数確率のギャップで埋める。
CRAFTは2つの制限に対処する3ピラー・クレジット・アサインメント方式である。
論文 参考訳（メタデータ） (2026-06-28T16:11:47Z) - OmniOPD: Logit-Free On-Policy Distillation via Speculative Verification [21.095025092772257]
On-Policy Distillation (OPD)は、強力な教師からの密集したトークンレベルフィードバックの下で、生徒モデルを自身の生成軌道上で訓練する。
OmniOPDはロジットフリーでチャンクレベルの監視信号を通じて両方の制限に対処する新しいフレームワークである。
論文 参考訳（メタデータ） (2026-05-31T22:31:15Z) - Self-Distilled Agentic Reinforcement Learning [65.24201057390938]
自己蒸留型エージェント強化学習は、トークンレベルの信号をシグモノイドゲートにマップする。
SDARはモデルスケール全体のハイブリッドRL--OPSDベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-05-14T17:51:26Z) - Self-Distillation Zero: Self-Revision Turns Binary Rewards into Dense Supervision [50.61441331643804]
強化学習(Reinforcement Learning、RLVR)は、広く適用可能で強力であるが、訓練中に緩やかな監督しか提供しない二進的な報酬に依存している。
蒸留は、一般的に外部の教師や高品質なデモンストレーションを使って得られる、密集したトークンレベルの監督を提供する。
自己蒸留ゼロ(SD-Zero)は,RLよりもかなり訓練効率が高く,外部教師や高品質な実演を必要としない手法である。
論文 参考訳（メタデータ） (2026-04-13T19:46:55Z) - Self-Distilled RLVR [57.37526213765131]
特権教師からのみ派生した学習信号が,情報漏洩と不安定な長期学習をもたらすことを示す。
textbfSelf-textbfDistillationを用いたtextbfRLSD(textbfRLVR)を提案する。
これにより、RSSDはRLVRとOPSDの両方の強度を同時に利用でき、高い収束天井と優れたトレーニング安定性を実現することができる。
論文 参考訳（メタデータ） (2026-04-03T15:50:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。