論文の概要: When Credit Turns Against Tools: Transition-Aware Credit Assignment in Agentic Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2611.11330v1
- Date: Sun, 08 Nov 2026 12:11:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 09:45:37.990747
- Title: When Credit Turns Against Tools: Transition-Aware Credit Assignment in Agentic Reinforcement Learning
- Title(参考訳): クレジットがツールに逆らうとき:エージェント強化学習における転換型クレジットアサインメント
- Abstract要約: 検証可能な報酬によるエージェント強化学習は、多ターンツールインタラクションを通じて言語モデルを訓練する。
しかし、彼らの推論性能とツールコール能力は、トレーニング中に低下する可能性がある。
我々は、この抑制に対抗するために、Transition-Aware Credit Assignment (TACA)を提案する。
- 参考スコア(独自算出の注目度): 49.44043710258054
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agentic reinforcement learning with verifiable rewards trains language models through multi-turn tool interactions, yet their reasoning performance and tool-calling ability can decline during training. We trace this degradation to three coupled mechanisms: (1) tool-token imbalance produces negative overall tool credit when incorrect trajectories contain more tool tokens per turn than correct ones; (2) aggregation amplification can further strengthen this negative signal as token-mean aggregation gives longer incorrect trajectories greater weight in policy updates; and (3) failure-driven retries prolong trajectories as models tend to call tools again after execution errors, extending potential negative credit to recovery attempts. To counter this suppression, we propose Transition-Aware Credit Assignment (TACA), which targets the transition from reasoning to tool use through supervision of both call initiation and generation. Specifically, TACA uses Advantage Projection to enforce a nonnegative mean advantage on tool-call tokens within each prompt group through a minimal uniform shift. Additionally, TACA guides tool-use decisions with Decision Contrast, comparing rewards for tool-assisted and direct answers to the same prompt. Through Supervised Replay, it reinforces tool-call generation using calls from previously sampled correct trajectories. Across models and tasks, TACA improves performance and sustains more reliable tool interaction during training, raising mean accuracy over MT-GRPO on six reasoning benchmarks by 4.61 percentage points for Qwen2.5-1.5B and 3.61 for Qwen2.5-3B. Our code is available at https://github.com/tmlr-group/TACA.
- Abstract(参考訳): 検証可能な報酬によるエージェント強化学習は多ターンツールインタラクションを通じて言語モデルを訓練するが、その推論性能とツール呼び出し能力はトレーニング中に低下する可能性がある。
1) 不正なトラジェクトリが正しいトラジェクトリよりも多くのツールトークンを含む場合,ツールツーケン不均衡が負のツールクレジットを生成すること,(2) トークン平均アグリゲーションがポリシー更新においてより長い誤ったトラジェクトリを提供するため,アグリゲーションは,この負のシグナルをさらに強化することができること,(3) モデルが実行エラー後にツールを呼び出す傾向にあるため,障害駆動リトライは長いトラジェクトリを延長し,リカバリを試みる。
この抑制に対処するため,コール開始と生成の両方の監督を通じて,推論からツール使用への移行を目標とするTransition-Aware Credit Assignment (TACA)を提案する。
具体的には、TACAはAdvantage Projectionを使用して、最小の均一シフトを通じて各プロンプトグループ内のツールコールトークンに非負の平均的優位性を強制する。
さらに、TACAはツール使用の決定をDecision Contrastでガイドし、ツールアシストと直接回答の報酬を同じプロンプトと比較する。
Supervised Replayを通じて、事前にサンプリングされた正しいトラジェクトリからの呼び出しを使用して、ツールコール生成を強化する。
モデルとタスク全体で、TACAはパフォーマンスを改善し、トレーニング中により信頼性の高いツールインタラクションを維持でき、Qwen2.5-1.5Bが4.61ポイント、Qwen2.5-3Bが3.61ポイント、MT-GRPOが6つの推論ベンチマークで平均精度を高める。
私たちのコードはhttps://github.com/tmlr-group/TACA.comで公開されています。
関連論文リスト
- TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。
ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。
純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
論文 参考訳(メタデータ) (2026-07-15T16:16:42Z) - TAPO: Tool-Aware Policy Optimization via Credit Transfer for Multimodal Search Agents [54.08846865906602]
ツール強化マルチモーダルサーチエージェントにおいて,クレジットミス割り当てをGRPOの系統的障害モードとして特徴付ける。
本稿では,情報取得ツールのパラメータ決定性を利用したツール・アウェア・ポリシー・オプティマイズ(TAPO)を提案する。
論文 参考訳(メタデータ) (2026-06-04T07:15:43Z) - VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。
GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。
We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
論文 参考訳(メタデータ) (2026-05-28T18:20:32Z) - Controllable and Verifiable Tool-Use Data Synthesis for Agentic Reinforcement Learning [82.89535601592739]
マルチレベル検証を用いた自己進化型合成により,信頼性の高い基本ツール利用軌跡を生成する2段階パイプラインを提案する。
これらの拡張は、トラクタツール、間接的または曖昧なユーザクエリ、ノイズ、マルチフォーマット、あるいは誤ったツール出力を導入します。
本設計では,標準事例に対する参照マッチングによる報酬の自動計算と,エラー検出などの特別な動作に対する軽量な判断支援検証を実現する。
論文 参考訳(メタデータ) (2026-04-10T18:38:52Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳(メタデータ) (2025-12-22T16:34:21Z) - Failure Makes the Agent Stronger: Enhancing Accuracy through Structured Reflection for Reliable Tool Interactions [10.598440138966028]
現在の自己回帰のプラクティスは、プロンプトや一方的な推論に依存しています。
提案する構造的リフレクションは, エラーから修復までの経路を明示的で制御可能な, 訓練可能な動作に変換する。
BFCL v3とTool-Reflection-Benchの実験では、マルチターンツールコールの成功とエラー回復、冗長呼び出しの削減が大幅に向上した。
論文 参考訳(メタデータ) (2025-09-23T09:35:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。