論文の概要: Back to the Definition: Estimating Step-Level Advantages via Trajectory Graphs for Agentic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.28963v1
• Date: Thu, 24 Sep 2026 03:20:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.690159
• Title: Back to the Definition: Estimating Step-Level Advantages via Trajectory Graphs for Agentic Reinforcement Learning
• Title（参考訳）: エージェント強化学習のための軌道グラフによるステップレベルアドバンテージの推定
• Abstract要約: グループベース強化学習(RL)手法は、推論とエージェント型大規模言語モデル(LLM)を訓練するための主要なパラダイムとなっている。 グループ正規化による優位推定は応答レベルでは信頼できるが、ステップレベルでは体系的にバイアスとなる。 本稿では,すべてのロールアウトトラジェクトリをトラジェクトリグラフに移植するグラフベースのFithful sTepレベルクレジットアサインメントフレームワーク(GRAFT)を提案する。
• 参考スコア（独自算出の注目度）: 23.065672098899213
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Group-based reinforcement learning (RL) methods, such as GRPO and its variants, have become a leading paradigm for training reasoning and agentic large language models (LLMs). While their group-normalized advantage estimation is reliable at the response level, it becomes systematically biased at the step level, since coarse-grained trajectory-level advantages are hard to accurately reflect the contribution of individual steps (i.e, failed trajectories may contain valuable steps). Revisiting the foundational RL definition, we notice that GRPO's success on single-turn tasks stems from its advantage estimation strategy, which adheres to the basic definition: the mean reward of multiple actions sampled from the same state constitutes a credible state-value estimate. Extending the faithful estimation to step-level would in principle demand sampling multiple actions from each intermediate state, which is too costly on a per-state basis. To mitigate this issue, we propose a Graph-based Faithful sTep-level credit-assignment framework (GRAFT) that grafts all rollout trajectories into a trajectory graph, recovering node state-values via Bellman iteration on the graph, and assigning credit to each edge by the node value difference. Theoretically, the estimated step-level advantage faithfully adheres to the basic advantage definition in RL. To further ensure the reliability of step-level advantage estimation, we further propose Graph GAE, which extends GAE to the trajectory graph for reducing the impact of state-value estimation bias. Experiments across a range of multi-turn agentic benchmarks show consistent gains over GRPO and superior performance compared to recent agentic RL algorithms. Code will be available at https://github.com/xcyao00/GRAFT.
• Abstract（参考訳）: GRPOなどのグループベース強化学習(RL)手法は、推論やエージェント型大規模言語モデル(LLM)を訓練するための主要なパラダイムとなっている。 グループ正規化された利点推定は応答レベルで信頼性が高いが、粗い軌道レベルの利点は個々のステップの寄与を正確に反映することが難しいため、ステップレベルで体系的にバイアスを受ける。 基本的RL定義を再考すると、GRPOの単一ターンタスクにおける成功は、その利点推定戦略に由来することに気付き、これは基本的定義に従う:同じ状態からサンプリングされた複数のアクションの平均的な報酬は、信頼できる状態値の推定を構成する。 忠実な見積もりをステップレベルに拡張することは、原則として、各中間状態から複数のアクションをサンプリングする。 この問題を緩和するために、グラフベースのFhithful sTepレベルクレジット割り当てフレームワーク(GRAFT)を提案し、すべてのロールアウトトラジェクトリをトラジェクトリグラフに移植し、グラフ上のベルマン繰り返しを介してノード状態値を復元し、ノード値差によって各エッジにクレジットを割り当てる。 理論的には、推定ステップレベルの優位性は RL の基本的な優位性の定義に忠実に従う。 さらに,ステップレベルの優位性推定の信頼性を確保するため,GAEをトラジェクトリグラフに拡張し,状態値推定バイアスの影響を低減するグラフGAEを提案する。 近年のエージェントRLアルゴリズムと比較して,GRPOよりも一貫した性能向上を示した。 コードはhttps://github.com/xcyao00/GRAFT.comから入手できる。

関連論文リスト

• Group-Graph Policy Optimization for Long-Horizon Agentic Reinforcement Learning [85.02566758103008]
  Group-Graph Policy Optimization (G2PO) は、マルチターンエージェントタスクに適したグループベースの強化学習アルゴリズムである。 G2POは最先端のプロンプトベースとRLベースラインを大幅に上回り、GRPOよりも最大22.2%の成功率の向上を達成した。
  論文  参考訳（メタデータ） (2026-06-22T08:12:47Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
  グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。 GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。 We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
  論文  参考訳（メタデータ） (2026-05-28T18:20:32Z)
• Beyond Trajectory-Level Attribution: Graph-Based Credit Assignment for Agentic Reinforcement Learning [30.228760269449072]
  グループベース強化学習(RL)法は,大規模言語モデル(LLM)の性能向上に成功している。 グラフベースのグループポリシー最適化(GraphGPO)を提案し、すべてのロールアウト軌跡を統一された状態遷移グラフに集約する。 グラフにエンコードされたグローバル情報を用いて、各状態からタスク目標までの距離を推定する。 最後に、GraphGPOは、タスク目標までの距離をどの程度短縮するかに基づいて、グラフベースの利点を推定することで、各エッジにクレジットを割り当てる。
  論文  参考訳（メタデータ） (2026-05-26T08:23:34Z)
• Advantage Collapse in Group Relative Policy Optimization: Diagnosis and Mitigation [13.272542054938258]
  非効率な勾配でトレーニングバッチの割合を定量化する最初の指標であるAdvantage Collapse Rate (ACR)を導入する。 次に、仮想報酬サンプルを注入するGRPOの軽量拡張であるAdaptive Virtual Sample Policy Optimization (AVSPO)を提案する。 AVSPOはGRPOに対して58～63%の利害崩壊を減少させ、すべてのモデルスケールで4～6ポイントの一貫した精度向上をもたらす。
  論文  参考訳（メタデータ） (2026-05-20T12:57:37Z)
• GRPO-VPS: Enhancing Group Relative Policy Optimization with Verifiable Process Supervision for Effective Reasoning [48.32628338889922]
  グループ相対政策最適化は中間段階の無差別な信用割当に苦しむ。 モデルフリーで検証可能なプロセス監視を,モデルが正しい回答を信じているかどうかを判断することによって導入する。 このアプローチにより、よりターゲット的でサンプル効率の良いポリシー更新が可能になる。
  論文  参考訳（メタデータ） (2026-04-22T15:08:58Z)
• Outcome-Grounded Advantage Reshaping for Fine-Grained Credit Assignment in Mathematical Reasoning [60.00161035836637]
  グループ相対政策最適化は、推論タスクのための有望な批判のない強化学習パラダイムとして登場した。 我々は,各トークンがモデルの最終回答にどの程度影響するかに基づいて,利益を再分配する,きめ細かい信用割当機構であるOutcome-grounded Advantage Reshaping (OAR)を紹介した。 OAR-Gは計算オーバーヘッドを無視して同等のゲインを達成し、どちらも強力なGRPOベースラインをはるかに上回っている。
  論文  参考訳（メタデータ） (2026-01-12T10:48:02Z)
• TreePS-RAG: Tree-based Process Supervision for Reinforcement Learning in Agentic RAG [71.06073770344732]
  エージェント検索強化生成(RAG)は、推論と情報検索の多段階的な相互作用として質問応答を定式化する。 エージェントRAGのためのオンラインツリーベースRLフレームワークであるTreePS-RAGについて述べる。
  論文  参考訳（メタデータ） (2026-01-11T14:07:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。