論文の概要: GraphHCA: Closed-Form Hindsight Credit Assignment for Long-Horizon LLM Agents
- arxiv url: http://arxiv.org/abs/2609.35084v1
- Date: Mon, 28 Sep 2026 13:03:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-02 17:08:10.506149
- Title: GraphHCA: Closed-Form Hindsight Credit Assignment for Long-Horizon LLM Agents
- Title（参考訳）: GraphHCA:ロングホライゾンLSMエージェントのクローズドフォーム・ハインドサイト・クレジット・アサインメント
- Abstract要約: グループベース強化学習(RL)は、高度な大規模言語モデル(LLM)を持ち、エージェントタスクにまで拡張されている。
Hindsight Credit assignment (HCA) は、後見と行動政治の確率の比率による信用の属性である。
本稿では,HCAのモデルフリーな実現法であるGraphHCAを提案する。
- 参考スコア（独自算出の注目度）: 22.9047313166022
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Group-based reinforcement learning (RL) has advanced large language models (LLMs) and is increasingly extending to agentic tasks, where sparse terminal rewards make step-level credit assignment essential. Existing methods assign credit from what follows an action in sampled rollouts, but do not explicitly capture its retrospective relation to the realized outcome. Hindsight credit assignment (HCA) instead attributes credit through the ratio of hindsight to behavior-policy probabilities, but estimating the hindsight distribution requires an auxiliary model or an extra pass. To address this estimation bottleneck, we propose GraphHCA, a model-free realization of HCA that eliminates explicit hindsight-distribution estimation. For terminal-goal tasks with deterministic transitions, Bayes' rule reduces the hindsight ratio to a ratio of behavior-policy success probabilities at consecutive states. Taking logs yields a state-wise success potential, whose increment across a transition provides step-level credit. GraphHCA estimates this potential from pooled rollouts through a discounted recursion on the induced transition graph, which admits a unique fixed point on any directed graph. The resulting step-level signal is combined with the trajectory-level advantage, requiring neither a learned hindsight model nor an extra forward pass and recovering GRPO when the step-level weight is zero. Among all compared baselines, GraphHCA achieves state-of-the-art results on ALFWorld and WebShop at both LLM scales, and on Sokoban with a vision-language agent. For example, on ALFWorld it improves overall success rate by up to 24.6 points over GRPO and by up to 4.7 points over the strongest step-level baseline.
- Abstract（参考訳）: グループベース強化学習(RL)は、先進的な大規模言語モデル(LLM)を持ち、エージェントタスクにまで拡張されつつある。
既存のメソッドは、サンプル化されたロールアウトでアクションに従うものからクレジットを割り当てるが、実際の結果に対するレトロスペクティブの関係を明示的に捉えない。
Hindsight Credit assignment (HCA) は、後見と行動政治の確率の比率でクレジットを割り当てるが、後見の分布を推定するには補助モデルまたは余分なパスが必要である。
この推定ボトルネックに対処するために,HCAのモデルフリーな実現法であるGraphHCAを提案する。
決定論的遷移を伴う終末ゴールタスクでは、ベイズの規則は後見率を連続状態における行動-政治成功確率の比率に還元する。
ログを取得することで、状態ワイドな成功の可能性が得られる。
GraphHCAは、プールされたロールアウトから、誘導された遷移グラフ上の割引された再帰を通じて、このポテンシャルを推定する。
結果として得られるステップレベルの信号と軌跡レベルの利点が組み合わされ、ステップレベルの重みがゼロの場合には、学習後視モデルも余分な前方通過も必要とせず、GRPOを回復させる。
比較対象のベースラインの中で、GraphHCAはALFWorldとWebShopの両スケールで、ビジョン言語エージェントでSokobanで、最先端の結果を達成している。
例えば、ALFWorldでは、GRPOで24.6ポイント、最強のステップレベルベースラインで4.7ポイント、全体の成功率を改善する。
関連論文リスト
- Back to the Definition: Estimating Step-Level Advantages via Trajectory Graphs for Agentic Reinforcement Learning [23.065672098899213]
グループベース強化学習(RL)手法は、推論とエージェント型大規模言語モデル(LLM)を訓練するための主要なパラダイムとなっている。
グループ正規化による優位推定は応答レベルでは信頼できるが、ステップレベルでは体系的にバイアスとなる。
本稿では,すべてのロールアウトトラジェクトリをトラジェクトリグラフに移植するグラフベースのFithful sTepレベルクレジットアサインメントフレームワーク(GRAFT)を提案する。
論文 参考訳（メタデータ） (2026-09-24T03:20:58Z) - Granularity-Adaptive Credit Assignment for Long-Horizon LLM Agent Reinforcement Learning [7.885980895039013]
我々は、正しい解決法は国家に依存していると論じ、不確実性に基づく臨界性プロキシに従って粒度が続く批判のない推定器であるGACAを提案する。
GACAは、自己のロールアウトがすでに記録している負のログライクな記録によって各ステップをスコアし、そのスコアで成長するステップ毎の重みと2つのアドバンテージをブレンドする。
ALFWorldとWebShopでは、GACAはGRPOとGiGPOよりも1.5Bと7Bのスケールでタスクの成功を改善する。
論文 参考訳（メタデータ） (2026-09-11T04:19:44Z) - One Step, One Lead: Mitigating Higher-Order Interference in Multi-Domain Reinforcement Learning via Cross-Step Control [62.82372407840088]
同点領域勾配は、連続的な更新が出力空間で部分的に逆転する場合においても、ほぼ一定であることを示す。
トークンレベルのリバウンドリスクをランク付けするために,各イテレーションでフォーカスドメインを指定するOSOLを提案する。
OSOLは0.4822のドメイン-マクロ平均に達し、最強の比較ベースラインよりも5.7%向上した。
論文 参考訳（メタデータ） (2026-09-06T08:32:59Z) - AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。
ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
論文 参考訳（メタデータ） (2026-08-06T13:00:59Z) - Group-Graph Policy Optimization for Long-Horizon Agentic Reinforcement Learning [85.02566758103008]
Group-Graph Policy Optimization (G2PO) は、マルチターンエージェントタスクに適したグループベースの強化学習アルゴリズムである。
G2POは最先端のプロンプトベースとRLベースラインを大幅に上回り、GRPOよりも最大22.2%の成功率の向上を達成した。
論文 参考訳（メタデータ） (2026-06-22T08:12:47Z) - VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。
GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。
We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
論文 参考訳（メタデータ） (2026-05-28T18:20:32Z) - Beyond Trajectory-Level Attribution: Graph-Based Credit Assignment for Agentic Reinforcement Learning [30.228760269449072]
グループベース強化学習(RL)法は,大規模言語モデル(LLM)の性能向上に成功している。
グラフベースのグループポリシー最適化(GraphGPO)を提案し、すべてのロールアウト軌跡を統一された状態遷移グラフに集約する。
グラフにエンコードされたグローバル情報を用いて、各状態からタスク目標までの距離を推定する。
最後に、GraphGPOは、タスク目標までの距離をどの程度短縮するかに基づいて、グラフベースの利点を推定することで、各エッジにクレジットを割り当てる。
論文 参考訳（メタデータ） (2026-05-26T08:23:34Z) - RePO-VLA: Recovery-Driven Policy Optimization for Vision-Language-Action Models [90.39703013636868]
RePO-VLAは、リカバリ駆動のポリシー最適化フレームワークである。
成功、回復、失敗の軌跡に異なる役割を割り当てる。
対人的な成功は、平均で20%から75%、実世界の規模で80%まで上昇する。
論文 参考訳（メタデータ） (2026-05-10T08:24:05Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。