論文の概要: Cross-Rollout Bellman Closure for Long-Horizon Agentic Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2609.35082v1
- Date: Mon, 28 Sep 2026 13:02:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-02 17:09:32.357249
- Title: Cross-Rollout Bellman Closure for Long-Horizon Agentic Reinforcement Learning
- Title（参考訳）: 長軸エージェント強化学習のためのクロスロールベルマンクロージャ
- Abstract要約: クロスロールアウトベルマンクロージャ(CRBC)
クロスロールアウトベルマンクロージャ(CRBC)
例えば、CRBCはQwen2.5-1.5B-InstructでALFWorldで5.59ポイント評価されたベースラインを上回っている。
- 参考スコア（独自算出の注目度）: 24.65372907302829
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Group-based reinforcement learning such as GRPO trains LLM agents by comparing rollouts sampled for each task, without a learned critic. In long-horizon settings, these rollouts revisit shared anchor states, offering cross-rollout evidence for step-level credit. Ideally, step-level credit should incorporate evidence beyond the realized suffixes observed at an anchor while aggregating alternative continuations according to their empirical frequencies. Visit-local averaging pools realized suffix returns at shared anchors and respects observed frequencies, but does not recursively propagate evidence across rollouts, whereas shortest-path estimators have global reach but allow a rarely observed route to dominate an anchor's value. We introduce Cross-Rollout Bellman Closure (CRBC), which merges each rollout group into a finite empirical process with absorbing success and failure boundaries and evaluates its behavior-policy Bellman fixed point with one linear solve. This fixed point uses the same empirical action and transition frequencies to propagate evidence through shared anchors and aggregate alternative continuations. Backing up the resulting state values through observed transitions yields action values, whose gain over the corresponding state value provides step-level credit. A corresponding finite-depth family recovers visit-local return averaging at zero depth and converges to the exact closure as depth increases. The normalized closure credit is combined with the trajectory-level group advantage for policy optimization, without additional environment rollouts. Across ALFWorld, WebShop, and Sokoban benchmarks with multiple model scales, CRBC consistently improves final performance and learning efficiency. For example, CRBC outperforms the strongest evaluated baseline by 5.59 percentage points on ALFWorld with Qwen2.5-1.5B-Instruct.
- Abstract（参考訳）: GRPOなどのグループベース強化学習は、各タスクでサンプリングされたロールアウトを比較して、LLMエージェントを訓練する。
長期的設定では、これらのロールアウトは共有アンカー状態を再考し、ステップレベルのクレジットのクロスロールエビデンスを提供する。
理想的には、ステップレベルのクレジットには、アンカーで観測された実効した接尾辞以外の証拠を組み込むとともに、経験的な頻度に応じて代替の継続を集約するべきである。
訪問地域の平均的なプールは、接尾辞が共有アンカーで返り、観測された周波数を尊重するが、ロールアウト全体にわたって再帰的に証拠を伝播することはなく、最短経路推定器はグローバルリーチを持つが、観測されないルートがアンカーの値を支配することを許している。
我々は,各ロールアウト群を有限な経験的プロセスにマージし,成功と失敗の境界を吸収し,その挙動ポリティィなベルマン固定点を1つの線形解で評価するクロスロールアウトベルマン閉包法(CRBC)を提案する。
この固定点は同じ経験的作用と遷移周波数を使い、共有アンカーを通じて証拠を伝播し、代替の連続を集約する。
観測された遷移を通して得られた状態値をバックアップすると、アクション値が得られ、対応する状態値よりも利得がステップレベルクレジットとなる。
対応する有限深度族は、訪問局所戻り平均をゼロ深さで回復し、深さが増加するにつれて正確な閉包に収束する。
正常化されたクロージャクレジットは、追加の環境ロールアウトなしで、ポリシー最適化のための軌道レベルのグループアドバンテージと組み合わせられる。
ALFWorld、WebShop、およびSokobanのベンチマークに複数のモデルスケールがあるため、CRBCは最終的なパフォーマンスと学習効率を一貫して改善している。
例えば、CRBCはQwen2.5-1.5B-InstructでALFWorldで5.59ポイント評価されたベースラインを上回っている。
関連論文リスト
- GraphHCA: Closed-Form Hindsight Credit Assignment for Long-Horizon LLM Agents [22.9047313166022]
グループベース強化学習(RL)は、高度な大規模言語モデル(LLM)を持ち、エージェントタスクにまで拡張されている。
Hindsight Credit assignment (HCA) は、後見と行動政治の確率の比率による信用の属性である。
本稿では,HCAのモデルフリーな実現法であるGraphHCAを提案する。
論文 参考訳（メタデータ） (2026-09-28T13:03:13Z) - Granularity-Adaptive Credit Assignment for Long-Horizon LLM Agent Reinforcement Learning [7.885980895039013]
我々は、正しい解決法は国家に依存していると論じ、不確実性に基づく臨界性プロキシに従って粒度が続く批判のない推定器であるGACAを提案する。
GACAは、自己のロールアウトがすでに記録している負のログライクな記録によって各ステップをスコアし、そのスコアで成長するステップ毎の重みと2つのアドバンテージをブレンドする。
ALFWorldとWebShopでは、GACAはGRPOとGiGPOよりも1.5Bと7Bのスケールでタスクの成功を改善する。
論文 参考訳（メタデータ） (2026-09-11T04:19:44Z) - One Step, One Lead: Mitigating Higher-Order Interference in Multi-Domain Reinforcement Learning via Cross-Step Control [62.82372407840088]
同点領域勾配は、連続的な更新が出力空間で部分的に逆転する場合においても、ほぼ一定であることを示す。
トークンレベルのリバウンドリスクをランク付けするために,各イテレーションでフォーカスドメインを指定するOSOLを提案する。
OSOLは0.4822のドメイン-マクロ平均に達し、最強の比較ベースラインよりも5.7%向上した。
論文 参考訳（メタデータ） (2026-09-06T08:32:59Z) - Contrastive Branch Policy Optimization [16.16893757028268]
検証可能な報酬(RLVR)による強化学習は、言語モデルが外部ツールとのマルチターンインタラクションを学習することを可能にする。
既存の方法は、固定されたロールアウト予算を割り当て、分岐結果をトークンレベルのクレジットに変換する、という2つの異なる問題を分割する傾向があります。
本稿では,この2つの問題を解消し,それぞれに専用のメカニズムを割り当てる,コントラスト分岐政策最適化(CBPO)を紹介する。
論文 参考訳（メタデータ） (2026-08-25T09:25:55Z) - Gated-BEPO: Confidence-Gated Bellman Credit Assignment for Large Language Model Agents [20.885871857379897]
長期にわたる環境下での大規模言語モデルエージェントの訓練には、個々の行動に疎い端末結果からクレジットを割り当てる必要がある。
経験的ロールアウトグラフからステップレベルのクレジットを導出するGated-BEPOを提案する。
論文 参考訳（メタデータ） (2026-08-07T06:38:12Z) - AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。
ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
論文 参考訳（メタデータ） (2026-08-06T13:00:59Z) - Process Reward Informed Tree Rollout for Effective Multi-Turn RL [58.392997761968566]
長期のエージェントタスクでは、均一なロールアウト戦略は、非形式的なデッドエンドの試みに予算を無駄にする可能性がある。
本稿では,マルチターンエージェントRLの品質を意識したロールアウトフレームワークであるProcess-Scorer Guided Adaptive Tree Rollout (PATR)を提案する。
PATRはタスクに適したプロセスフィードバックを使用して部分的軌跡をスコアし、将来性のある状態から選択的に分岐し、共有プレフィックスを再利用し、無駄なサンプリングを減らすために経路を保守的に停止する。
論文 参考訳（メタデータ） (2026-07-17T04:16:58Z) - TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。
本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。
技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
論文 参考訳（メタデータ） (2026-06-09T17:16:03Z) - ARBOR: Online Process Rewards via a Reusable Rubric Buffer for Search Agents [48.80766702702854]
LLMベースの検索エージェントは、主に結果のみの報酬で訓練され、検索プロセス自体は監督されていない。
この信号は、全てのサンプル軌跡が同じ正当性を共有する結果同質な群に対して退化し、群内の優位性はゼロとなり、勾配は得られない。
ARBOR(Adaptive Buffer for Online Reward)は,クエリ間で共有されるルーリックメモリを維持する再利用可能なプロセス・リワードフレームワークである。
論文 参考訳（メタデータ） (2026-06-02T06:58:54Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。