論文の概要: Contextual Credit Policy Optimization

• arxiv url: http://arxiv.org/abs/2610.19103v1
• Date: Tue, 13 Oct 2026 19:39:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.77373
• Title: Contextual Credit Policy Optimization
• Title（参考訳）: 文脈信用政策最適化
• Abstract要約: グループベースの強化学習により、エージェントは長期のタスクにおいてスパースな結果報酬から学ぶことができる。 近年の手法は、軌跡間における観測整合経験を比較することによって段階的信用を導出する。 これら2つの課題に対処するために、文脈信用政策最適化(CCPO)を提案する。
• 参考スコア（独自算出の注目度）: 24.840976351932937
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Group-based reinforcement learning enables large language model agents to learn from sparse outcome rewards in long-horizon tasks. Recent methods derive step-level credit by comparing observation-matched experiences across trajectories. However, identical observations can occur in different contexts, and matched peers are not equally informative for a given decision. Moreover, favorable terminal outcomes can obscure redundant actions or detours within successful trajectories. To address these two challenges, we propose Contextual Credit Policy Optimization (CCPO). For the first, CCPO weights observation-matched peers from other trajectories by contextual similarity, computed from frozen LLM representations and accumulated trajectory statistics, allowing peers from similar contexts to contribute more to a step's baseline. For the second, CCPO pairs historical credit, which compares the realized return against the weighted peer baseline, with future credit, which measures the change in contextual outcome value over a short realized continuation. A step is thus credited for the progress it makes, not only for its trajectory's eventual outcome. Both credits are computed in hindsight from rollouts already collected for training, enabling CCPO to address these challenges without an auxiliary value critic. Across two Qwen2.5-Instruct backbones (1.5B and 7B), CCPO achieves up to 97.4% success on ALFWorld and 79.4% on WebShop and outperforms GRPO by up to 21.6 and 18.5 points. Ablations show that contextual weighting outperforms uniform weighting, and that historical and future credit serve as complementary learning signals.
• Abstract（参考訳）: グループベース強化学習により、大規模な言語モデルエージェントは、長期的タスクにおける疎結果報酬から学習することができる。 近年の手法は、軌跡間における観測整合経験を比較することによって段階的信用を導出する。 しかし、同一の観測は異なる文脈で起こりうるし、一致したピアは与えられた決定に対して等しく有意ではない。 さらに、良好な終端の結果は、成功した軌道内での冗長な動作やデトラルを曖昧にすることができる。 これら2つの課題に対処するために、コンテキストクレジットポリシー最適化(CCPO)を提案する。 まず、CCPOは、他の軌跡からの観測整合したピアを文脈的類似性により重み付け、凍結LDM表現と累積軌跡統計から計算し、類似した文脈のピアがステップのベースラインにより多くの貢献することを可能にする。 第2に、CCPOは、重み付けされたピアベースラインに対する実現されたリターンと、短い実現された継続に対する文脈的結果値の変化を測定する将来のクレジットとをペアリングする。 したがって、ステップは、その軌道の最終的な結果だけでなく、その進行によってクレジットされる。 両方のクレジットは、すでにトレーニングのために収集されたロールアウトから後から計算され、CCPOは補助価値の批判なしにこれらの課題に対処できる。 2つのQwen2.5-Instructバックボーン(1.5Bと7B)で、CCPOはALFWorldで97.4%、WebShopで79.4%成功し、GRPOを最大21.6と18.5ポイント上回っている。 アブレーションは、文脈重み付けが一様重み付けよりも優れており、歴史的および将来の信用が相補的な学習信号として機能することを示している。

関連論文リスト

• PRICE the Action Chunks: Physical Relational Credit Assignment for Embodied Reinforcement Learning [13.723588585738831]
  アウトカムベースの強化学習は、すべてのアクションチャンクに同じ軌道レベルの利点を割り当てる。 軌道上の物理的関係は、具体化されたRLにおいてアクション・チャンク・クレジットを提供することができる。 LIBERO、RoboTwin 2.0、および実際のロボットの実験では、結果ベースラインよりもタスクの成功が向上した。
  論文  参考訳（メタデータ） (2026-09-30T03:37:31Z)
• GraphHCA: Closed-Form Hindsight Credit Assignment for Long-Horizon LLM Agents [22.9047313166022]
  グループベース強化学習(RL)は、高度な大規模言語モデル(LLM)を持ち、エージェントタスクにまで拡張されている。 Hindsight Credit assignment (HCA) は、後見と行動政治の確率の比率による信用の属性である。 本稿では,HCAのモデルフリーな実現法であるGraphHCAを提案する。
  論文  参考訳（メタデータ） (2026-09-28T13:03:13Z)
• AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
  AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。 ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
  論文  参考訳（メタデータ） (2026-08-06T13:00:59Z)
• Semantic Consistency Policy Optimization for Reinforcement Learning of LLM Agents [45.62262776712415]
  グループベース強化学習は、軌道上の結果からステップレベルクレジットを導出することにより、長期的・疎逆的タスクの訓練後エージェントを効果的に活用する。 この矛盾は、競合する勾配を同様のアクションに送信し、失敗するロールアウト内の部分的に正しい進捗を無駄にする。 本稿では,この矛盾を緩和する価値のない報酬形成手法であるセマンティック一貫性ポリシー最適化(SCPO)を提案する。 SCPOは、失敗した各ステップを、成功した兄弟姉妹に対してスコアし、その兄弟姉妹に沿った新しい進歩に対してプラスのステップレベルクレジットを追加する。
  論文  参考訳（メタデータ） (2026-06-24T14:02:13Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
  グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。 GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。 We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
  論文  参考訳（メタデータ） (2026-05-28T18:20:32Z)
• PiCA: Pivot-Based Credit Assignment for Search Agentic Reinforcement Learning [11.926589875842359]
  大言語モデル(LLM)に基づく検索エージェントは,知識集約型タスクの性能を大幅に向上させた。 既存の手法は、長期信用割り当てにおいて重要な課題に直面する。 累積探索の逐次過程として探索軌道を再構成するPivot-Based Credit Assignment (PiCA)を提案する。
  論文  参考訳（メタデータ） (2026-05-10T03:21:47Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。