論文の概要: Gated-BEPO: Confidence-Gated Bellman Credit Assignment for Large Language Model Agents

• arxiv url: http://arxiv.org/abs/2608.06861v1
• Date: Fri, 07 Aug 2026 06:38:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.379232
• Title: Gated-BEPO: Confidence-Gated Bellman Credit Assignment for Large Language Model Agents
• Title（参考訳）: Gated-BEPO:大規模言語モデルエージェントのための信頼性保証ベルマンクレジットアサインメント
• Abstract要約: 長期にわたる環境下での大規模言語モデルエージェントの訓練には、個々の行動に疎い端末結果からクレジットを割り当てる必要がある。 経験的ロールアウトグラフからステップレベルのクレジットを導出するGated-BEPOを提案する。
• 参考スコア（独自算出の注目度）: 20.885871857379897
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training large language model agents in long-horizon environments requires assigning credit from sparse terminal outcomes to individual actions. Existing critic-free methods propagate trajectory-level rewards uniformly across steps, while recent approaches construct step-level groups by matching repeated states and compare actions within each group. The former cannot distinguish useful actions in failed trajectories from ineffective actions in successful ones. The latter rely on step credit derived directly from individual trajectory outcomes and fixed-weight fusion with episode-level credit. We propose Gated-BEPO, which derives step-level credit from empirical rollout graphs. For each rollout group, Gated-BEPO constructs an empirical graph and estimates node values through a mean-backup Bellman fixed point that reflects the empirical action distribution of the current policy. We then accumulate these temporal-difference residuals along each sampled trajectory using generalized advantage estimation, yielding step-level Bellman advantages that capture both immediate and downstream effects. To adaptively fuse episode- and step-level credit, a confidence gate incorporates Bellman credit only at states with multiple observed successors and otherwise uses episode-level credit. Experiments on WebShop, ALFWorld, and visual Sokoban show consistent improvements across language and vision-language models, while diagnostic ablations support the effectiveness of Bellman fixed-point value estimation and show that step-level credit should be incorporated selectively rather than uniformly into the final advantage.
• Abstract（参考訳）: 長期にわたる環境下での大規模言語モデルエージェントの訓練には、個々の行動に疎い端末結果からクレジットを割り当てる必要がある。 既存の批判のない手法は、ステップ全体にわたって軌道レベルの報酬を均一に伝達する一方、近年のアプローチでは、反復状態に一致してステップレベルのグループを構築し、各グループ内のアクションを比較する。 前者は、失敗した軌道における有用な行動と、成功した軌道における非効果的な行動とを区別できない。 後者は、個々の軌跡結果とエピソードレベルのクレジットとの固定重融合から直接派生したステップクレジットに依存している。 経験的ロールアウトグラフからステップレベルのクレジットを導出するGated-BEPOを提案する。 ロールアウトグループ毎に、Gated-BEPOは経験グラフを構築し、現在のポリシーの経験的行動分布を反映した平均バックアップのベルマン固定点を通してノード値を推定する。 次に、これらの時間差残差を各サンプル軌道に沿って一般化された利点推定を用いて蓄積し、即時効果と下流効果の両方を捉えるステップレベルベルマンの利点を得る。 エピソードレベルとステップレベルのクレジットを適応的に融合させるために、信頼ゲートはベルマンクレジットを複数の観察された後継者を持つ州のみに組み込んでおり、そうでなければエピソードレベルのクレジットを使用する。 WebShop、ALFWorld、ビジュアル・ソコバンの実験では言語モデルと視覚言語モデルの間で一貫した改善が見られ、診断の短縮はベルマンの不動点値推定の有効性を支持し、最終優位に一様ではなく、ステップレベルのクレジットを選択的に組み込むべきであることを示す。

関連論文リスト

• PGPO: Potential-Guided Policy Optimization for Multi-Turn Agentic Tasks [41.82007055765541]
  マルチターンエージェントタスクに対する潜在的誘導型ポリシー最適化を提案する。 各ロールアウトグループ内のアンカー状態群戻り統計から経験的状態ポテンシャルを推定する。 その後、隣接する状態間の潜在的な差異から行動上の利点を導き出し、軌道間クレジットの伝播を可能にする。
  論文  参考訳（メタデータ） (2026-09-02T07:44:16Z)
• MileGPO: Milestone Inference with Local Evidence for Graph-Based Policy Optimization of Long-Horizon LLM Agents [26.262385802144323]
  プロセスレベルの信用を3つの設計を通じてグループ化されたオン・ポリティクス・ロールアウトから導き出すMileGPOを提案する。 MileGPOは補助モデルも追加の環境相互作用も必要としない。
  論文  参考訳（メタデータ） (2026-08-20T08:58:27Z)
• PACE: Phase-Progress-Aware Credit for Long-Horizon Embodied Manipulation [17.66354304197193]
  政策改善には段階的な信用信号が要求され、タスクを進行させる行動と停滞または後退する行動とを区別する。 PACEは,長期操作のポストトレーニングのためのクレジットアサインメントフレームワークである。
  論文  参考訳（メタデータ） (2026-08-15T04:25:16Z)
• AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
  AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。 ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
  論文  参考訳（メタデータ） (2026-08-06T13:00:59Z)
• GradCuit: Credit-Assigned Gradient Flow Enables Robust and Interpretable Test-Time Latent Reasoning [61.67411833252235]
  本稿では,プロンプトの隠蔽表現と生成された継続の間に,選択したTransformer層に最適化可能な潜在状態を挿入するGradCuitを紹介する。 5つの命令調整されたバックボーン、3つの推論ベンチマーク、2つの回答フォーマットで、GradCuitの平均精度は64.5%である。 解釈可能性について、トークンレベルの勾配属性は、遅延の影響が推論・接続子トークンに集中していることを明らかにする一方、層解析は、初期から中間のトランスフォーマー層を最も効果的な最適化空間として認識する。
  論文  参考訳（メタデータ） (2026-08-03T17:55:24Z)
• Semantic Consistency Policy Optimization for Reinforcement Learning of LLM Agents [45.62262776712415]
  グループベース強化学習は、軌道上の結果からステップレベルクレジットを導出することにより、長期的・疎逆的タスクの訓練後エージェントを効果的に活用する。 この矛盾は、競合する勾配を同様のアクションに送信し、失敗するロールアウト内の部分的に正しい進捗を無駄にする。 本稿では,この矛盾を緩和する価値のない報酬形成手法であるセマンティック一貫性ポリシー最適化(SCPO)を提案する。 SCPOは、失敗した各ステップを、成功した兄弟姉妹に対してスコアし、その兄弟姉妹に沿った新しい進歩に対してプラスのステップレベルクレジットを追加する。
  論文  参考訳（メタデータ） (2026-06-24T14:02:13Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• PBSD: Privileged Bayesian Self-Distillation for Long-Horizon Credit Assignment [35.978805768172656]
  ロングホライゾンのエージェントタスクは、結果ベース強化学習の基本的なクレジット割り当て課題となる。 PBSD (Privileged Bayesian Self-Distillation) はベイズが校正した自己蒸留法である。
  論文  参考訳（メタデータ） (2026-06-08T11:20:58Z)
• Potential-Guided Flow Matching for Vision-Language-Action Policy Improvement [27.695600755960736]
  自己誘導型フローマッチングポリシであるForesightFlowを紹介した。 それぞれの生成されたアクションチャンクを、学習された成功可能性軌道で拡張する。 候補アクションをスコア付けし、外部の批評家なしで$K$の推論を可能にする。
  論文  参考訳（メタデータ） (2026-06-03T14:49:35Z)
• VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
  グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。 GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。 We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
  論文  参考訳（メタデータ） (2026-05-28T18:20:32Z)
• StepOPSD: Step-Aware Online Preference Distillation for Agent Reinforcement Learning [6.365332042924078]
  本稿では,ロールアウト後の自己蒸留フレームワークであるStepOPSDについて紹介する。 StepOPSDは、軌跡をアクション中心のステップセグメントに分解し、後見豊かな教師コンテキスト下でそれらを再構成する。 より小さい_clipは広範囲に安定化された局所信頼領域として作用するが、最適な大域混合強度_mixはタスク依存のままである。
  論文  参考訳（メタデータ） (2026-05-26T15:07:03Z)
• GAGPO: Generalized Advantage Grouped Policy Optimization [13.085463559931156]
  そこで我々は,段階的,段階的な時間的信用割当のための批判のない強化学習手法を提案する。 ALFWorldとWebShopの実験によると、GAGPOは強力な強化学習ベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-05-13T09:10:03Z)
• Learning to Credit the Right Steps: Objective-aware Process Optimization for Visual Generation [57.61006679699323]
  強化学習は人間の嗜好信号を用いた視覚生成モデルの訓練後の効果的な枠組みとして登場した。 現代の視覚生成では、視覚的品質、動きの整合性、テキストアライメントなどの不均一な目的を捉えるために、複数の報酬モデルがしばしば使用される。 GRPO の微粒化学習のための構造化フレームワークである Objective-Aware Trajectory Credit Assignment (OTCA) を提案する。
  論文  参考訳（メタデータ） (2026-04-21T08:37:13Z)
• Prune-Then-Plan: Step-Level Calibration for Stable Frontier Exploration in Embodied Question Answering [52.69447404069251]
  大規模視覚言語モデル(VLM)は、オープン語彙推論のための強力なセマンティック先行情報を提供することにより、EQAエージェントの改良を行った。 ステップレベルキャリブレーションによる探索を安定化するフレームワークPrune-Then-Planを提案する。
  論文  参考訳（メタデータ） (2025-11-24T22:50:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。