論文の概要: Counterfactual Shapley Credit Assignment

• arxiv url: http://arxiv.org/abs/2607.16999v1
• Date: Sat, 18 Jul 2026 23:28:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.33464
• Title: Counterfactual Shapley Credit Assignment
• Title（参考訳）: 対訳 シェアリー・クレジット・アサインメント
• Abstract要約: クレディ・アサインメント・問題(CAP)は、効率的かつ説明可能な強化学習(RL)エージェントを開発するための基礎である。 対実共有($-value)を通じて信用と責任を判断する新しい枠組みである対実共有($-value)を導入する。 我々は、$$-valuesを計算し、優先順位付き軌道再生(PTR)と組み合わせた新しいポリシーメソッドのクラス$-PPOを可能にする一貫した推定器を導出する。
• 参考スコア（独自算出の注目度）: 49.39649767581182
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The Credit Assignment Problem (CAP) is fundamental to developing efficient and explainable Reinforcement Learning (RL) agents. Existing frameworks, whether relying on temporal contiguity or hindsight-conditioned reward reweighting, frequently fail to attribute properly between an agent's policy (skill) and environmental stochasticity (luck). A principled approach to CAP must isolate the true causal drivers of observed outcomes from spurious correlations and environmental randomness. We introduce Counterfactual Shapley Credit Assignment, a novel framework grounded in causal theory that attributes credit and blame via the Counterfactual Shapley Value ($φ$-value). By redistributing environmental rewards, $φ$-values enhance temporal credit assignment across three critical dimensions: sparse causality, high stochasticity, and delayed rewards, all while preserving the optimal policy. We derive a consistent estimator that computes $φ$-values efficiently, enabling a new class of policy gradient methods, $φ$-PPO, combined with Prioritized Trajectory Replay (PTR). Empirical results demonstrate that $φ$-values align precisely to the ground truth causes of task rewards with superior sample efficiency in challenging environments where prior state-of-the-art methods fail to converge.
• Abstract（参考訳）: クレディ・アサインメント・イシュー(CAP)は、効率的かつ説明可能な強化学習(RL)エージェントを開発するための基礎である。 既存のフレームワークは、時間的連続性や後向きの報酬再重み付けに依存するが、エージェントの方針(スキル)と環境確率性(Luck)の間には、適切に帰属しないことが多い。 CAPに対する原則的なアプローチは、観測結果の真の因果的要因を、素早い相関と環境ランダム性から分離する必要がある。 本稿では, 因果理論に基づく新たな枠組みとして, 反現実的共有価値(φ$-value)による信用と責任の属性を定めている。 環境報酬を再分配することで、$φ$-valuesは3つの重要な次元、すなわち疎因性、高い確率性、遅延報酬の時間的信用割り当てを高める。 我々は、$φ$-valuesを効率的に計算し、新しいポリシー勾配法である$φ$-PPOを優先トラジェクティブ・リプレイ(PTR)と組み合わせることができる一貫した推定器を導出する。 実証的な結果は、以前の最先端手法が収束しない挑戦環境において、$φ$-valuesはタスク報酬の真理性の根本原因と優れたサンプル効率とを正確に一致させることを示した。

関連論文リスト

• VIMPO: Value-Implicit Policy Optimization for LLMs [106.88933849641272]
  GRPOのようなグループ相対的手法は、批評家の訓練を避けるが、典型的には全てのトークンに軌道レベルの利点を割り当てる。 アクター批判的手法は、より密集した学習信号を提供するが、学習価値関数を自身のトレーニング不安定性で要求する。 本稿では,KL-正規化強化学習の最適条件からポリシ実装値関数を導出する,批判のないポリシ最適化手法であるVIMPOを紹介する。
  論文  参考訳（メタデータ） (2026-06-18T09:44:12Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• Learning When to Act: Communication-Efficient Reinforcement Learning via Run-Time Assurance [0.27998963147546146]
  Lyapunov の安全性保護の下で制御入力と通信効率のタイミング決定を単一ポリシで学習できることが示される。 実行時保証層は、1ステップのリアプノフ予測と事前計算されたLQRバックアップを介してポリシーをオーバーライドする。 12-state 3D quadrotor のケーススタディでは、古典的な STC が難解な高次元システムにフレームワークを拡張している。
  論文  参考訳（メタデータ） (2026-05-11T23:55:15Z)
• Your Language Model is Its Own Critic: Reinforcement Learning with Value Estimation from Actor's Internal States [14.658333957936769]
  内部状態価値推定による政策最適化を導入する。 ポリシーフォワードパス中に既に計算されているポリシーモデルの内部信号を用いて、無視可能なコストでベースラインを得る。 軽量プローブは、プロンプトおよび生成された軌道の隠れ状態から期待される検証可能な報酬を予測する。
  論文  参考訳（メタデータ） (2026-05-08T10:49:36Z)
• Utilizing and Calibrating Hindsight Process Rewards via Reinforcement with Mutual Information Self-Evaluation [50.696688705287755]
  我々は、強化学習におけるスパース報酬課題を克服するために、相互情報自己評価を提案する。 MISEにより、エージェントは、疎外的信号を補う高密度な内部報酬から自律的に学習することができる。 我々は、後見自己評価報酬を利用することは、政策と代行報酬政策の間のKL分散項と相互情報を組み合わせた目的を最小化することと等価であることを示す。
  論文  参考訳（メタデータ） (2026-04-13T15:18:51Z)
• $V_{0.5}$: Generalist Value Model as a Prior for Sparse RL Rollouts [81.48669089692189]
  一般値モデル(例えば$V_0.5$)は、コンテキスト内のモデル機能を明示的にエンコードすることで、事前訓練された値推定を実現する。 本稿では,このような値モデルにより予測されるベースラインと,スパースロールアウトから導出される経験的平均とを適応的に融合する$V_0.5$を提案する。 V_0.5$はGRPOとDAPOを大きく上回り、より高速な収束と約10%のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2026-03-11T14:57:41Z)
• Robust Regularized Policy Iteration under Transition Uncertainty [6.7431287237221085]
  我々は、オフラインRLをロバストなポリシー最適化として定式化し、遷移カーネルを不確実性集合内の決定変数として扱う。 本稿では、抽出可能な最大最小二レベル目標を、抽出可能なKL正規化サロゲートに置き換えるロバスト正規化ポリシーイテレーション(RRPI)を提案する。 D4RLベンチマークの実験では、RRPIは高い平均性能を示し、最近のベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-03-10T08:18:27Z)
• On Corruption-Robustness in Performative Reinforcement Learning [13.509499718691016]
  本研究では,反復的再訓練アプローチの適応的安定政策への収束性について検討する。 私たちはこれらのアプローチを拡張して、腐敗したデータの下で運用します。 我々は,我々のアプローチがほぼ安定な政策に最終段階の収束を示すことを証明した。
  論文  参考訳（メタデータ） (2025-05-08T19:37:35Z)
• Redistributing Rewards Across Time and Agents for Multi-Agent Reinforcement Learning [14.852334980733369]
  共用型マルチエージェント強化学習において、各エージェントの共用報酬への貢献を阻害する信用割り当ては重要な課題である。 本稿では、この制約から信用モデリングを分離するアプローチであるTAR(Temporal-Agent Reward Redistribution)を導入する。 本手法は,モデル精度によらず最適ポリシーが維持されることを保証するPBRSと等価であることを示す。
  論文  参考訳（メタデータ） (2025-02-07T12:07:57Z)
• Distributionally Robust Policy Learning under Concept Drifts [33.44768994272614]
  本稿では、より曖昧な問題、つまり、コンセプトドリフトの下でのロバストな政策学習について研究する。 まず、与えられた政策の最悪の平均報酬を評価するための2倍のロバスト推定器を提供する。 次に、所定のポリシークラス内で推定されたポリシー値を最大化するポリシーを出力する学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-12-18T19:53:56Z)
• Would I have gotten that reward? Long-term credit assignment by counterfactual contribution analysis [50.926791529605396]
  モデルベース信用代入アルゴリズムの新たなファミリーであるCOCOA(Counterfactual Contribution Analysis)を紹介する。 我々のアルゴリズムは、その後の報酬を得る際の行動の貢献度を測定することによって、正確な信用割当を実現する。
  論文  参考訳（メタデータ） (2023-06-29T09:27:27Z)
• STAS: Spatial-Temporal Return Decomposition for Multi-agent Reinforcement Learning [10.102447181869005]
  本研究では,時間次元と空間次元の両方でクレジット代入を学習する新しい手法を提案する。 提案手法は, 時間的信用を効果的に割り当て, 最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-15T10:09:03Z)
• False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
  本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。 SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
  論文  参考訳（メタデータ） (2021-10-24T15:34:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。