論文の概要: Offline Policy Evaluation via Mixed Bellman Residuals and Adaptive Critic Representations

• arxiv url: http://arxiv.org/abs/2609.33186v1
• Date: Sun, 27 Sep 2026 04:09:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 02:22:07.888174
• Title: Offline Policy Evaluation via Mixed Bellman Residuals and Adaptive Critic Representations
• Title（参考訳）: 混合ベルマン残差と適応的批判表現によるオフライン政策評価
• Abstract要約: 固定混合重量の1段残差と2段残差の凸結合を考える。 理想的な設定では、この混合ベルマン定式化は、制限値関数クラスの下で近似誤差の間の自然なバイアス-分散トレードオフを与えることができる。 固定関数クラスに依存する標準的なアプローチとは異なり、予測される将来の特徴方向を用いてデータ依存の批判表現を構築する。 オーバーフィッティングを制御するために、我々はサンプル分割を用いて批評家を構築し、別のデータサブセットで値関数を推定する。
• 参考スコア（独自算出の注目度）: 3.7331041006330494
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating a target policy using data generated by a different behavior policy remains a fundamental challenge in reinforcement learning. While most existing work relies on the standard one-step Bellman residual, we consider a convex combination of one-step and two-step residuals with a fixed mixing weight. In ideal settings, this mixed Bellman formulation can provide a natural bias--variance trade-off between approximation error under a restricted value-function class and the increased variance arising from multi-step importance weighting. To solve this mixed residual optimization, we adopt a minimax formulation involving a critic function. Unlike standard approaches that rely on a fixed functional class, we construct a data-dependent critic representation using predicted future feature directions which effectively induces a kernel adapted to the underlying transition dynamics. This allows the critic to focus on directions that are most relevant for the estimated Bellman error. To control overfitting, we use sample splitting to construct the critic and estimate the value function on separate data subsets. Simulation studies and MetaWorld tasks illustrate the effect of the mixing parameter and show that intermediate residual combinations can improve value estimation in challenging settings.
• Abstract（参考訳）: 異なる行動方針によって生成されたデータを用いて目標とする政策を評価することは、強化学習における根本的な課題である。 ほとんどの既存の研究は標準の1ステップのベルマン残基に依存しているが、我々は1ステップと2ステップの残基と固定混合重量の凸結合を考える。 理想的な設定では、この混合ベルマン定式化は、制限された値-関数クラスの下での近似誤差と多段階重み付けによる分散の増加の間の自然なバイアス-分散トレードオフを与えることができる。 この混合残差最適化を実現するために、批判関数を含むミニマックス定式化を採用する。 固定関数クラスに依存する標準的なアプローチとは異なり、予測される将来の特徴方向を用いてデータ依存の批判表現を構築し、基盤となる遷移力学に適応したカーネルを効果的に誘導する。 これにより、批評家は推定されたベルマン誤差に最も関係のある方向に集中することができる。 オーバーフィッティングを制御するために、我々はサンプル分割を用いて批評家を構築し、別のデータサブセットで値関数を推定する。 シミュレーション研究とMetaWorldタスクは、混合パラメータの効果を示し、中間残余結合が挑戦的な設定における値推定を改善することを示す。

関連論文リスト

• To bootstrap or to rollout? An optimal and adaptive interpolation [4.755935781862859]
  本稿では,ブートストラップ法とロールアウト法を補間するベルマン演算子のクラスを紹介する。 我々の推定器は、ブートストラップに基づく時間差(TD)推定器とロールアウトに基づくモンテカルロ(MC)手法の強度を組み合わせる。
  論文  参考訳（メタデータ） (2024-11-14T19:00:00Z)
• C-Learner: Constrained Learning for Causal Inference [4.370964009390564]
  本稿では,両世界の最適な重み付けを実現し,安定したプラグイン推定を実現する新しいデバイアス化手法を提案する。 我々の制約学習フレームワークは、プラグイン量に対する一階誤差がゼロであるという制約の下で、最高のプラグイン推定器を解く。
  論文  参考訳（メタデータ） (2024-05-15T16:38:28Z)
• Optimal Baseline Corrections for Off-Policy Contextual Bandits [61.740094604552475]
  オンライン報酬指標の偏りのないオフライン推定を最適化する意思決定ポリシーを学習することを目指している。 学習シナリオにおける同値性に基づく単一のフレームワークを提案する。 我々のフレームワークは、分散最適非バイアス推定器の特徴付けを可能にし、それに対する閉形式解を提供する。
  論文  参考訳（メタデータ） (2024-05-09T12:52:22Z)
• Value-Distributional Model-Based Reinforcement Learning [59.758009422067]
  政策の長期的業績に関する不確実性の定量化は、シーケンシャルな意思決定タスクを解決するために重要である。 モデルに基づくベイズ強化学習の観点から問題を考察する。 本稿では,値分布関数を学習するモデルに基づくアルゴリズムであるEpicemic Quantile-Regression(EQR)を提案する。
  論文  参考訳（メタデータ） (2023-08-12T14:59:19Z)
• Model-Based Uncertainty in Value Functions [89.31922008981735]
  MDP上の分布によって引き起こされる値の分散を特徴付けることに重点を置いている。 従来の作業は、いわゆる不確実性ベルマン方程式を解くことで、値よりも後方の分散を境界にしている。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式を提案する。
  論文  参考訳（メタデータ） (2023-02-24T09:18:27Z)
• Variance-Aware Off-Policy Evaluation with Linear Function Approximation [85.75516599931632]
  線形関数近似を用いた強化学習における非政治的評価問題について検討する。 本稿では,値関数の分散を推定し,フィルタQ-Iterationにおけるベルマン残差を再重み付けするアルゴリズムVA-OPEを提案する。
  論文  参考訳（メタデータ） (2021-06-22T17:58:46Z)
• GenDICE: Generalized Offline Estimation of Stationary Values [108.17309783125398]
  重要なアプリケーションでは,効果的な推定が依然として可能であることを示す。 我々のアプローチは、定常分布と経験分布の差を補正する比率を推定することに基づいている。 結果として得られるアルゴリズム、GenDICEは単純で効果的である。
  論文  参考訳（メタデータ） (2020-02-21T00:27:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。