論文の概要: Deep Weighted Bellman Residual Minimization for $Q^*$ Estimation
- arxiv url: http://arxiv.org/abs/2609.34593v1
- Date: Mon, 28 Sep 2026 08:30:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 12:05:46.137778
- Title: Deep Weighted Bellman Residual Minimization for $Q^*$ Estimation
- Title（参考訳）: Q^*$推定のための深度ベルマン残差最小化
- Abstract要約: オフ政治評価は、オフライン強化学習の基礎となる要素である。
本稿では,密度比重み付けを取り入れたベルマン残留最小化フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 12.341713418483964
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Off-policy evaluation is a foundational component of offline reinforcement learning, aiming to assess and optimize policy performance using pre-collected datasets. However, such datasets often suffer from pronounced challenges, including distribution shift, $Q$-value overestimation, and low sample utilization efficiency. To address these issues, this paper introduces a weighted Bellman residual minimization framework that incorporates density ratio weighting by effectively integrating expert demonstrations with behavioral data. The proposed weighting scheme departs from the conventional completeness assumption commonly imposed in the theoretical analysis of deep reinforcement learning. We establish a sharp convergence rate for density ratio estimation and derive the convergence rate for the excess risk of resulting deep $Q^*$ estimator. Extensive empirical evaluations demonstrate that, compared to existing methods, our method achieves significant improvements in numerical performance and policy generalization, providing specific guidance for the rational utilization of expert demonstrations.
- Abstract（参考訳）: オフライン政策評価は、オフライン強化学習の基礎的な要素であり、事前に収集されたデータセットを使用してポリシー性能を評価し最適化することを目的としている。
しかし、そのようなデータセットは、分散シフト、$Q$-value overestation、サンプル利用効率の低下など、顕著な課題に悩まされることが多い。
これらの問題に対処するため,本研究では,専門的な実証と行動データを統合することで,密度比重み付けを取り入れた重み付きベルマン残差最小化フレームワークを提案する。
この重み付け方式は、深層強化学習の理論解析において一般的に課される従来の完全性仮定から逸脱する。
我々は、密度比推定のための鋭い収束率を確立し、その結果の深い$Q^*$推定器の余剰リスクに対する収束率を導出する。
提案手法は,既存手法と比較して,数値性能と政策一般化の大幅な向上を実現し,専門家による実証実験の合理的活用のための具体的なガイダンスを提供する。
関連論文リスト
- Ratio-Variance Regularized Policy Optimization [64.95520246570446]
ポリシ比の分散を明示的に制約することは、信頼領域の制約に対する原則的な局所近似をもたらすことを示す。
本稿では,この制約を実装したR2bf VPO$(Ratio-Variance Regularized Policy Optimization)を紹介する。
論文 参考訳（メタデータ） (2026-05-26T09:53:42Z) - Diverse Randomized Value Functions: A Provably Pessimistic Approach for Offline Reinforcement Learning [11.304227281260896]
Q$-値の後方分布を推定するために,多種多様なランダム化値関数を用いた新しい戦略を導入する。
堅牢な不確実性定量化と、$Q$-値の低い信頼境界(LCB)を推定する。
また、ランダム化値関数内の多様性を強調し、ダイバーシティ正規化手法を導入し、ネットワークの必要数を減らすことで効率を向上させる。
論文 参考訳（メタデータ） (2024-04-09T10:15:18Z) - Unmasking Bias in Diffusion Model Training [40.90066994983719]
拡散モデルが画像生成の主流のアプローチとして登場した。
トレーニングの収束が遅く、サンプリングのカラーシフトの問題に悩まされている。
本稿では,これらの障害は,既定のトレーニングパラダイムに固有のバイアスや準最適性に大きく起因していると考えられる。
論文 参考訳（メタデータ） (2023-10-12T16:04:41Z) - A Convex Framework for Confounding Robust Inference [21.918894096307294]
本研究では,非保守的共同設立者を対象に,オフラインの文脈的盗賊の政策評価について検討した。
本稿では,凸プログラミングを用いてポリシー値のシャープな下限を推定する一般推定器を提案する。
論文 参考訳（メタデータ） (2023-09-21T19:45:37Z) - A Tale of Sampling and Estimation in Discounted Reinforcement Learning [50.43256303670011]
割引平均推定問題に対して最小値の最小値を求める。
マルコフ過程の割引されたカーネルから直接サンプリングすることで平均を推定すると、説得力のある統計的性質が得られることを示す。
論文 参考訳（メタデータ） (2023-04-11T09:13:17Z) - Uncertainty-Aware Instance Reweighting for Off-Policy Learning [63.31923483172859]
本研究では,不確実性を考慮した逆確率スコア推定器 (UIPS) を提案する。
実世界の3つのレコメンデーションデータセットを用いた実験結果から,提案したUIPS推定器の有効サンプル効率が示された。
論文 参考訳（メタデータ） (2023-03-11T11:42:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。