論文の概要: Bellman Residual Orthogonalization for Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2203.12786v1
• Date: Thu, 24 Mar 2022 01:04:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-25 14:25:33.719040
• Title: Bellman Residual Orthogonalization for Offline Reinforcement Learning
• Title（参考訳）: オフライン強化学習のためのベルマン残差直交化
• Authors: Andrea Zanette and Martin J. Wainwright
• Abstract要約: 我々はベルマン方程式を近似した新しい強化学習原理を導入し、その妥当性をテスト関数空間にのみ適用する。 我々は、この原則を利用して、政策外の評価のための信頼区間を導出するとともに、所定の政策クラス内の政策を最適化する。
• 参考スコア（独自算出の注目度）: 53.17258888552998
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a new reinforcement learning principle that approximates the Bellman equations by enforcing their validity only along an user-defined space of test functions. Focusing on applications to model-free offline RL with function approximation, we exploit this principle to derive confidence intervals for off-policy evaluation, as well as to optimize over policies within a prescribed policy class. We prove an oracle inequality on our policy optimization procedure in terms of a trade-off between the value and uncertainty of an arbitrary comparator policy. Different choices of test function spaces allow us to tackle different problems within a common framework. We characterize the loss of efficiency in moving from on-policy to off-policy data using our procedures, and establish connections to concentrability coefficients studied in past work. We examine in depth the implementation of our methods with linear function approximation, and provide theoretical guarantees with polynomial-time implementations even when Bellman closure does not hold.
• Abstract（参考訳）: テスト関数のユーザ定義空間に沿ってのみその妥当性を強制することにより,ベルマン方程式を近似する新たな強化学習原理を提案する。 関数近似によるモデルフリーオフラインrlの応用に焦点をあて,オフポリシ評価における信頼区間の導出と,所定のポリシークラス内でのポリシの最適化を行う。 我々は、任意のコンパレータポリシーの価値と不確実性の間のトレードオフの観点から、ポリシー最適化手順におけるオラクルの不平等を証明する。 テスト関数空間の異なる選択により、共通のフレームワーク内のさまざまな問題に取り組むことができます。 提案手法を用いて,オンポリシーからオフポリシーデータへの移行における効率の損失を特徴とし,過去の研究で研究した集中力係数との関連性を確立する。 線形関数近似を用いた手法の実装を深く検討し,ベルマン閉包が保たない場合でも多項式時間実装の理論的保証を提供する。

関連論文リスト

• Offline Reinforcement Learning with Closed-Form Policy Improvement Operators [88.54210578912554]
  行動制約付きポリシー最適化は、オフライン強化学習に対処するための成功パラダイムであることが示されている。 本稿では,閉形式政策改善演算子を提案する。 我々は、標準的なD4RLベンチマークにおいて、最先端アルゴリズムに対するそれらの効果を実証的に実証した。
  論文  参考訳（メタデータ） (2022-11-29T06:29:26Z)
• Variance-Aware Off-Policy Evaluation with Linear Function Approximation [85.75516599931632]
  線形関数近似を用いた強化学習における非政治的評価問題について検討する。 本稿では,値関数の分散を推定し,フィルタQ-Iterationにおけるベルマン残差を再重み付けするアルゴリズムVA-OPEを提案する。
  論文  参考訳（メタデータ） (2021-06-22T17:58:46Z)
• On Imitation Learning of Linear Control Policies: Enforcing Stability and Robustness Constraints via LMI Conditions [3.296303220677533]
  線形ポリシーの模倣学習を制約付き最適化問題として定式化する。 線形行列不等式 (lmi) の制約を適合ポリシーに適用することで閉ループ安定性とロバスト性が保証できることを示す。
  論文  参考訳（メタデータ） (2021-03-24T02:43:03Z)
• Provably Correct Optimization and Exploration with Non-linear Policies [65.60853260886516]
  ENIACは、批評家の非線形関数近似を可能にするアクター批判手法である。 特定の仮定の下では、学習者は$o(poly(d))$の探索ラウンドで最適に近い方針を見つける。 我々は,この適応を経験的に評価し,線形手法に触発された前処理よりも優れることを示す。
  論文  参考訳（メタデータ） (2021-03-22T03:16:33Z)
• CoinDICE: Off-Policy Confidence Interval Estimation [107.86876722777535]
  強化学習における高信頼行動非依存のオフ政治評価について検討する。 様々なベンチマークにおいて、信頼区間推定が既存の手法よりも厳密で精度が高いことが示されている。
  論文  参考訳（メタデータ） (2020-10-22T12:39:11Z)
• Logistic Q-Learning [87.00813469969167]
  MDPにおける最適制御の正規化線形プログラミング定式化から導いた新しい強化学習アルゴリズムを提案する。 提案アルゴリズムの主な特徴は,広範に使用されているベルマン誤差の代わりとして理論的に音声として機能する,政策評価のための凸損失関数である。
  論文  参考訳（メタデータ） (2020-10-21T17:14:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。