論文の概要: Online Bootstrap Inference For Policy Evaluation in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2108.03706v1
• Date: Sun, 8 Aug 2021 18:26:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-10 15:50:40.322703
• Title: Online Bootstrap Inference For Policy Evaluation in Reinforcement Learning
• Title（参考訳）: 強化学習における政策評価のためのオンラインブートストラップ推論
• Authors: Pratik Ramprasad, Yuantong Li, Zhuoran Yang, Zhaoran Wang, Will Wei Sun, Guang Cheng
• Abstract要約: 近年の強化学習の出現は、頑健な統計的推論手法の需要を生み出している。 オンライン学習における統計的推論の既存の方法は、独立してサンプリングされた観察を含む設定に限られる。 オンラインブートストラップは線形近似アルゴリズムにおける統計的推測のための柔軟で効率的な手法であるが、マルコフノイズを含む設定における有効性はまだ検討されていない。
• 参考スコア（独自算出の注目度）: 90.59143158534849
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recent emergence of reinforcement learning has created a demand for robust statistical inference methods for the parameter estimates computed using these algorithms. Existing methods for statistical inference in online learning are restricted to settings involving independently sampled observations, while existing statistical inference methods in reinforcement learning (RL) are limited to the batch setting. The online bootstrap is a flexible and efficient approach for statistical inference in linear stochastic approximation algorithms, but its efficacy in settings involving Markov noise, such as RL, has yet to be explored. In this paper, we study the use of the online bootstrap method for statistical inference in RL. In particular, we focus on the temporal difference (TD) learning and Gradient TD (GTD) learning algorithms, which are themselves special instances of linear stochastic approximation under Markov noise. The method is shown to be distributionally consistent for statistical inference in policy evaluation, and numerical experiments are included to demonstrate the effectiveness of this algorithm at statistical inference tasks across a range of real RL environments.
• Abstract（参考訳）: 近年の強化学習の出現により、これらのアルゴリズムを用いて計算されたパラメータ推定に対するロバストな統計的推論法が求められている。 オンライン学習における既存の統計的推論手法は、独立にサンプリングされた観察を含む設定に制限されるが、強化学習における既存の統計的推論手法はバッチ設定に制限される。 オンラインブートストラップは線形確率近似アルゴリズムにおける統計的推論に対する柔軟かつ効率的なアプローチであるが、rlのようなマルコフノイズを含む設定での有効性はまだ検討されていない。 本稿では,RLにおける統計的推論にオンラインブートストラップ法を用いることを検討した。 特に,マルコフ雑音下での線形確率近似の特別な例である時間差(TD)学習と勾配(GTD)学習アルゴリズムに着目した。 本手法は, 政策評価における統計的推論に分布的に一貫性があることを示し, 実際のrl環境における統計的推論タスクにおけるこのアルゴリズムの有効性を示す数値実験を含む。

関連論文リスト

• Statistical Inference for Temporal Difference Learning with Linear Function Approximation [62.69448336714418]
  時間差差(TD)学習は、おそらく政策評価に最も広く使用されるものであり、この目的の自然な枠組みとして機能する。 本稿では,Polyak-Ruppert平均化と線形関数近似によるTD学習の整合性について検討し,既存の結果よりも3つの重要な改善点を得た。
  論文  参考訳（メタデータ） (2024-10-21T15:34:44Z)
• Online Estimation and Inference for Robust Policy Evaluation in Reinforcement Learning [7.875680651592574]
  本研究では,バハドゥル表現に基づくオンラインロバストな政策評価手法を開発し,推定器の限定分布を確立する。 本稿では、強化学習における頑健な統計と統計的推測のギャップを埋め、より汎用的で信頼性の高い政策評価手法を提供する。
  論文  参考訳（メタデータ） (2023-10-04T04:57:35Z)
• Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
  本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。 D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
  論文  参考訳（メタデータ） (2023-08-28T20:46:07Z)
• Finite-Time Analysis of Temporal Difference Learning: Discrete-Time Linear System Perspective [3.5823366350053325]
  TD学習は強化学習(RL)の分野における基礎的アルゴリズムである 最近の研究では、有限時間誤差境界を開発することで、その統計的効率に関する保証を明らかにしている。
  論文  参考訳（メタデータ） (2022-04-22T03:21:30Z)
• Fast and Robust Online Inference with Stochastic Gradient Descent via Random Scaling [0.9806910643086042]
  本稿では,勾配降下アルゴリズムの平均化法により推定されるパラメータのベクトルに対するオンライン推論法を提案する。 我々のアプローチはオンラインデータで完全に運用されており、機能中心極限定理によって厳格に支えられている。
  論文  参考訳（メタデータ） (2021-06-06T15:38:37Z)
• Uncertainty Weighted Actor-Critic for Offline Reinforcement Learning [63.53407136812255]
  オフライン強化学習は、探索を必要とせずに、事前に収集された静的データセットから効果的なポリシーを学ぶことを約束する。 既存のQラーニングとアクター批判に基づくオフポリティクスRLアルゴリズムは、アウト・オブ・ディストリビューション(OOD)アクションや状態からのブートストラップ時に失敗する。 我々は,OOD状態-動作ペアを検出し,トレーニング目標への貢献度を下げるアルゴリズムであるUncertainty Weighted Actor-Critic (UWAC)を提案する。
  論文  参考訳（メタデータ） (2021-05-17T20:16:46Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)
• Bootstrapping Statistical Inference for Off-Policy Evaluation [43.79456564713911]
  オフ政治評価(OPE)におけるブートストラップの利用について検討する。 本稿では,政策評価誤差の分布を推定するブートストラップFQE法を提案し,この手法が政治外の統計的推測に有効で一貫性があることを示す。 我々は,古典的RL環境におけるブートラッピング手法の評価を行い,信頼区間推定,オフポリチック評価器のばらつきの推定,複数オフポリチック評価器の相関性の推定を行った。
  論文  参考訳（メタデータ） (2021-02-06T16:45:33Z)
• Variance-Reduced Off-Policy Memory-Efficient Policy Search [61.23789485979057]
  政治政策の最適化は強化学習において難しい問題である。 オフポリシーアルゴリズムはメモリ効率が高く、オフポリシーサンプルから学ぶことができる。
  論文  参考訳（メタデータ） (2020-09-14T16:22:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。