論文の概要: Doubly Optimal Policy Evaluation for Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2410.02226v1
• Date: Thu, 3 Oct 2024 05:47:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 07:55:57.264214
• Title: Doubly Optimal Policy Evaluation for Reinforcement Learning
• Title（参考訳）: 強化学習のための二重最適政策評価
• Authors: Shuze Liu, Claire Chen, Shangtong Zhang,
• Abstract要約: 政策評価は、しばしば大きなばらつきに悩まされ、望ましい精度を達成するために大量のデータを必要とする。 本研究では,データ収集ポリシーとデータ処理ベースラインの最適組み合わせを設計する。 理論的には、我々の二重最適政策評価法は偏りがなく、従来よりも分散度が低いことが保証されている。
• 参考スコア（独自算出の注目度）: 16.7091722884524
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Policy evaluation estimates the performance of a policy by (1) collecting data from the environment and (2) processing raw data into a meaningful estimate. Due to the sequential nature of reinforcement learning, any improper data-collecting policy or data-processing method substantially deteriorates the variance of evaluation results over long time steps. Thus, policy evaluation often suffers from large variance and requires massive data to achieve the desired accuracy. In this work, we design an optimal combination of data-collecting policy and data-processing baseline. Theoretically, we prove our doubly optimal policy evaluation method is unbiased and guaranteed to have lower variance than previously best-performing methods. Empirically, compared with previous works, we show our method reduces variance substantially and achieves superior empirical performance.
• Abstract（参考訳）: 政策評価は,(1)環境からのデータを収集し,(2)生データを有意義な見積に処理することにより,政策のパフォーマンスを推定する。 強化学習のシーケンシャルな性質から、不適切なデータ収集ポリシーやデータ処理手法は、長期にわたる評価結果のばらつきを著しく悪化させる。 したがって、政策評価は、しばしば大きなばらつきに悩まされ、所望の精度を達成するために大量のデータを必要とする。 本研究では,データ収集ポリシーとデータ処理ベースラインの最適組み合わせを設計する。 理論的には、我々の二重最適政策評価法は偏りがなく、従来よりも分散度が低いことが保証されている。 実験により, 従来の手法と比較して, ばらつきを著しく低減し, 優れた経験的性能が得られることを示す。

関連論文リスト

• Policy Gradient with Active Importance Sampling [55.112959067035916]
  政策勾配法(PG法)はISの利点を大いに生かし、以前に収集したサンプルを効果的に再利用することができる。 しかし、ISは歴史的サンプルを再重み付けするための受動的ツールとしてRLに採用されている。 我々は、政策勾配のばらつきを減らすために、サンプルを収集する最良の行動ポリシーを模索する。
  論文  参考訳（メタデータ） (2024-05-09T09:08:09Z)
• Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
  本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。 D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
  論文  参考訳（メタデータ） (2023-08-28T20:46:07Z)
• Uncertainty-Aware Instance Reweighting for Off-Policy Learning [63.31923483172859]
  本研究では,不確実性を考慮した逆確率スコア推定器 (UIPS) を提案する。 実世界の3つのレコメンデーションデータセットを用いた実験結果から,提案したUIPS推定器の有効サンプル効率が示された。
  論文  参考訳（メタデータ） (2023-03-11T11:42:26Z)
• Policy learning "without" overlap: Pessimism and generalized empirical Bernstein's inequality [94.89246810243053]
  本論文は,事前収集した観測値を利用して最適な個別化決定規則を学習するオフライン政策学習について検討する。 既存の政策学習法は、一様重なりの仮定、すなわち、全ての個々の特性に対する全ての作用を探索する正当性は、境界を低くしなければならない。 我々は,点推定の代わりに低信頼度境界(LCB)を最適化する新しいアルゴリズムであるPPLを提案する。
  論文  参考訳（メタデータ） (2022-12-19T22:43:08Z)
• Bootstrap Advantage Estimation for Policy Optimization in Reinforcement Learning [16.999444076456268]
  本稿では,政策最適化のためのデータ拡張に基づく利点推定手法を提案する。 本手法では,ブートストラップの利点推定の計算にデータ拡張を用いる。 提案手法は,一般化された優位性推定よりも,ポリシと値損失を低減させる。
  論文  参考訳（メタデータ） (2022-10-13T19:30:43Z)
• Robust On-Policy Data Collection for Data-Efficient Policy Evaluation [7.745028845389033]
  政策評価では、関心のある環境に対する評価政策の期待したリターンを見積もる。 我々は、潜在的に大きなオフラインRLデータセットと組み合わせるために、少量の追加データを収集できる設定を検討します。 この設定では、単に評価ポリシ -- オンラインデータ収集 -- を実行することが、サブ最適であることを示します。
  論文  参考訳（メタデータ） (2021-11-29T14:30:26Z)
• Debiasing In-Sample Policy Performance for Small-Data, Large-Scale Optimization [4.554894288663752]
  本稿では,データ駆動最適化におけるポリシのアウト・オブ・サンプル性能の新たな推定法を提案する。 クロスバリデーションとは異なり、我々の手法はテストセットのデータを犠牲にするのを避ける。 我々は,小規模・大規模システムにおける推定器の性能を実証する。
  論文  参考訳（メタデータ） (2021-07-26T19:00:51Z)
• Supervised Off-Policy Ranking [145.3039527243585]
  オフポリシー評価(OPE)は、他のポリシーによって生成されたデータを活用して、ターゲットポリシーを評価する。 本稿では,訓練方針と既知の実績を正しくランク付けすることで,政策スコアリングモデルを学習する教師付き非政治ランキングを提案する。 本手法は,上位3つのポリシーのうち,最良と最良の双方のランク相関と性能差の両面から,強力なベースラインOPE法より優れる。
  論文  参考訳（メタデータ） (2021-07-03T07:01:23Z)
• Policy Learning with Adaptively Collected Data [22.839095992238537]
  適応的に収集されたデータで最適な政策を学ぶという課題に対処します。 一般化された逆確率重み付き推定器に基づくアルゴリズムを提案する。 合成データと公開ベンチマークデータセットの両方を用いてアルゴリズムの有効性を実証する。
  論文  参考訳（メタデータ） (2021-05-05T22:03:10Z)
• Efficient Policy Learning from Surrogate-Loss Classification Reductions [65.91730154730905]
  本稿では,政策学習におけるサロゲート-ロス分類の重み付けによる推定問題について考察する。 適切な仕様の仮定の下では、重み付けされた分類定式化はポリシーパラメーターに対して効率的でないことが示される。 本稿では,ポリシーパラメータに対して効率的なモーメントの一般化手法に基づく推定手法を提案する。
  論文  参考訳（メタデータ） (2020-02-12T18:54:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。