論文の概要: Efficient Policy Evaluation with Offline Data Informed Behavior Policy Design

• arxiv url: http://arxiv.org/abs/2301.13734v5
• Date: Wed, 02 Oct 2024 03:41:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-03 15:16:56.039595
• Title: Efficient Policy Evaluation with Offline Data Informed Behavior Policy Design
• Title（参考訳）: オフラインデータインフォームド行動ポリシー設計による効率的な政策評価
• Authors: Shuze Liu, Shangtong Zhang,
• Abstract要約: オンラインモンテカルロ推定器のデータ効率を向上させる新しい手法を提案する。 まず,オンラインモンテカルロ推定器のばらつきを確実に低減する閉形式行動ポリシーを提案する。 次に、以前に収集したオフラインデータから、このクローズドフォームの動作ポリシーを学習するための効率的なアルゴリズムを設計する。
• 参考スコア（独自算出の注目度）: 18.326126953667842
• License:
• Abstract: Most reinforcement learning practitioners evaluate their policies with online Monte Carlo estimators for either hyperparameter tuning or testing different algorithmic design choices, where the policy is repeatedly executed in the environment to get the average outcome. Such massive interactions with the environment are prohibitive in many scenarios. In this paper, we propose novel methods that improve the data efficiency of online Monte Carlo estimators while maintaining their unbiasedness. We first propose a tailored closed-form behavior policy that provably reduces the variance of an online Monte Carlo estimator. We then design efficient algorithms to learn this closed-form behavior policy from previously collected offline data. Theoretical analysis is provided to characterize how the behavior policy learning error affects the amount of reduced variance. Compared with previous works, our method achieves better empirical performance in a broader set of environments, with fewer requirements for offline data.
• Abstract（参考訳）: ほとんどの強化学習実践者は、オンラインモンテカルロ推定器を用いて、ハイパーパラメータチューニングまたは異なるアルゴリズム設計選択のテストを行い、そこでポリシーを環境内で繰り返し実行し、平均的な結果を得る。 このような環境との大規模な相互作用は、多くのシナリオにおいて禁じられている。 本稿では,オンラインモンテカルロ推定器のデータ効率を不偏性を維持しながら向上させる手法を提案する。 まず,オンラインモンテカルロ推定器のばらつきを確実に低減する閉形式行動ポリシーを提案する。 次に、以前に収集したオフラインデータから、このクローズドフォームの動作ポリシーを学習するための効率的なアルゴリズムを設計する。 行動ポリシー学習誤差が分散の減少量にどのように影響するかを特徴付けるために理論的解析が提供される。 従来の手法と比較すると,オフラインデータに対する要求が少なく,より広い環境において実験性能が向上する。

関連論文リスト

• $Δ\text{-}{\rm OPE}$: Off-Policy Estimation with Pairs of Policies [13.528097424046823]
  Inverse Propensity Scoring estimator に基づいた$Deltatext-rm OPE$メソッドを提案する。 シミュレーション,オフライン,オンライン実験により,本手法は評価タスクと学習タスクの両方のパフォーマンスを著しく向上させることが示された。
  論文  参考訳（メタデータ） (2024-05-16T12:04:55Z)
• Offline Imitation Learning with Suboptimal Demonstrations via Relaxed Distribution Matching [109.5084863685397]
  オフライン模倣学習(IL)は、環境と相互作用することなく、事前にコンパイルされたデモからパフォーマンスポリシーを学習する機能を提供する。 非対称な f-分割を明示的なサポート正規化に用いたRelaxDICEを提案する。 提案手法は,6つの標準連続制御環境において,最上位のオフライン手法を著しく上回っている。
  論文  参考訳（メタデータ） (2023-03-05T03:35:11Z)
• Policy learning "without" overlap: Pessimism and generalized empirical Bernstein's inequality [94.89246810243053]
  本論文は,事前収集した観測値を利用して最適な個別化決定規則を学習するオフライン政策学習について検討する。 既存の政策学習法は、一様重なりの仮定、すなわち、全ての個々の特性に対する全ての作用を探索する正当性は、境界を低くしなければならない。 我々は,点推定の代わりに低信頼度境界(LCB)を最適化する新しいアルゴリズムであるPPLを提案する。
  論文  参考訳（メタデータ） (2022-12-19T22:43:08Z)
• Offline Reinforcement Learning with Closed-Form Policy Improvement Operators [88.54210578912554]
  行動制約付きポリシー最適化は、オフライン強化学習に対処するための成功パラダイムであることが示されている。 本稿では,閉形式政策改善演算子を提案する。 我々は、標準的なD4RLベンチマークにおいて、最先端アルゴリズムに対するそれらの効果を実証的に実証した。
  論文  参考訳（メタデータ） (2022-11-29T06:29:26Z)
• Mutual Information Regularized Offline Reinforcement Learning [76.05299071490913]
  我々は、データセットにおける状態と行動間の相互情報の観点から、オフラインRLにアプローチする新しいMISAフレームワークを提案する。 この下位境界の最適化は、オフラインデータセット上での一段階改善されたポリシーの可能性の最大化と等価であることを示す。 MISAの3つの異なる変種を導入し、より厳密な相互情報によりオフラインのRL性能が向上することを示した。
  論文  参考訳（メタデータ） (2022-10-14T03:22:43Z)
• Curriculum Offline Imitation Learning [72.1015201041391]
  オフラインの強化学習タスクでは、エージェントは、環境とのさらなるインタラクションなしに、事前にコンパイルされたデータセットから学ぶ必要がある。 我々は,適応的な近隣政策を模倣する経験的選択戦略を,より高いリターンで活用するテキストカリキュラムオフライン学習(COIL)を提案する。 連続制御ベンチマークでは、COILを模倣ベースとRLベースの両方の手法と比較し、混合データセット上で平凡な振る舞いを学ぶことを避けるだけでなく、最先端のオフラインRL手法と競合することを示します。
  論文  参考訳（メタデータ） (2021-11-03T08:02:48Z)
• Is Pessimism Provably Efficient for Offline RL? [104.00628430454479]
  優先度を収集したデータセットに基づいて最適なポリシーを学ぶことを目的としたオフライン強化学習(RL)について検討する。 ペナルティ関数として不確かさ量化器を組み込んだ値反復アルゴリズム(pevi)の悲観的変種を提案する。
  論文  参考訳（メタデータ） (2020-12-30T09:06:57Z)
• Optimal Mixture Weights for Off-Policy Evaluation with Multiple Behavior Policies [3.855085732184416]
  オフ政治評価は、行動ポリシーから収集されたオフラインデータを用いて目標ポリシーを評価する強化学習の鍵となる要素である。 本稿では,異なる行動ポリシーによって生成された推定器を正しく混合する方法について論じる。 シミュレーションリコメンデータシステムの実験から,提案手法は推定平均二乗誤差を低減するのに有効であることが示された。
  論文  参考訳（メタデータ） (2020-11-29T12:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。