論文の概要: Efficient Multi-Policy Evaluation for Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2408.08706v1
• Date: Fri, 16 Aug 2024 12:33:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 15:35:21.408653
• Title: Efficient Multi-Policy Evaluation for Reinforcement Learning
• Title（参考訳）: 強化学習のための効率的な多目的評価
• Authors: Shuze Liu, Yuxin Chen, Shangtong Zhang,
• Abstract要約: 対象とするすべてのポリシーにおける推定器のばらつきを低減するために、調整された行動ポリシーを設計する。 推定器は, 従来の最適手法に比べて, かなり低いばらつきを有することを示す。
• 参考スコア（独自算出の注目度）: 25.83084281519926
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To unbiasedly evaluate multiple target policies, the dominant approach among RL practitioners is to run and evaluate each target policy separately. However, this evaluation method is far from efficient because samples are not shared across policies, and running target policies to evaluate themselves is actually not optimal. In this paper, we address these two weaknesses by designing a tailored behavior policy to reduce the variance of estimators across all target policies. Theoretically, we prove that executing this behavior policy with manyfold fewer samples outperforms on-policy evaluation on every target policy under characterized conditions. Empirically, we show our estimator has a substantially lower variance compared with previous best methods and achieves state-of-the-art performance in a broad range of environments.
• Abstract（参考訳）: 複数の目標政策を不公平に評価するために、RL実践者の間で支配的なアプローチは、それぞれの目標政策を個別に実行し、評価することである。 しかし、この評価手法は、政策間でサンプルが共有されず、自らを評価するための目標ポリシーの実行が実際は最適ではないため、効率的とは程遠い。 本稿では,これらの2つの弱点に対処し,対象とするすべての政策における推定値のばらつきを低減するために,調整された行動ポリシーを設計する。 理論的には、この行動方針を多倍のサンプルで実行することは、特徴条件下での全ての目標政策において、政治上の評価よりも優れていることを証明している。 実験により, 従来手法と比較して, 推定器のばらつきは著しく低く, 幅広い環境下での最先端性能を実現していることがわかった。

関連論文リスト

• POTEC: Off-Policy Learning for Large Action Spaces via Two-Stage Policy Decomposition [40.851324484481275]
  大規模離散行動空間における文脈的バンディット政策の非政治的学習について検討する。 本稿では,2段階ポリシー分解によるポリシー最適化という新しい2段階アルゴリズムを提案する。 特に大規模かつ構造化された行動空間において,POTECはOPLの有効性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-02-09T03:01:13Z)
• Distributionally Robust Policy Evaluation under General Covariate Shift in Contextual Bandits [31.571978291138866]
  本稿では,オフライン政策評価の信頼性を高めるための分散ロバストな手法を提案する。 本手法は, 状況と政策分布の両面での相違点が存在する場合に, 堅牢な政策評価結果を提供することを目的としている。
  論文  参考訳（メタデータ） (2024-01-21T00:42:06Z)
• Conformal Off-Policy Evaluation in Markov Decision Processes [53.786439742572995]
  強化学習は、データから効率的な制御ポリシーを特定し評価することを目的としている。 この学習タスクのほとんどの方法は、Off-Policy Evaluation (OPE)と呼ばれ、正確さと確実性を保証するものではない。 本稿では,目標方針の真報を含む区間を所定の確信度で出力するコンフォーマル予測に基づく新しいOPE手法を提案する。
  論文  参考訳（メタデータ） (2023-04-05T16:45:11Z)
• Supervised Off-Policy Ranking [145.3039527243585]
  オフポリシー評価(OPE)は、他のポリシーによって生成されたデータを活用して、ターゲットポリシーを評価する。 本稿では,訓練方針と既知の実績を正しくランク付けすることで,政策スコアリングモデルを学習する教師付き非政治ランキングを提案する。 本手法は,上位3つのポリシーのうち,最良と最良の双方のランク相関と性能差の両面から,強力なベースラインOPE法より優れる。
  論文  参考訳（メタデータ） (2021-07-03T07:01:23Z)
• Reliable Off-policy Evaluation for Reinforcement Learning [53.486680020852724]
  シーケンシャルな意思決定問題において、非政治評価は、目標政策の期待累積報酬を推定する。 本稿では、1つまたは複数のログデータを用いて、ロバストで楽観的な累積報酬推定を提供する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-11-08T23:16:19Z)
• A Practical Guide of Off-Policy Evaluation for Bandit Problems [13.607327477092877]
  オフ政治評価(OPE)とは、異なる政策によって得られたサンプルから対象政策の価値を推定する問題である。 既存のOPE推定器に基づくメタアルゴリズムを提案する。 実験において,人工的およびオープンな実世界のデータセットを用いて提案する概念について検討する。
  論文  参考訳（メタデータ） (2020-10-23T15:11:19Z)
• Efficient Evaluation of Natural Stochastic Policies in Offline Reinforcement Learning [80.42316902296832]
  行動政策から逸脱した観点から定義される自然政策の効果的な非政治的評価について検討する。 これは、ほとんどの著作が明示された政策の評価を考慮に入れている、政治外の評価に関する文献から逸脱している。
  論文  参考訳（メタデータ） (2020-06-06T15:08:24Z)
• Stable Policy Optimization via Off-Policy Divergence Regularization [50.98542111236381]
  信頼地域政策最適化(TRPO)とPPO(Pximal Policy Optimization)は、深層強化学習(RL)において最も成功した政策勾配アプローチの一つである。 本稿では, 連続的な政策によって引き起こされる割引状態-行動訪問分布を, 近接項で抑制し, 政策改善を安定化させる新しいアルゴリズムを提案する。 提案手法は, ベンチマーク高次元制御タスクの安定性と最終的な性能向上に有効である。
  論文  参考訳（メタデータ） (2020-03-09T13:05:47Z)
• BRPO: Batch Residual Policy Optimization [79.53696635382592]
  バッチ強化学習では、学習したポリシーが行動(データ生成)ポリシーに近いように制約されることがよくある。 本稿では,学習方針の逸脱が国家の行動に依存した残留政策を提案する。 我々は,ポリシーと許容偏差の両方を学習し,政策性能の低い境界を共同で最大化する新しいRL法BRPOを導出する。
  論文  参考訳（メタデータ） (2020-02-08T01:59:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。