論文の概要: Adaptive Exploration for Multi-Reward Multi-Policy Evaluation

• arxiv url: http://arxiv.org/abs/2502.02516v1
• Date: Tue, 04 Feb 2025 17:35:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:05:57.634703
• Title: Adaptive Exploration for Multi-Reward Multi-Policy Evaluation
• Title（参考訳）: マルチリワード多目的評価のための適応探索
• Authors: Alessio Russo, Aldo Pacchiano,
• Abstract要約: オンラインマルチリワードマルチ政治ディスカウント設定における政策評価問題 我々は、$epsilon$-accurate 推定の観点を採用して、有限あるいは凸な報酬の集合に対して$epsilon$accurate 推定を達成する。
• 参考スコア（独自算出の注目度）: 26.03922159496432
• License:
• Abstract: We study the policy evaluation problem in an online multi-reward multi-policy discounted setting, where multiple reward functions must be evaluated simultaneously for different policies. We adopt an $(\epsilon,\delta)$-PAC perspective to achieve $\epsilon$-accurate estimates with high confidence across finite or convex sets of rewards, a setting that has not been investigated in the literature. Building on prior work on Multi-Reward Best Policy Identification, we adapt the MR-NaS exploration scheme to jointly minimize sample complexity for evaluating different policies across different reward sets. Our approach leverages an instance-specific lower bound revealing how the sample complexity scales with a measure of value deviation, guiding the design of an efficient exploration policy. Although computing this bound entails a hard non-convex optimization, we propose an efficient convex approximation that holds for both finite and convex reward sets. Experiments in tabular domains demonstrate the effectiveness of this adaptive exploration scheme.
• Abstract（参考訳）: 複数の報酬関数を同時に評価する必要があるオンラインマルチリワードマルチポリティ割引設定における政策評価問題について検討する。 我々は$(\epsilon,\delta)$-PACパースペクティブを採用して$\epsilon$-正確な推定を有限あるいは凸の報酬集合に対して高い信頼度で達成する。 マルチリワードBest Policy Identification の先行研究に基づいて,MR-NaS 探索手法を適用し,様々な報酬セットの異なるポリシーを評価するために,サンプルの複雑さを最小化する。 提案手法では,サンプルの複雑性が値の偏りの尺度でどのようにスケールするかを明らかにし,効率的な探索ポリシーの設計を導く。 この境界を計算するには、厳密な非凸最適化が必要であるが、有限と凸の両方の報酬集合を保った効率的な凸近似を提案する。 表領域における実験は、この適応探索方式の有効性を実証する。

関連論文リスト

• Traversing Pareto Optimal Policies: Provably Efficient Multi-Objective Reinforcement Learning [14.260168974085376]
  本稿では多目的強化学習(MORL)について検討する。 複数の報酬関数の存在下で最適なポリシーを学ぶことに焦点を当てている。 MORLの成功にもかかわらず、様々なMORL最適化目標と効率的な学習アルゴリズムについて十分な理解が得られていない。
  論文  参考訳（メタデータ） (2024-07-24T17:58:49Z)
• Policy Gradient with Active Importance Sampling [55.112959067035916]
  政策勾配法(PG法)はISの利点を大いに生かし、以前に収集したサンプルを効果的に再利用することができる。 しかし、ISは歴史的サンプルを再重み付けするための受動的ツールとしてRLに採用されている。 我々は、政策勾配のばらつきを減らすために、サンプルを収集する最良の行動ポリシーを模索する。
  論文  参考訳（メタデータ） (2024-05-09T09:08:09Z)
• Maximum-Likelihood Inverse Reinforcement Learning with Finite-Time Guarantees [56.848265937921354]
  逆強化学習(IRL)は報酬関数と関連する最適ポリシーを回復することを目的としている。 IRLの多くのアルゴリズムは本質的にネスト構造を持つ。 我々は、報酬推定精度を損なわないIRLのための新しいシングルループアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-10-04T17:13:45Z)
• Nearly Optimal Latent State Decoding in Block MDPs [74.51224067640717]
  エピソードブロック MDP では、意思決定者は少数の潜在状態から生成される豊富な観測やコンテキストにアクセスすることができる。 まず、固定動作ポリシーに基づいて生成されたデータに基づいて、潜時状態復号関数を推定することに興味がある。 次に、報酬のないフレームワークにおいて、最適に近いポリシーを学習する問題について研究する。
  論文  参考訳（メタデータ） (2022-08-17T18:49:53Z)
• Beyond No Regret: Instance-Dependent PAC Reinforcement Learning [29.552894877883883]
  低後悔を達成し、インスタンス最適率で$epsilon$-optimal Policyを特定できるというトレードオフが存在することを示す。 本稿では,このサンプル複雑性を実現する新しい計画ベースアルゴリズムの提案と解析を行う。 我々のアルゴリズムは最小限の最適値であり、いくつかの例では、インスタンス依存のサンプル複雑性は最悪のケース境界よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2021-08-05T16:34:17Z)
• Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds Globally Optimal Policy [95.98698822755227]
  本研究は,リスクに敏感な深層強化学習を,分散リスク基準による平均報酬条件下で研究する試みである。 本稿では,ポリシー,ラグランジュ乗算器,フェンシェル双対変数を反復的かつ効率的に更新するアクタ批判アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-28T05:02:26Z)
• Optimal Off-Policy Evaluation from Multiple Logging Policies [77.62012545592233]
  我々は,複数のロギングポリシからオフ政治評価を行い,それぞれが一定のサイズ,すなわち階層化サンプリングのデータセットを生成する。 複数ロガーのOPE推定器は,任意のインスタンス,すなわち効率のよいインスタンスに対して最小分散である。
  論文  参考訳（メタデータ） (2020-10-21T13:43:48Z)
• Provably Efficient Reward-Agnostic Navigation with Linear Value Iteration [143.43658264904863]
  我々は、最小二乗値スタイルのアルゴリズムで一般的に使用される、より標準的なベルマン誤差の概念の下での反復が、ほぼ最適値関数の学習において強力なPAC保証を提供することを示す。 そこで本稿では,任意の(線形な)報酬関数に対して,最適に近いポリシーを学習するためにどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2020-08-18T04:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。