論文の概要: Pure Exploration for a Good Policy in Reinforcement Learning with Bandit Feedback

• arxiv url: http://arxiv.org/abs/2605.23182v1
• Date: Fri, 22 May 2026 03:04:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.175756
• Title: Pure Exploration for a Good Policy in Reinforcement Learning with Bandit Feedback
• Title（参考訳）: バンドフィードバックによる強化学習における良い政策のための純粋探索
• Authors: Zitian Li, Wang Chi Cheung,
• Abstract要約: BPI(Best Policy Identification)は、(近くの)最適政策を高い信頼性で識別することを目的としている。 我々は、信頼度設定の下で、善政策識別(GPI)を定式化する。 本稿では,BEE-GPIアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 8.450904497835262
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pure exploration in episodic Reinforcement Learning has primarily focused on Best Policy Identification (BPI), which seeks to identify a (near)-optimal policy with high confidence. Motivated by practical settings where a ``good enough'' policy suffices, we study an alternate objective of Good Policy Identification (GPI). For a given reward threshold $μ_0$, GPI only requires identifying a policy with expected reward in an episode at least $μ_0$ if such a policy exists (positive instance), or declaring None if no such policy exists (negative instance). We formalize GPI under the fixed-confidence setting. We require the output to be correct with probability $\geq 1-δ$, and seek to minimize the expected sample complexity, which is the expected number of episodes explored for the output. We propose a novel algorithm BEE-GPI, and derive theoretically-grounded upper bounds on its sample complexity for positive and negative instances. Notably, for positive instances, the coefficient of $\log 1/δ$ in our upper bound is $O(H^2/(V^* - μ_0)^2)$, where $H$ is the episode length and $V^*$ is the optimal expected reward in an episode. The coefficient does not depend on the action and state space sizes otherwise, in sharp contrast to the sample complexity in BPI. We further establish lower bound results to show the near-optimality of BEE-GPI and the necessity of the $1/(V^* -μ)^2$ term. Numerical experiments further validate the efficiency of our approach.
• Abstract（参考訳）: エピソード強化学習における純粋探索は主にBPI(Best Policy Identification)に焦点を当てており、信頼度の高い(近く)最適政策を特定することを目的としている。 善政策識別(GPI)の代替目的について検討する。 与えられた報酬閾値$μ_0$の場合、GPIは、そのようなポリシーが存在する場合(肯定的な例)に少なくとも$μ_0$、あるいはそのようなポリシーが存在しない場合(否定的な例)にNoneを宣言する場合に、少なくとも$μ_0$で期待される報酬を持つポリシーを特定する必要がある。 固定信頼設定でGPIを定式化する。 我々は、出力が確率$\geq 1-δ$で正しいことを要求し、期待されるサンプルの複雑さを最小化する。 本稿では,BEE-GPIアルゴリズムを提案する。 特に、この上界における$\log 1/δ$の係数は$O(H^2/(V^* - μ_0)^2)$であり、$H$はエピソード長、$V^*$はエピソードの最適期待報酬である。 この係数は、BPIのサンプルの複雑さとは対照的に、アクションや状態空間のサイズに依存しない。 さらに、BEE-GPIのほぼ最適性と1/(V^* -μ)^2$項の必要性を示すために、下界結果を確立する。 数値解析実験は、我々のアプローチの効率をさらに検証する。

関連論文リスト

• Distributionally Robust Policy Learning under Concept Drifts [33.44768994272614]
  本稿では、より曖昧な問題、つまり、コンセプトドリフトの下でのロバストな政策学習について研究する。 まず、与えられた政策の最悪の平均報酬を評価するための2倍のロバスト推定器を提供する。 次に、所定のポリシークラス内で推定されたポリシー値を最大化するポリシーを出力する学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-12-18T19:53:56Z)
• Estimating Optimal Policy Value in General Linear Contextual Bandits [50.008542459050155]
  多くのバンドイット問題において、政策によって達成可能な最大報酬は、前もって不明であることが多い。 我々は,最適政策が学習される前に,サブ線形データ構造における最適政策値を推定する問題を考察する。 V*$で問題依存上界を推定する,より実用的で効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-19T01:09:24Z)
• Reaching Goals is Hard: Settling the Sample Complexity of the Stochastic Shortest Path [106.37656068276902]
  本稿では,最短経路(SSP)問題において,$epsilon$-optimal Policyを学習する際のサンプル複雑性について検討する。 学習者が生成モデルにアクセスできる場合、複雑性境界を導出する。 我々は、$S$状態、$A$アクション、最小コスト$c_min$、およびすべての状態に対する最適ポリシーの最大期待コストを持つ最悪のSSPインスタンスが存在することを示す。
  論文  参考訳（メタデータ） (2022-10-10T18:34:32Z)
• Best Policy Identification in Linear MDPs [70.57916977441262]
  縮退した線形マルコフ+デルタ決定における最適同定問題について, 生成モデルに基づく固定信頼度設定における検討を行った。 複雑な非最適化プログラムの解としての下位境界は、そのようなアルゴリズムを考案する出発点として用いられる。
  論文  参考訳（メタデータ） (2022-08-11T04:12:50Z)
• The Curse of Passive Data Collection in Batch Reinforcement Learning [82.6026077420886]
  高い利害関係のアプリケーションでは、アクティブな実験は危険すぎると考えられ、データはしばしば受動的に収集される。 バンディットやパッシブ、アクティブなデータ収集などの単純な場合も同様に効果的であるが、制御された状態のシステムからデータを集める場合、パッシブサンプリングの価格ははるかに高い。
  論文  参考訳（メタデータ） (2021-06-18T07:54:23Z)
• Robust Policy Gradient against Strong Data Corruption [30.910088777897045]
  対人汚職下での堅牢な強化学習の課題を報酬と移行の両面から検討する。 攻撃モデルでは、エピソード内の各ステップで報酬と移行を任意に破壊できるテクティタダプティブな敵を仮定する。 我々はフィルタポリシグラディエントアルゴリズムを開発し、汚職に対する報酬を許容し、$O(epsilon1/4)$-optimal Policy を見つけることができる。
  論文  参考訳（メタデータ） (2021-02-11T01:48:38Z)
• Adaptive Reward-Free Exploration [48.98199700043158]
  提案アルゴリズムは1994年からのFiechterのアルゴリズムの変種と見なすことができる。 さらに、報酬のない探索と最高の政治識別の相対的な複雑さについて検討する。
  論文  参考訳（メタデータ） (2020-06-11T09:58:03Z)
• Reward-Free Exploration for Reinforcement Learning [82.3300753751066]
  探索の課題を分離する「逆フリーなRL」フレームワークを提案する。 我々は,$tildemathcalO(S2Amathrmpoly(H)/epsilon2)$の探索を効率的に行うアルゴリズムを提案する。 また、ほぼ一致する$Omega(S2AH2/epsilon2)$ lower boundを与え、この設定でアルゴリズムのほぼ最適性を示す。
  論文  参考訳（メタデータ） (2020-02-07T14:03:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。