Fugu-MT 論文翻訳(概要): Active Coverage for PAC Reinforcement Learning

論文の概要: Active Coverage for PAC Reinforcement Learning

arxiv url: http://arxiv.org/abs/2306.13601v1
Date: Fri, 23 Jun 2023 16:39:37 GMT
ステータス: 処理完了
システム内更新日: 2023-06-26 12:09:09.337400
Title: Active Coverage for PAC Reinforcement Learning
Title（参考訳）: PAC強化学習のためのアクティブカバレッジ
Authors: Aymen Al-Marjani, Andrea Tirinzoni, Emilie Kaufmann
Abstract要約: 本稿では,エピソードマルコフ決定過程(MDP)におけるアクティブカバレッジの問題を定式化する。我々は,異なるPAC RLタスクを解くために,CovGameをビルディングブロックとして使用できることを示す。
参考スコア（独自算出の注目度）: 24.256960622176305
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Collecting and leveraging data with good coverage properties plays a crucial role in different aspects of reinforcement learning (RL), including reward-free exploration and offline learning. However, the notion of "good coverage" really depends on the application at hand, as data suitable for one context may not be so for another. In this paper, we formalize the problem of active coverage in episodic Markov decision processes (MDPs), where the goal is to interact with the environment so as to fulfill given sampling requirements. This framework is sufficiently flexible to specify any desired coverage property, making it applicable to any problem that involves online exploration. Our main contribution is an instance-dependent lower bound on the sample complexity of active coverage and a simple game-theoretic algorithm, CovGame, that nearly matches it. We then show that CovGame can be used as a building block to solve different PAC RL tasks. In particular, we obtain a simple algorithm for PAC reward-free exploration with an instance-dependent sample complexity that, in certain MDPs which are "easy to explore", is lower than the minimax one. By further coupling this exploration algorithm with a new technique to do implicit eliminations in policy space, we obtain a computationally-efficient algorithm for best-policy identification whose instance-dependent sample complexity scales with gaps between policy values.
Abstract（参考訳）: 優れたカバレッジ特性を持つデータの収集と活用は、報酬のない探索やオフライン学習を含む強化学習(RL)のさまざまな側面において重要な役割を果たす。しかし、"良いカバレッジ"という概念は、あるコンテキストに適したデータが他のコンテキストには当てはまらないため、手元にあるアプリケーションに依存します。本稿では,マルコフ決定過程(MDP)におけるアクティブカバレッジの問題を定式化し,その目的は,所定のサンプリング要求を満たすために環境と対話することである。このフレームワークは、望ましいカバレッジプロパティを指定するのに十分柔軟であり、オンライン探索に関わるあらゆる問題に適用できる。私たちの主な貢献は、アクティブカバレッジのサンプル複雑性に対するインスタンス依存の下限と、それとほぼ一致する単純なゲーム理論アルゴリズムであるcovgameです。次に、異なるPAC RLタスクを解決するために、CovGameをビルディングブロックとして使用できることを示す。特に、インスタンス依存のサンプル複雑性を持つPAC報酬のない探索のための単純なアルゴリズムを得るが、「探索し易い」特定のMDPではミニマックスよりも低い。この探索アルゴリズムを政策空間における暗黙の排除を行う新しい手法と組み合わせることで、インスタンス依存のサンプル複雑性がポリシー値間のギャップでスケールする最良の政治識別のための計算効率の良いアルゴリズムを得る。

関連論文リスト

Offline RL via Feature-Occupancy Gradient Ascent [9.983014605039658]
大規模無限水平割引マルコフ決定過程(MDP)におけるオフライン強化学習の研究我々は,特徴占有空間における勾配上昇の形式を実行する新しいアルゴリズムを開発した。結果として得られた単純なアルゴリズムは、強い計算とサンプルの複雑さの保証を満たすことを示す。
論文参考訳（メタデータ） (2024-05-22T15:39:05Z)
Offline Imitation Learning from Multiple Baselines with Applications to Compiler Optimization [17.729842629392742]
我々は,Kベースラインポリシーで収集した一連のトラジェクトリを与えられる強化学習問題について検討する。目標は、状態空間全体におけるベースラインの最高の組み合わせと同様に、機能するポリシーを学ぶことです。
論文参考訳（メタデータ） (2024-03-28T14:34:02Z)
Nearly Optimal Latent State Decoding in Block MDPs [74.51224067640717]
エピソードブロック MDP では、意思決定者は少数の潜在状態から生成される豊富な観測やコンテキストにアクセスすることができる。まず、固定動作ポリシーに基づいて生成されたデータに基づいて、潜時状態復号関数を推定することに興味がある。次に、報酬のないフレームワークにおいて、最適に近いポリシーを学習する問題について研究する。
論文参考訳（メタデータ） (2022-08-17T18:49:53Z)
Instance-Dependent Near-Optimal Policy Identification in Linear MDPs via Online Experiment Design [12.056495277232118]
この研究は、ほぼ最適ポリシーを学ぶことの「インスタンスに依存した」複雑さを理解することを目的としている。本稿では,複雑性の詳細なインスタンス依存尺度を実現するアルゴリズムである textscPedel を提案する。我々は、textscPedel が低regret, minimax-optimal アルゴリズムよりも有益であることを示す。
論文参考訳（メタデータ） (2022-07-06T10:42:57Z)
Near Instance-Optimal PAC Reinforcement Learning for Deterministic MDPs [24.256960622176305]
エピソードマルコフ決定過程におけるPAC RLのサンプル複雑性について, 上界と下界の整合性について検討した。私たちの境界は、決定論的リターンギャップ(deterministic return gap)と呼ばれる状態-作用ペアに対して、新たな最適ギャップ(sub-optimality gap)を特徴とする。彼らの設計と分析は、最小フローや最大カットといったグラフ理論の概念を含む新しいアイデアを採用している。
論文参考訳（メタデータ） (2022-03-17T11:19:41Z)
Settling the Horizon-Dependence of Sample Complexity in Reinforcement Learning [82.31436758872715]
我々は,環境相互作用の$O(1)$のエピソードのみを用いて,同一のPAC保証を実現するアルゴリズムを開発した。値関数と有限水平マルコフ決定過程の接続を確立する。
論文参考訳（メタデータ） (2021-11-01T00:21:24Z)
On Reward-Free RL with Kernel and Neural Function Approximations: Single-Agent MDP and Markov Game [140.19656665344917]
エージェントが事前に特定された報酬関数を使わずに環境を徹底的に探索することを目的とした報酬のないRL問題について検討する。関数近似の文脈でこの問題に取り組み、強力な関数近似器を活用する。我々は、カーネルとニューラルファンクション近似器を用いた、証明可能な効率の良い報酬なしRLアルゴリズムを確立した。
論文参考訳（メタデータ） (2021-10-19T07:26:33Z)
Improved Algorithms for Agnostic Pool-based Active Classification [20.12178157010804]
プールに依存しない環境でのバイナリ分類のためのアクティブラーニングを検討する。我々のアルゴリズムは、画像分類データセットにおけるアートアクティブな学習アルゴリズムの状況よりも優れている。
論文参考訳（メタデータ） (2021-05-13T18:24:30Z)
Adaptive Sampling for Best Policy Identification in Markov Decision Processes [79.4957965474334]
本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。最先端アルゴリズムの利点を論じ、解説する。
論文参考訳（メタデータ） (2020-09-28T15:22:24Z)
Provably Efficient Reward-Agnostic Navigation with Linear Value Iteration [143.43658264904863]
我々は、最小二乗値スタイルのアルゴリズムで一般的に使用される、より標準的なベルマン誤差の概念の下での反復が、ほぼ最適値関数の学習において強力なPAC保証を提供することを示す。そこで本稿では,任意の(線形な)報酬関数に対して,最適に近いポリシーを学習するためにどのように使用できるかを示す。
論文参考訳（メタデータ） (2020-08-18T04:34:21Z)
A Provably Efficient Sample Collection Strategy for Reinforcement Learning [123.69175280309226]
オンライン強化学習(RL)における課題の1つは、エージェントがその振る舞いを最適化するために、環境の探索とサンプルの活用をトレードオフする必要があることである。 1) 生成モデル(環境のスパースシミュレータなど)にアクセス可能な状態のサンプル数を規定する「対象別」アルゴリズム,2) 所定のサンプルをできるだけ早く生成する「対象別」サンプル収集。
論文参考訳（メタデータ） (2020-07-13T15:17:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。