論文の概要: More Efficient Randomized Exploration for Reinforcement Learning via Approximate Sampling

• arxiv url: http://arxiv.org/abs/2406.12241v1
• Date: Tue, 18 Jun 2024 03:32:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 22:49:04.382514
• Title: More Efficient Randomized Exploration for Reinforcement Learning via Approximate Sampling
• Title（参考訳）: 近似サンプリングによる強化学習のためのより効率的なランダム化探索
• Authors: Haque Ishfaq, Yixin Tan, Yu Yang, Qingfeng Lan, Jianfeng Lu, A. Rupam Mahmood, Doina Precup, Pan Xu,
• Abstract要約: 最近提案されたFeel-Good Thompson Sampling (FGTS) アプローチを用いて,様々な近似サンプリング手法を組み込んだアルゴリズムフレームワークを提案する。 我々の後悔分析は、既存のランダム化アルゴリズムを超越した次元性への後悔の最もよく知られた依存性をもたらす。 我々のアルゴリズムは、RLの深い文献から得られる他の強いベースラインに匹敵する、あるいは同等の性能を達成する。
• 参考スコア（独自算出の注目度）: 41.21199687865359
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Thompson sampling (TS) is one of the most popular exploration techniques in reinforcement learning (RL). However, most TS algorithms with theoretical guarantees are difficult to implement and not generalizable to Deep RL. While the emerging approximate sampling-based exploration schemes are promising, most existing algorithms are specific to linear Markov Decision Processes (MDP) with suboptimal regret bounds, or only use the most basic samplers such as Langevin Monte Carlo. In this work, we propose an algorithmic framework that incorporates different approximate sampling methods with the recently proposed Feel-Good Thompson Sampling (FGTS) approach (Zhang, 2022; Dann et al., 2021), which was previously known to be computationally intractable in general. When applied to linear MDPs, our regret analysis yields the best known dependency of regret on dimensionality, surpassing existing randomized algorithms. Additionally, we provide explicit sampling complexity for each employed sampler. Empirically, we show that in tasks where deep exploration is necessary, our proposed algorithms that combine FGTS and approximate sampling perform significantly better compared to other strong baselines. On several challenging games from the Atari 57 suite, our algorithms achieve performance that is either better than or on par with other strong baselines from the deep RL literature.
• Abstract（参考訳）: トンプソンサンプリング(Thompson sample, TS)は、強化学習(RL)において最も人気のある探索手法の一つである。 しかし、理論的な保証を持つほとんどのTSアルゴリズムは実装が困難であり、Deep RLには一般化できない。 出現する近似サンプリングベースの探索スキームは有望であるが、既存のアルゴリズムのほとんどは、線形マルコフ決定過程(英語版)(MDP)に特化しており、最適の後悔境界を持つか、ランゲヴィン・モンテカルロ(英語版)のような最も基本的なサンプルしか使用していない。 本研究では,最近提案されたFeel-Good Thompson Smpling (FGTS) アプローチ (Zhang, 2022; Dann et al , 2021) を用いて,様々な近似サンプリング手法を組み込んだアルゴリズムフレームワークを提案する。 線形MDPに適用した場合、我々の後悔分析は、既存のランダム化アルゴリズムを超越して、次元性に対する後悔の最もよく知られた依存性をもたらす。 さらに, 使用したサンプルに対して, 明示的なサンプリングの複雑さを提供する。 実験により、深層探査が必要なタスクにおいて、FGTSと近似サンプリングを組み合わせた提案アルゴリズムは、他の強力なベースラインに比べて大幅に性能が向上することを示した。 Atari 57スイートのいくつかの挑戦的なゲームにおいて、我々のアルゴリズムは、RLの深い文献から得られる他の強力なベースラインに匹敵するパフォーマンスを達成する。

関連論文リスト

• Making RL with Preference-based Feedback Efficient via Randomization [11.019088464664696]
  人間のフィードバックから学習する強化学習アルゴリズムは、統計複雑性、計算複雑性、クエリ複雑性の点で効率的である必要がある。 提案するアルゴリズムは, サンプル効率のよいアルゴリズム(すなわち, ほぼ最適ケースの後悔境界)と実行時間(すなわち, 関連するパラメータに関して計算複雑性が最悪の場合)を提案する。 結果をより一般的な非線形関数近似に拡張するために、トンプソンサンプリングのアイデアに触発されたモデルベースランダム化アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-10-23T04:19:35Z)
• Provable and Practical: Efficient Exploration in Reinforcement Learning via Langevin Monte Carlo [104.9535542833054]
  我々は、強化学習のためのトンプソンサンプリングに基づくスケーラブルで効果的な探索戦略を提案する。 代わりに、Langevin Monte Carlo を用いて、Q 関数をその後部分布から直接サンプリングする。 提案手法は,Atari57スイートからのいくつかの挑戦的な探索課題において,最先端の深部RLアルゴリズムと比較して,より優れた,あるいは類似した結果が得られる。
  論文  参考訳（メタデータ） (2023-05-29T17:11:28Z)
• Langevin Monte Carlo for Contextual Bandits [72.00524614312002]
  Langevin Monte Carlo Thompson Sampling (LMC-TS) が提案されている。 提案アルゴリズムは,文脈的帯域幅の特別な場合において,最高のトンプソンサンプリングアルゴリズムと同じサブ線形残差を達成できることを示す。
  論文  参考訳（メタデータ） (2022-06-22T17:58:23Z)
• Local policy search with Bayesian optimization [73.0364959221845]
  強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。 局所探索のための政策勾配は、しばしばランダムな摂動から得られる。 目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-06-22T16:07:02Z)
• Thompson Sampling for Unimodal Bandits [21.514495320038712]
  本稿では, 半順序の腕に対して期待される報酬が一様であるアンフンモダル・バンディットに対するトンプソンサンプリングアルゴリズムを提案する。 ガウスの報酬に対して、我々のアルゴリズムの後悔は$mathcalO(log T)$であり、標準的なトンプソンサンプリングアルゴリズムよりもはるかに優れている。
  論文  参考訳（メタデータ） (2021-06-15T14:40:34Z)
• Adaptive Sampling for Best Policy Identification in Markov Decision Processes [79.4957965474334]
  本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。 最先端アルゴリズムの利点を論じ、解説する。
  論文  参考訳（メタデータ） (2020-09-28T15:22:24Z)
• On Thompson Sampling with Langevin Algorithms [106.78254564840844]
  多武装バンディット問題に対するトンプソンサンプリングは理論と実践の両方において良好な性能を享受する。 計算上のかなりの制限に悩まされており、反復ごとに後続分布からのサンプルを必要とする。 本稿では,この問題に対処するために,トンプソンサンプリングに適した2つのマルコフ連鎖モンテカルロ法を提案する。
  論文  参考訳（メタデータ） (2020-02-23T22:35:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。