論文の概要: Efficient Exploration in Deep Reinforcement Learning: A Novel Bayesian Actor-Critic Algorithm

• arxiv url: http://arxiv.org/abs/2408.10055v1
• Date: Mon, 19 Aug 2024 14:50:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 15:52:57.630794
• Title: Efficient Exploration in Deep Reinforcement Learning: A Novel Bayesian Actor-Critic Algorithm
• Title（参考訳）: 深層強化学習における効率的な探索:新しいベイズ的アクター批判アルゴリズム
• Authors: Nikolai Rozanov,
• Abstract要約: 強化学習(RL)と深層強化学習(DRL)は破壊する可能性があり、我々が世界と対話する方法を既に変えている。 適用可能性の重要な指標の1つは、実世界のシナリオでスケールして機能する能力である。
• 参考スコア（独自算出の注目度）: 0.195804735329484
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) and Deep Reinforcement Learning (DRL), in particular, have the potential to disrupt and are already changing the way we interact with the world. One of the key indicators of their applicability is their ability to scale and work in real-world scenarios, that is in large-scale problems. This scale can be achieved via a combination of factors, the algorithm's ability to make use of large amounts of data and computational resources and the efficient exploration of the environment for viable solutions (i.e. policies). In this work, we investigate and motivate some theoretical foundations for deep reinforcement learning. We start with exact dynamic programming and work our way up to stochastic approximations and stochastic approximations for a model-free scenario, which forms the theoretical basis of modern reinforcement learning. We present an overview of this highly varied and rapidly changing field from the perspective of Approximate Dynamic Programming. We then focus our study on the short-comings with respect to exploration of the cornerstone approaches (i.e. DQN, DDQN, A2C) in deep reinforcement learning. On the theory side, our main contribution is the proposal of a novel Bayesian actor-critic algorithm. On the empirical side, we evaluate Bayesian exploration as well as actor-critic algorithms on standard benchmarks as well as state-of-the-art evaluation suites and show the benefits of both of these approaches over current state-of-the-art deep RL methods. We release all the implementations and provide a full python library that is easy to install and hopefully will serve the reinforcement learning community in a meaningful way, and provide a strong foundation for future work.
• Abstract（参考訳）: 強化学習(RL)と深層強化学習(DRL)は、特に、破壊する可能性があり、我々が世界と対話する方法を既に変えている。 適用可能性の重要な指標の1つは、大規模な問題である現実世界のシナリオでスケールして機能する能力である。 このスケールは、要素の組み合わせ、大量のデータと計算資源を利用するアルゴリズムの能力、そして実行可能なソリューション(すなわちポリシー)のための環境の効率的な探索によって達成できる。 本研究は, 深層強化学習の理論的基礎を考察し, 動機づけるものである。 まず、厳密な動的プログラミングから始まり、現代の強化学習の理論的基礎を形成するモデルのないシナリオに対する確率的近似と確率的近似に取り組みます。 本稿では、近似動的プログラミングの観点から、この非常に多様かつ急速に変化する分野の概要を述べる。 次に, 深層強化学習における基礎的アプローチ(DQN, DDQN, A2C)の探索について, 問題点に焦点を当てた。 理論面では、我々の主な貢献は、新しいベイズアクター批判アルゴリズムの提案である。 実証的な側面では、ベイズ探索と標準ベンチマークにおけるアクター批判アルゴリズム、および最先端評価スイートを評価し、現在の最先端RL法よりもこれらのアプローチの利点を示す。 すべての実装をリリースし、インストールが容易で、願わくば強化学習コミュニティに有意義な形で提供し、将来の作業のための強力な基盤を提供する、完全なピソンライブラリを提供します。

関連論文リスト

• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• Efficient Reinforcement Learning via Decoupling Exploration and Utilization [6.305976803910899]
  強化学習(Reinforcement Learning, RL)は、ゲーム、ロボティクス、自動運転車など、さまざまな分野やアプリケーションで大きな成功を収めている。 本研究の目的は,探索と利用を分離して効率よく学習するエージェントを訓練することであり,エージェントが最適解の難解を逃れられるようにすることである。 提案したOPARL(Optimistic and Pessimistic Actor Reinforcement Learning)アルゴリズムに実装した。
  論文  参考訳（メタデータ） (2023-12-26T09:03:23Z)
• On the Importance of Exploration for Generalization in Reinforcement Learning [89.63074327328765]
  本研究では,不確実性の高い状態の探索を支援する方法であるEDE: Exploration via Distributional Ensembleを提案する。 当社のアルゴリズムは,ProcgenとCrafterの両面で最先端を実現するための,最初のバリューベースアプローチである。
  論文  参考訳（メタデータ） (2023-06-08T18:07:02Z)
• Large Language Models can Implement Policy Iteration [18.424558160071808]
  In-Context Policy Iterationは、基礎モデルを用いてReinforcement Learning(RL)を実行するアルゴリズムである。 ICPIは、専門家によるデモンストレーションやグラデーションなしでRLタスクを実行することを学ぶ。 ICPIは、RL環境との試行錯誤によってポリシーを導出するプロンプトの内容を反復的に更新する。
  論文  参考訳（メタデータ） (2022-10-07T21:18:22Z)
• Exploration via Planning for Information about the Optimal Trajectory [67.33886176127578]
  我々は,タスクと現在の知識を考慮に入れながら,探索を計画できる手法を開発した。 本手法は, 探索基準値よりも2倍少ないサンプルで, 強いポリシーを学習できることを実証する。
  論文  参考訳（メタデータ） (2022-10-06T20:28:55Z)
• Jump-Start Reinforcement Learning [68.82380421479675]
  本稿では、オフラインデータやデモ、あるいは既存のポリシーを使ってRLポリシーを初期化するメタアルゴリズムを提案する。 特に,タスク解決に2つのポリシーを利用するアルゴリズムであるJump-Start Reinforcement Learning (JSRL)を提案する。 実験により、JSRLは既存の模倣と強化学習アルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:25:22Z)
• Discovering Reinforcement Learning Algorithms [53.72358280495428]
  強化学習アルゴリズムは、いくつかのルールの1つに従ってエージェントのパラメータを更新する。 本稿では,更新ルール全体を検出するメタラーニング手法を提案する。 これには、一連の環境と対話することで、"何を予測するか"(例えば、値関数)と"どのように学習するか"の両方が含まれている。
  論文  参考訳（メタデータ） (2020-07-17T07:38:39Z)
• Meta-Gradient Reinforcement Learning with an Objective Discovered Online [54.15180335046361]
  本稿では,深層ニューラルネットワークによって柔軟にパラメータ化される,自己目的のメタ段階的降下に基づくアルゴリズムを提案する。 目的はオンラインで発見されるため、時間とともに変化に適応することができる。 Atari Learning Environmentでは、メタグラディエントアルゴリズムが時間とともに適応して、より効率よく学習する。
  論文  参考訳（メタデータ） (2020-07-16T16:17:09Z)
• Inverse Reinforcement Learning from a Gradient-based Learner [41.8663538249537]
  逆強化学習は、専門家の報酬関数をデモンストレーションから推測する問題に対処する。 本稿では,エージェントが最適化した報酬関数を復元するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-15T16:41:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。