論文の概要: MaxInfoRL: Boosting exploration in reinforcement learning through information gain maximization

• arxiv url: http://arxiv.org/abs/2412.12098v1
• Date: Mon, 16 Dec 2024 18:59:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:59:13.573554
• Title: MaxInfoRL: Boosting exploration in reinforcement learning through information gain maximization
• Title（参考訳）: MaxInfoRL:情報ゲイン最大化による強化学習の促進
• Authors: Bhavya Sukhija, Stelian Coros, Andreas Krause, Pieter Abbeel, Carmelo Sferrazza,
• Abstract要約: 強化学習アルゴリズムは、現在のベスト戦略の活用と、より高い報酬につながる可能性のある新しいオプションの探索のバランスを図ることを目的としている。 我々は本質的な探索と外生的な探索のバランスをとるためのフレームワークMaxInfoRLを紹介する。 提案手法は,マルチアームバンディットの簡易な設定において,サブリニアな後悔を実現するものである。
• 参考スコア（独自算出の注目度）: 91.80034860399677
• License:
• Abstract: Reinforcement learning (RL) algorithms aim to balance exploiting the current best strategy with exploring new options that could lead to higher rewards. Most common RL algorithms use undirected exploration, i.e., select random sequences of actions. Exploration can also be directed using intrinsic rewards, such as curiosity or model epistemic uncertainty. However, effectively balancing task and intrinsic rewards is challenging and often task-dependent. In this work, we introduce a framework, MaxInfoRL, for balancing intrinsic and extrinsic exploration. MaxInfoRL steers exploration towards informative transitions, by maximizing intrinsic rewards such as the information gain about the underlying task. When combined with Boltzmann exploration, this approach naturally trades off maximization of the value function with that of the entropy over states, rewards, and actions. We show that our approach achieves sublinear regret in the simplified setting of multi-armed bandits. We then apply this general formulation to a variety of off-policy model-free RL methods for continuous state-action spaces, yielding novel algorithms that achieve superior performance across hard exploration problems and complex scenarios such as visual control tasks.
• Abstract（参考訳）: 強化学習(RL)アルゴリズムは、現在のベストストラテジーの活用と、より高い報酬につながる可能性のある新しい選択肢の探索のバランスを図ることを目的としている。 ほとんどの一般的なRLアルゴリズムは、無向探索、すなわちランダムな行動列を選択する。 探索は、好奇心やモデルてんかんの不確実性のような本質的な報酬を用いても指示することができる。 しかし、効果的にタスクと本質的な報酬のバランスをとることは困難であり、しばしばタスクに依存します。 本研究では,本研究において,本質的および外生的探索のバランスをとるためのフレームワークであるMaxInfoRLを紹介する。 MaxInfoRLは、基礎となるタスクに関する情報取得のような本質的な報酬を最大化することで、情報遷移に向けた探索を行う。 ボルツマン探索と組み合わせると、このアプローチは自然に値関数の最大化と、状態、報酬、行動に対するエントロピーの最大化とを交換する。 提案手法は,マルチアームバンディットの簡易な設定において,サブリニアな後悔を実現するものである。 次に、この一般化を、連続的な状態-作用空間に対する様々な非政治モデルなしRL法に適用し、ハード探索問題や視覚制御タスクのような複雑なシナリオにおいて優れた性能を達成する新しいアルゴリズムを導出する。

関連論文リスト

• Random Latent Exploration for Deep Reinforcement Learning [71.88709402926415]
  本稿ではRLE(Random Latent Exploration)と呼ばれる新しい探査手法を紹介する。 RLEはボーナスベースとノイズベース(ディープRLを効果的に探索するための2つの一般的なアプローチ)の強みを組み合わせたものである。 AtariとIsaacGymのベンチマークで評価し、RLEは他の手法よりも全タスクの総合スコアが高いことを示した。
  論文  参考訳（メタデータ） (2024-07-18T17:55:22Z)
• Exploration via Planning for Information about the Optimal Trajectory [67.33886176127578]
  我々は,タスクと現在の知識を考慮に入れながら,探索を計画できる手法を開発した。 本手法は, 探索基準値よりも2倍少ないサンプルで, 強いポリシーを学習できることを実証する。
  論文  参考訳（メタデータ） (2022-10-06T20:28:55Z)
• SEREN: Knowing When to Explore and When to Exploit [14.188362393915432]
  本稿では,SEREN(Sive Reinforcement Exploration Network)を紹介する。 インパルス制御(英語版)として知られる政策を用いて、スイッチャーは探索政策に切り替える最良の状態のセットを決定することができる。 我々は、SERENが急速に収束し、純粋な搾取に向けた自然なスケジュールを導き出すことを証明した。
  論文  参考訳（メタデータ） (2022-05-30T12:44:56Z)
• Reward Uncertainty for Exploration in Preference-based Reinforcement Learning [88.34958680436552]
  好みに基づく強化学習アルゴリズムを対象とした探索手法を提案する。 我々の基本的な考え方は、学習した報酬に基づいて、斬新さを測定することによって、本質的な報酬を設計することである。 実験により、学習報酬の不確実性からの探索ボーナスは、好みに基づくRLアルゴリズムのフィードバック効率とサンプル効率の両方を改善することが示された。
  論文  参考訳（メタデータ） (2022-05-24T23:22:10Z)
• On Reward-Free RL with Kernel and Neural Function Approximations: Single-Agent MDP and Markov Game [140.19656665344917]
  エージェントが事前に特定された報酬関数を使わずに環境を徹底的に探索することを目的とした報酬のないRL問題について検討する。 関数近似の文脈でこの問題に取り組み、強力な関数近似器を活用する。 我々は、カーネルとニューラルファンクション近似器を用いた、証明可能な効率の良い報酬なしRLアルゴリズムを確立した。
  論文  参考訳（メタデータ） (2021-10-19T07:26:33Z)
• MADE: Exploration via Maximizing Deviation from Explored Regions [48.49228309729319]
  オンライン強化学習(RL)では、高次元環境における効率的な探索は依然として困難であり、報酬は少ない。 調査地域からの次の政策の逸脱を最大化することによる新たな探索手法を提案する。 提案手法は,最先端手法よりもサンプル効率を著しく向上させる。
  論文  参考訳（メタデータ） (2021-06-18T17:57:00Z)
• Active Finite Reward Automaton Inference and Reinforcement Learning Using Queries and Counterexamples [31.31937554018045]
  深部強化学習(RL)法は, 良好な性能を達成するために, 環境探索からの集中的なデータを必要とする。 本稿では,RLエージェントが探索過程を推論し,その将来的な探索を効果的に導くための高レベルの知識を蒸留するフレームワークを提案する。 具体的には、L*学習アルゴリズムを用いて、有限報酬オートマトンという形で高レベルの知識を学習する新しいRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-28T21:13:08Z)
• Exploration by Maximizing R\'enyi Entropy for Reward-Free RL Framework [28.430845498323745]
  我々は、搾取から探索を分離する報酬のない強化学習フレームワークを検討する。 探索段階において、エージェントは、報酬のない環境と相互作用して探索ポリシーを学習する。 計画段階では、エージェントはデータセットに基づいて報酬関数の適切なポリシーを算出する。
  論文  参考訳（メタデータ） (2020-06-11T05:05:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。