論文の概要: The impact of intrinsic rewards on exploration in Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2501.11533v1
- Date: Mon, 20 Jan 2025 15:17:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-22 14:24:46.648424
- Title: The impact of intrinsic rewards on exploration in Reinforcement Learning
- Title（参考訳）: 強化学習における本質的な報酬が探索に及ぼす影響
- Authors: Aya Kayal, Eduardo Pignatelli, Laura Toni,
- Abstract要約: 州カウントは低次元の観測で最高の探査性能を達成している。
最大エントロピーは影響を受けないため、より堅牢な探査に繋がる。
DIAYNで多様なスキルを学ぶことは、しばしば堅牢性と一般化の改善に結びついているが、MiniGrid環境での探索を促進するものではない。
- 参考スコア（独自算出の注目度）: 3.6253617038977226
- License:
- Abstract: One of the open challenges in Reinforcement Learning is the hard exploration problem in sparse reward environments. Various types of intrinsic rewards have been proposed to address this challenge by pushing towards diversity. This diversity might be imposed at different levels, favouring the agent to explore different states, policies or behaviours (State, Policy and Skill level diversity, respectively). However, the impact of diversity on the agent's behaviour remains unclear. In this work, we aim to fill this gap by studying the effect of different levels of diversity imposed by intrinsic rewards on the exploration patterns of RL agents. We select four intrinsic rewards (State Count, Intrinsic Curiosity Module (ICM), Maximum Entropy, and Diversity is all you need (DIAYN)), each pushing for a different diversity level. We conduct an empirical study on MiniGrid environment to compare their impact on exploration considering various metrics related to the agent's exploration, namely: episodic return, observation coverage, agent's position coverage, policy entropy, and timeframes to reach the sparse reward. The main outcome of the study is that State Count leads to the best exploration performance in the case of low-dimensional observations. However, in the case of RGB observations, the performance of State Count is highly degraded mostly due to representation learning challenges. Conversely, Maximum Entropy is less impacted, resulting in a more robust exploration, despite being not always optimal. Lastly, our empirical study revealed that learning diverse skills with DIAYN, often linked to improved robustness and generalisation, does not promote exploration in MiniGrid environments. This is because: i) learning the skill space itself can be challenging, and ii) exploration within the skill space prioritises differentiating between behaviours rather than achieving uniform state visitation.
- Abstract（参考訳）: 強化学習におけるオープンな課題の1つは、スパース報酬環境におけるハードな探索の問題である。
多様性を推し進めることで、この課題に対処するために、様々な本質的な報酬が提案されている。
この多様性は異なるレベルで課せられる可能性があり、エージェントは異なる州、政策、行動(それぞれ国家、政策、技能の多様性)を探索することを好んでいる。
しかし、多様性がエージェントの行動に与える影響はいまだ不明である。
本研究では,RLエージェントの探索パターンに固有の報酬が与える多様性のレベルの違いが与える影響について検討することによって,このギャップを埋めることを目的とする。
私たちは4つの本質的な報酬(状態数、内在的好奇性モジュール(ICM)、最大エントロピー、多様性は必要なすべて(DIAYN))を選択します。
エージェントの探究に関連する様々な指標,すなわちエピソードリターン,観察範囲,エージェントの位置カバレッジ,政策エントロピー,およびスパース報酬に到達するための時間枠を考慮して,MiniGrid環境に関する実証的研究を行った。
この研究の主な成果は、低次元の観測において、州カウントが最高の探査性能をもたらすことである。
しかし、RGB観測の場合、ステートカウントのパフォーマンスは、主に表現学習の課題によって著しく低下している。
逆に、最大エントロピーは影響を受けにくく、常に最適であるとは限らないにもかかわらず、より堅牢な探査をもたらす。
最後に,DIAYNを用いた多種多様なスキルの学習が,ロバスト性の向上や一般化に結びつくことが,MiniGrid環境での探索を促進することはないことを実証研究で明らかにした。
これは、
一 スキル空間そのものを学ぶことは困難であり、
二 均一な国家訪問を達成するのではなく、行動の相違を優先する技能空間内の探究
関連論文リスト
- Variable-Agnostic Causal Exploration for Reinforcement Learning [56.52768265734155]
強化学習のための新しいフレームワークVACERL(Variable-Agnostic Causal Exploration for Reinforcement Learning)を導入する。
本手法は,注目機構を用いて,重要変数に関連する重要な観測行動ステップを自動的に同定する。
これらのステップを接続する因果グラフを構築し、エージェントをタスク完了に対する因果的影響の大きい観察-作用ペアへと導く。
論文 参考訳（メタデータ） (2024-07-17T09:45:27Z) - Curiosity & Entropy Driven Unsupervised RL in Multiple Environments [0.0]
オリジナル作品に5つの新しい修正を加えて実験する。
高次元環境では、好奇心による探索は、エージェントに多様な経験を求め、未知のものを探索するように促すことによって学習を促進する。
しかし、探索可能性に制約があり、エージェントに真に知られていないような、低次元でシンプルな環境では、その利点は限られている。
論文 参考訳（メタデータ） (2024-01-08T19:25:40Z) - Never Explore Repeatedly in Multi-Agent Reinforcement Learning [40.35950679063337]
我々は「リビジョン」と戦うための動的報酬スケーリング手法を提案する。
Google Research FootballやStarCraft IIのマイクロマネジメントタスクのような需要のある環境におけるパフォーマンスの向上を示す。
論文 参考訳（メタデータ） (2023-08-19T05:27:48Z) - DEIR: Efficient and Robust Exploration through
Discriminative-Model-Based Episodic Intrinsic Rewards [2.09711130126031]
探索は強化学習(RL)の基本的側面であり,その有効性はRLアルゴリズムの性能決定要因である。
近年の研究では、観察における新規性から推定される本質的な報酬による探索を奨励する効果が示されている。
条件付き相互情報項による本質的な報酬を理論的に導出する新手法であるDEIRを提案する。
論文 参考訳（メタデータ） (2023-04-21T06:39:38Z) - Guarantees for Epsilon-Greedy Reinforcement Learning with Function
Approximation [69.1524391595912]
エプシロングレーディ、ソフトマックス、ガウシアンノイズといった神秘的な探索政策は、いくつかの強化学習タスクにおいて効率的に探索することができない。
本稿では,このような政策を理論的に分析し,筋電図探索による強化学習のための最初の後悔とサンプル複雑度境界を提供する。
論文 参考訳（メタデータ） (2022-06-19T14:44:40Z) - Collaborative Training of Heterogeneous Reinforcement Learning Agents in
Environments with Sparse Rewards: What and When to Share? [7.489793155793319]
本研究は,本質的なモチベーションを通じて得られた情報と,より効率的な探索と学習の高速化を目的とした情報を組み合わせることに焦点を当てる。
計算コストの少ない協調的なフレームワークが知識を共有することなく独立した学習プロセスより優れていることを示す。
論文 参考訳（メタデータ） (2022-02-24T16:15:51Z) - Explore and Control with Adversarial Surprise [78.41972292110967]
強化学習(Reinforcement Learning, RL)は、目標指向のポリシーを学習するためのフレームワークである。
本稿では,RLエージェントが経験した驚きの量と競合する2つのポリシーを相殺する対戦ゲームに基づく,新しい教師なしRL手法を提案する。
本手法は, 明確な相転移を示すことによって, 複雑なスキルの出現につながることを示す。
論文 参考訳（メタデータ） (2021-07-12T17:58:40Z) - Seeing Differently, Acting Similarly: Imitation Learning with
Heterogeneous Observations [126.78199124026398]
多くの実世界の模倣学習タスクでは、デモレーターと学習者は異なるが完全な観察空間で行動しなければならない。
本研究では、上記の学習問題を異種観察学習(HOIL)としてモデル化する。
本稿では,重要度重み付け,拒否学習,アクティブクエリに基づくIWREアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-17T05:44:04Z) - Ecological Reinforcement Learning [76.9893572776141]
このような条件下での学習を容易にする環境特性について検討する。
環境の特性が強化学習エージェントのパフォーマンスにどのように影響するかを理解することは、学習を魅力的にする方法でタスクを構造化するのに役立ちます。
論文 参考訳（メタデータ） (2020-06-22T17:55:03Z) - Soft Hindsight Experience Replay [77.99182201815763]
ソフト・ハイドサイト・エクスペリエンス・リプレイ(SHER)は,HERと最大エントロピー強化学習(MERL)に基づく新しいアプローチである
オープンAIロボット操作タスクにおけるSHERの評価を行った。
論文 参考訳（メタデータ） (2020-02-06T03:57:04Z) - Effective Diversity in Population Based Reinforcement Learning [38.62641968788987]
人口のすべてのメンバを同時に最適化するアプローチを導入する。
対距離を使用するのではなく、行動多様体内の全集団の体積を測定する。
我々のアルゴリズムは、オンライン学習技術を用いて、トレーニング中に多様性の度合いを適応させる。
論文 参考訳（メタデータ） (2020-02-03T10:09:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。