論文の概要: Explore-Go: Leveraging Exploration for Generalisation in Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2406.08069v3
• Date: Wed, 18 Sep 2024 10:04:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 12:25:48.430041
• Title: Explore-Go: Leveraging Exploration for Generalisation in Deep Reinforcement Learning
• Title（参考訳）: Explore-Go: 深層強化学習における一般化のための探索の活用
• Authors: Max Weltevrede, Felix Kaubek, Matthijs T. J. Spaan, Wendelin Böhmer,
• Abstract要約: エージェントの一般化性能を高めるために,訓練中の探索量の増加を活用できることが示される。 本研究では,エージェントが訓練する状態の数を増やすことで,この直感を活用する新しい手法であるExplore-Goを提案する。
• 参考スコア（独自算出の注目度）: 5.624791703748109
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One of the remaining challenges in reinforcement learning is to develop agents that can generalise to novel scenarios they might encounter once deployed. This challenge is often framed in a multi-task setting where agents train on a fixed set of tasks and have to generalise to new tasks. Recent work has shown that in this setting increased exploration during training can be leveraged to increase the generalisation performance of the agent. This makes sense when the states encountered during testing can actually be explored during training. In this paper, we provide intuition why exploration can also benefit generalisation to states that cannot be explicitly encountered during training. Additionally, we propose a novel method Explore-Go that exploits this intuition by increasing the number of states on which the agent trains. Explore-Go effectively increases the starting state distribution of the agent and as a result can be used in conjunction with most existing on-policy or off-policy reinforcement learning algorithms. We show empirically that our method can increase generalisation performance in an illustrative environment and on the Procgen benchmark.
• Abstract（参考訳）: 強化学習における残りの課題の1つは、一度デプロイされた場合に遭遇する可能性のある新しいシナリオに一般化可能なエージェントを開発することである。 この課題は、エージェントが一定のタスクセットでトレーニングし、新しいタスクに一般化しなければならない、マルチタスク設定で表されることが多い。 近年の研究では, エージェントの一般化性能を高めるために, トレーニング中の探索量の増加を活用できることが示されている。 これは、テスト中に遭遇した状態が実際にトレーニング中に探索できる場合に意味がある。 本稿では,探索が訓練中に明示的に遭遇できない状態への一般化にも有効である理由を直感的に述べる。 さらに,エージェントが訓練する状態の数を増やすことにより,この直感を生かした探索語法を提案する。 Explore-Goはエージェントの開始状態分布を効果的に増加させ、その結果、既存のほとんどのオン・ポリティクスまたはオフ・ポリティクス・強化学習アルゴリズムと併用することができる。 本稿では,本手法が実演環境やProcgenベンチマーク上での一般化性能を向上させることを実証的に示す。

関連論文リスト

• Training on more Reachable Tasks for Generalisation in Reinforcement Learning [5.855552389030083]
  マルチタスク強化学習では、エージェントは一定のタスクセットでトレーニングを行い、新しいタスクに一般化する必要がある。 近年の研究では、探索の増加がこの一般化を改善することが示されているが、その理由は不明である。 マルチタスク強化学習における到達可能性の概念を導入し、初期探索フェーズがエージェントが訓練する到達可能なタスクの数を増やすことを示す。
  論文  参考訳（メタデータ） (2024-10-04T16:15:31Z)
• Efficient Open-world Reinforcement Learning via Knowledge Distillation and Autonomous Rule Discovery [5.680463564655267]
  ルール駆動のディープラーニングエージェント(RDQ)がフレームワークの実装の可能な1つだ。 RDQは,世界との対話において,タスク固有のルールを抽出することに成功した。 実験では,RDQエージェントはベースラインエージェントよりも新規性に非常に耐性があることが示されている。
  論文  参考訳（メタデータ） (2023-11-24T04:12:50Z)
• On the Importance of Exploration for Generalization in Reinforcement Learning [89.63074327328765]
  本研究では,不確実性の高い状態の探索を支援する方法であるEDE: Exploration via Distributional Ensembleを提案する。 当社のアルゴリズムは,ProcgenとCrafterの両面で最先端を実現するための,最初のバリューベースアプローチである。
  論文  参考訳（メタデータ） (2023-06-08T18:07:02Z)
• Generalizing to New Tasks via One-Shot Compositional Subgoals [23.15624959305799]
  以前は見つからなかったタスクをほとんど、あるいはまったく監督せずに一般化する能力は、現代の機械学習研究において重要な課題である。 適応型「近未来」サブゴールを用いて、模倣学習エージェントを訓練することにより、これらの問題に対処しようとするCASEを導入する。 実験の結果,提案手法は従来よりも30%向上していることがわかった。
  論文  参考訳（メタデータ） (2022-05-16T14:30:11Z)
• Long-Term Exploration in Persistent MDPs [68.8204255655161]
  RbExplore (Rollback-Explore) と呼ばれる探査手法を提案する。 本稿では,マルコフ決定過程を永続的に決定する手法であるロールバック・エクスロア (RbExplore) を提案する。 我々は,ペルシャのプリンス・オブ・ペルシャゲームにおいて,報酬やドメイン知識を伴わずに,我々のアルゴリズムを検証した。
  論文  参考訳（メタデータ） (2021-09-21T13:47:04Z)
• Explore and Control with Adversarial Surprise [78.41972292110967]
  強化学習(Reinforcement Learning, RL)は、目標指向のポリシーを学習するためのフレームワークである。 本稿では,RLエージェントが経験した驚きの量と競合する2つのポリシーを相殺する対戦ゲームに基づく,新しい教師なしRL手法を提案する。 本手法は, 明確な相転移を示すことによって, 複雑なスキルの出現につながることを示す。
  論文  参考訳（メタデータ） (2021-07-12T17:58:40Z)
• Reannealing of Decaying Exploration Based On Heuristic Measure in Deep Q-Network [82.20059754270302]
  本稿では,再熱処理の概念に基づくアルゴリズムを提案し,必要なときにのみ探索を促進することを目的とする。 我々は、訓練を加速し、より良い政策を得る可能性を示す実証的なケーススタディを実施している。
  論文  参考訳（メタデータ） (2020-09-29T20:40:00Z)
• Planning to Explore via Self-Supervised World Models [120.31359262226758]
  Plan2Exploreは自己監督型強化学習エージェントである。 我々は、自己監督型探索と、新しいタスクへの迅速な適応に対する新しいアプローチを提案する。 Plan2Exploreは、訓練の監督やタスク固有の相互作用がなければ、自己監督型の探査方法よりも優れている。
  論文  参考訳（メタデータ） (2020-05-12T17:59:45Z)
• Never Give Up: Learning Directed Exploration Strategies [63.19616370038824]
  そこで我々は,多岐にわたる探索政策を学習し,ハード・サーベイ・ゲームを解決するための強化学習エージェントを提案する。 エージェントの最近の経験に基づいて,k-アネレスト隣人を用いたエピソード記憶に基づく本質的な報酬を構築し,探索政策を訓練する。 自己教師付き逆動力学モデルを用いて、近くのルックアップの埋め込みを訓練し、エージェントが制御できる新しい信号をバイアスする。
  論文  参考訳（メタデータ） (2020-02-14T13:57:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。