論文の概要: Never Give Up: Learning Directed Exploration Strategies

• arxiv url: http://arxiv.org/abs/2002.06038v1
• Date: Fri, 14 Feb 2020 13:57:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-01 04:04:43.742173
• Title: Never Give Up: Learning Directed Exploration Strategies
• Title（参考訳）: Never Give Up: 直接探索戦略を学ぶ
• Authors: Adri\`a Puigdom\`enech Badia, Pablo Sprechmann, Alex Vitvitskyi, Daniel Guo, Bilal Piot, Steven Kapturowski, Olivier Tieleman, Mart\'in Arjovsky, Alexander Pritzel, Andew Bolt, Charles Blundell
• Abstract要約: そこで我々は,多岐にわたる探索政策を学習し,ハード・サーベイ・ゲームを解決するための強化学習エージェントを提案する。 エージェントの最近の経験に基づいて,k-アネレスト隣人を用いたエピソード記憶に基づく本質的な報酬を構築し,探索政策を訓練する。 自己教師付き逆動力学モデルを用いて、近くのルックアップの埋め込みを訓練し、エージェントが制御できる新しい信号をバイアスする。
• 参考スコア（独自算出の注目度）: 63.19616370038824
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a reinforcement learning agent to solve hard exploration games by learning a range of directed exploratory policies. We construct an episodic memory-based intrinsic reward using k-nearest neighbors over the agent's recent experience to train the directed exploratory policies, thereby encouraging the agent to repeatedly revisit all states in its environment. A self-supervised inverse dynamics model is used to train the embeddings of the nearest neighbour lookup, biasing the novelty signal towards what the agent can control. We employ the framework of Universal Value Function Approximators (UVFA) to simultaneously learn many directed exploration policies with the same neural network, with different trade-offs between exploration and exploitation. By using the same neural network for different degrees of exploration/exploitation, transfer is demonstrated from predominantly exploratory policies yielding effective exploitative policies. The proposed method can be incorporated to run with modern distributed RL agents that collect large amounts of experience from many actors running in parallel on separate environment instances. Our method doubles the performance of the base agent in all hard exploration in the Atari-57 suite while maintaining a very high score across the remaining games, obtaining a median human normalised score of 1344.0%. Notably, the proposed method is the first algorithm to achieve non-zero rewards (with a mean score of 8,400) in the game of Pitfall! without using demonstrations or hand-crafted features.
• Abstract（参考訳）: そこで我々は,多岐にわたる探索政策を学習することで,ハード探索ゲームを解決するための強化学習エージェントを提案する。 エージェントの最近の経験よりk-nearest近傍を用いたエピソディックメモリに基づく本質的報酬を構築し,探索方針を訓練することにより,エージェントが環境内のすべての状態を繰り返し再訪することを奨励する。 自己教師付き逆ダイナミクスモデルは、近くのルックアップの埋め込みを訓練するために使われ、エージェントが制御できるものに新しいシグナルを偏らせる。 我々は,uvfa(universal value function approximators)の枠組みを用いて,探索と搾取のトレードオフが異なる同じニューラルネットワークを用いて,多数の有向探索政策を同時に学習する。 異なる探索・探索の度合いで同じニューラルネットワークを使用することで、効果的な搾取政策をもたらす探索的政策から移動が実証される。 提案手法は,異なる環境インスタンス上で並列に実行する多数のアクターから大量のエクスペリエンスを収集する,現代的な分散rlエージェントで実行するように組み込むことができる。 本手法は,Atari-57スイートのハード探索におけるベースエージェントの性能を2倍にし,残りのゲーム間で高いスコアを維持し,平均値1344.0%を得る。 提案手法は, 実演や手作りの機能を使わずに, ピットフォールゲームにおいて, 非ゼロ報酬(平均スコア8,400)を達成した最初のアルゴリズムである。

関連論文リスト

• Curiosity & Entropy Driven Unsupervised RL in Multiple Environments [0.0]
  オリジナル作品に5つの新しい修正を加えて実験する。 高次元環境では、好奇心による探索は、エージェントに多様な経験を求め、未知のものを探索するように促すことによって学習を促進する。 しかし、探索可能性に制約があり、エージェントに真に知られていないような、低次元でシンプルな環境では、その利点は限られている。
  論文  参考訳（メタデータ） (2024-01-08T19:25:40Z)
• SEREN: Knowing When to Explore and When to Exploit [14.188362393915432]
  本稿では,SEREN(Sive Reinforcement Exploration Network)を紹介する。 インパルス制御(英語版)として知られる政策を用いて、スイッチャーは探索政策に切り替える最良の状態のセットを決定することができる。 我々は、SERENが急速に収束し、純粋な搾取に向けた自然なスケジュールを導き出すことを証明した。
  論文  参考訳（メタデータ） (2022-05-30T12:44:56Z)
• Long-Term Exploration in Persistent MDPs [68.8204255655161]
  RbExplore (Rollback-Explore) と呼ばれる探査手法を提案する。 本稿では,マルコフ決定過程を永続的に決定する手法であるロールバック・エクスロア (RbExplore) を提案する。 我々は,ペルシャのプリンス・オブ・ペルシャゲームにおいて,報酬やドメイン知識を伴わずに,我々のアルゴリズムを検証した。
  論文  参考訳（メタデータ） (2021-09-21T13:47:04Z)
• Cooperative Exploration for Multi-Agent Deep Reinforcement Learning [127.4746863307944]
  深層強化学習のための協調型マルチエージェント探索(CMAE)を提案する。 ゴールは正規化エントロピーに基づく手法により、複数の射影状態空間から選択される。 CMAEが様々なタスクのベースラインを一貫して上回っていることを実証する。
  論文  参考訳（メタデータ） (2021-07-23T20:06:32Z)
• Explore and Control with Adversarial Surprise [78.41972292110967]
  強化学習(Reinforcement Learning, RL)は、目標指向のポリシーを学習するためのフレームワークである。 本稿では,RLエージェントが経験した驚きの量と競合する2つのポリシーを相殺する対戦ゲームに基づく,新しい教師なしRL手法を提案する。 本手法は, 明確な相転移を示すことによって, 複雑なスキルの出現につながることを示す。
  論文  参考訳（メタデータ） (2021-07-12T17:58:40Z)
• PsiPhi-Learning: Reinforcement Learning with Demonstrations using Successor Features and Inverse Temporal Difference Learning [102.36450942613091]
  時間差学習(ITD)と呼ばれる逆強化学習アルゴリズムを提案する。 Psi Phi$-learningと呼ばれるデモで強化学習のための新しいアルゴリズムに到達し、オンライン環境の相互作用から学習とITDをシームレスに統合する方法を示します。
  論文  参考訳（メタデータ） (2021-02-24T21:12:09Z)
• Forgetful Experience Replay in Hierarchical Reinforcement Learning from Demonstrations [55.41644538483948]
  本稿では,複雑な視覚環境において,エージェントが低品質な実演を行えるようにするためのアプローチの組み合わせを提案する。 提案した目標指向のリプレイバッファ構築により,エージェントはデモにおいて複雑な階層的タスクを解くためのサブゴールを自動的に強調することができる。 私たちのアルゴリズムに基づくこのソリューションは、有名なMineRLコンペティションのすべてのソリューションを破り、エージェントがMinecraft環境でダイヤモンドをマイニングすることを可能にする。
  論文  参考訳（メタデータ） (2020-06-17T15:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。