Fugu-MT 論文翻訳(概要): Successor-Predecessor Intrinsic Exploration

論文の概要: Successor-Predecessor Intrinsic Exploration

arxiv url: http://arxiv.org/abs/2305.15277v2
Date: Fri, 8 Sep 2023 19:22:52 GMT
ステータス: 処理完了
システム内更新日: 2023-09-12 21:30:07.707138
Title: Successor-Predecessor Intrinsic Exploration
Title（参考訳）: 後継・先駆的探究
Authors: Changmin Yu, Neil Burgess, Maneesh Sahani, Sam Gershman
Abstract要約: 本研究は,内因性報酬を用いた探索に焦点を当て,エージェントが自己生成型内因性報酬を用いて外因性報酬を過渡的に増強する。本研究では,先進情報と振り返り情報を組み合わせた新たな固有報酬に基づく探索アルゴリズムSPIEを提案する。本研究は,SPIEが競合する手法よりも少ない報酬とボトルネック状態の環境において,より効率的かつ倫理的に妥当な探索行動をもたらすことを示す。
参考スコア（独自算出の注目度）: 17.184624121865482
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Exploration is essential in reinforcement learning, particularly in environments where external rewards are sparse. Here we focus on exploration with intrinsic rewards, where the agent transiently augments the external rewards with self-generated intrinsic rewards. Although the study of intrinsic rewards has a long history, existing methods focus on composing the intrinsic reward based on measures of future prospects of states, ignoring the information contained in the retrospective structure of transition sequences. Here we argue that the agent can utilise retrospective information to generate explorative behaviour with structure-awareness, facilitating efficient exploration based on global instead of local information. We propose Successor-Predecessor Intrinsic Exploration (SPIE), an exploration algorithm based on a novel intrinsic reward combining prospective and retrospective information. We show that SPIE yields more efficient and ethologically plausible exploratory behaviour in environments with sparse rewards and bottleneck states than competing methods. We also implement SPIE in deep reinforcement learning agents, and show that the resulting agent achieves stronger empirical performance than existing methods on sparse-reward Atari games.
Abstract（参考訳）: 探索は強化学習、特に外部報酬が希薄な環境では不可欠である。ここでは,エージェントが自己生成した内在的な報酬によって外部の報酬を過度に増強する,内在的な報酬による探索に焦点を当てる。内在的な報酬の研究には長い歴史があるが、既存の手法では、状態の将来の見通しに基づく内在的な報酬の構成に焦点をあて、遷移系列の振り返り構造に含まれる情報を無視している。ここでは,局地的な情報ではなく,グローバルな情報に基づく効率的な探索を容易にするために,エージェントが振り返り情報を利用して構造認識による爆発行動を生成することを論じる。本研究では,先進情報と振り返り情報を組み合わせた新たな固有報酬に基づく探索アルゴリズムSPIEを提案する。本研究は,SPIEが競合する手法よりも少ない報酬とボトルネック状態の環境において,より効率的かつ倫理的に妥当な探索行動をもたらすことを示す。また, 深層強化学習エージェントにSPIEを実装し, 既存のスパース・リワード・アタリゲームに比べて, 実験性能が向上することを示す。

関連論文リスト

Random Latent Exploration for Deep Reinforcement Learning [71.88709402926415]
本稿ではRLE(Random Latent Exploration)と呼ばれる新しい探査手法を紹介する。 RLEはボーナスベースとノイズベース(ディープRLを効果的に探索するための2つの一般的なアプローチ)の強みを組み合わせたものである。 AtariとIsaacGymのベンチマークで評価し、RLEは他の手法よりも全タスクの総合スコアが高いことを示した。
論文参考訳（メタデータ） (2024-07-18T17:55:22Z)
Information Content Exploration [1.7034813545878589]
本稿では,探索行動の体系的定量化と状態カバレッジの促進を図った本質的な報奨を提案する。情報理論的報酬は,様々なゲームにおいて,効率的な探索や性能向上をもたらすことを示す。
論文参考訳（メタデータ） (2023-10-10T16:51:32Z)
DEIR: Efficient and Robust Exploration through Discriminative-Model-Based Episodic Intrinsic Rewards [2.09711130126031]
探索は強化学習(RL)の基本的側面であり,その有効性はRLアルゴリズムの性能決定要因である。近年の研究では、観察における新規性から推定される本質的な報酬による探索を奨励する効果が示されている。条件付き相互情報項による本質的な報酬を理論的に導出する新手法であるDEIRを提案する。
論文参考訳（メタデータ） (2023-04-21T06:39:38Z)
Rewarding Episodic Visitation Discrepancy for Exploration in Reinforcement Learning [64.8463574294237]
本稿では,効率的かつ定量的な探索手法として,Rewarding Episodic Visitation Discrepancy (REVD)を提案する。 REVDは、R'enyiの発散に基づくエピソード間の訪問不一致を評価することによって、本質的な報酬を提供する。 PyBullet Robotics EnvironmentsとAtariゲームでテストされている。
論文参考訳（メタデータ） (2022-09-19T08:42:46Z)
Reward Uncertainty for Exploration in Preference-based Reinforcement Learning [88.34958680436552]
好みに基づく強化学習アルゴリズムを対象とした探索手法を提案する。我々の基本的な考え方は、学習した報酬に基づいて、斬新さを測定することによって、本質的な報酬を設計することである。実験により、学習報酬の不確実性からの探索ボーナスは、好みに基づくRLアルゴリズムのフィードバック効率とサンプル効率の両方を改善することが示された。
論文参考訳（メタデータ） (2022-05-24T23:22:10Z)
Long-Term Exploration in Persistent MDPs [68.8204255655161]
RbExplore (Rollback-Explore) と呼ばれる探査手法を提案する。本稿では,マルコフ決定過程を永続的に決定する手法であるロールバック・エクスロア (RbExplore) を提案する。我々は,ペルシャのプリンス・オブ・ペルシャゲームにおいて,報酬やドメイン知識を伴わずに,我々のアルゴリズムを検証した。
論文参考訳（メタデータ） (2021-09-21T13:47:04Z)
Self-Supervised Exploration via Latent Bayesian Surprise [4.088019409160893]
本研究では,強化学習に固有の報酬として,好奇心に基づくボーナスを提案する。環境調査の観点から、エージェントの性能を計測し、モデルを幅広く評価します。我々のモデルは安価で経験的にいくつかの問題に対して最先端の性能を示す。
論文参考訳（メタデータ） (2021-04-15T14:40:16Z)
Fast active learning for pure exploration in reinforcement learning [48.98199700043158]
1/n$でスケールしたボーナスはより高速な学習率をもたらし、地平線への依存に関して既知の上限を改善します。また, 停止時間の解析を改良することにより, 最良政体識別設定におけるサンプルの複雑さを$H$で改善できることも示している。
論文参考訳（メタデータ） (2020-07-27T11:28:32Z)
RIDE: Rewarding Impact-Driven Exploration for Procedurally-Generated Environments [15.736899098702972]
本稿では,エージェントが学習状態の表現に大きな変化をもたらす行動を起こすことを奨励する,新しいタイプの固有報酬を提案する。提案手法は,MiniGridにおける複数の手続き的タスクに対して評価する。
論文参考訳（メタデータ） (2020-02-27T18:03:16Z)
Never Give Up: Learning Directed Exploration Strategies [63.19616370038824]
そこで我々は,多岐にわたる探索政策を学習し,ハード・サーベイ・ゲームを解決するための強化学習エージェントを提案する。エージェントの最近の経験に基づいて,k-アネレスト隣人を用いたエピソード記憶に基づく本質的な報酬を構築し,探索政策を訓練する。自己教師付き逆動力学モデルを用いて、近くのルックアップの埋め込みを訓練し、エージェントが制御できる新しい信号をバイアスする。
論文参考訳（メタデータ） (2020-02-14T13:57:22Z)
Long-Term Visitation Value for Deep Exploration in Sparse Reward Reinforcement Learning [34.38011902445557]
報酬の少ない強化学習は、依然としてオープンな課題である。本稿では,長期訪問数を用いて,今後の探査行動を計画する新しいアプローチを提案する。報酬と力学のモデルを使用する既存の方法とは対照的に、我々のアプローチは非政治的でモデルなしです。
論文参考訳（メタデータ） (2020-01-01T01:01:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。