Fugu-MT 論文翻訳(概要): DEIR: Efficient and Robust Exploration through Discriminative-Model-Based Episodic Intrinsic Rewards

論文の概要: DEIR: Efficient and Robust Exploration through Discriminative-Model-Based Episodic Intrinsic Rewards

arxiv url: http://arxiv.org/abs/2304.10770v1
Date: Fri, 21 Apr 2023 06:39:38 GMT
ステータス: 処理完了
システム内更新日: 2023-04-24 15:39:31.890226
Title: DEIR: Efficient and Robust Exploration through Discriminative-Model-Based Episodic Intrinsic Rewards
Title（参考訳）: deir: 識別モデルに基づく内因性報酬による効率的かつロバストな探索
Authors: Shanchuan Wan, Yujin Tang, Yingtao Tian, Tomoyuki Kaneko
Abstract要約: 探索は強化学習(RL)の基本的側面であり、その有効性はRLアルゴリズムの性能を決定する。近年の研究では、観察における新規性から推定される本質的な報酬による探索を奨励する効果が示された。条件付き相互情報項から本質的な報酬を理論的に導き出す新しい手法であるDEIRを提案する。
参考スコア（独自算出の注目度）: 2.09711130126031
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Exploration is a fundamental aspect of reinforcement learning (RL), and its effectiveness crucially decides the performance of RL algorithms, especially when facing sparse extrinsic rewards. Recent studies showed the effectiveness of encouraging exploration with intrinsic rewards estimated from novelty in observations. However, there is a gap between the novelty of an observation and an exploration in general, because the stochasticity in the environment as well as the behavior of an agent may affect the observation. To estimate exploratory behaviors accurately, we propose DEIR, a novel method where we theoretically derive an intrinsic reward from a conditional mutual information term that principally scales with the novelty contributed by agent explorations, and materialize the reward with a discriminative forward model. We conduct extensive experiments in both standard and hardened exploration games in MiniGrid to show that DEIR quickly learns a better policy than baselines. Our evaluations in ProcGen demonstrate both generalization capabilities and the general applicability of our intrinsic reward.
Abstract（参考訳）: 探索は強化学習(RL)の基本的側面であり、その効果はRLアルゴリズムの性能を決定的に決定する。最近の研究では、観察のノベルティから推定した内在的な報酬で探索を促進する効果が示されている。しかし, 環境の確率性と, エージェントの挙動が観察に影響を及ぼす可能性があるため, 観察の斬新さと一般の探索との間にはギャップがある。探索行動を正確に推定するために,エージェント探索に寄与する新規性に主にスケールする条件付き相互情報項から内在的な報酬を理論的に導出する新しい手法であるdeirを提案し,その報酬を識別的フォワードモデルで実現する。我々はMiniGridの標準および強化された探索ゲームにおいて、DEIRがベースラインよりもすぐれたポリシーを学習していることを示す広範な実験を行った。 ProcGenにおける我々の評価は、一般化能力と本質的な報酬の適用性の両方を示している。

関連論文リスト

MaxInfoRL: Boosting exploration in reinforcement learning through information gain maximization [91.80034860399677]
強化学習アルゴリズムは、現在のベスト戦略の活用と、より高い報酬につながる可能性のある新しいオプションの探索のバランスを図ることを目的としている。我々は本質的な探索と外生的な探索のバランスをとるためのフレームワークMaxInfoRLを紹介する。提案手法は,マルチアームバンディットの簡易な設定において,サブリニアな後悔を実現するものである。
論文参考訳（メタデータ） (2024-12-16T18:59:53Z)
Random Latent Exploration for Deep Reinforcement Learning [71.88709402926415]
本稿ではRLE(Random Latent Exploration)と呼ばれる新しい探査手法を紹介する。 RLEはボーナスベースとノイズベース(ディープRLを効果的に探索するための2つの一般的なアプローチ)の強みを組み合わせたものである。 AtariとIsaacGymのベンチマークで評価し、RLEは他の手法よりも全タスクの総合スコアが高いことを示した。
論文参考訳（メタデータ） (2024-07-18T17:55:22Z)
On the Importance of Exploration for Generalization in Reinforcement Learning [89.63074327328765]
本研究では,不確実性の高い状態の探索を支援する方法であるEDE: Exploration via Distributional Ensembleを提案する。当社のアルゴリズムは,ProcgenとCrafterの両面で最先端を実現するための,最初のバリューベースアプローチである。
論文参考訳（メタデータ） (2023-06-08T18:07:02Z)
Successor-Predecessor Intrinsic Exploration [18.440869985362998]
本研究は,内因性報酬を用いた探索に焦点を当て,エージェントが自己生成型内因性報酬を用いて外因性報酬を過渡的に増強する。本研究では,先進情報と振り返り情報を組み合わせた新たな固有報酬に基づく探索アルゴリズムSPIEを提案する。本研究は,SPIEが競合する手法よりも少ない報酬とボトルネック状態の環境において,より効率的かつ倫理的に妥当な探索行動をもたらすことを示す。
論文参考訳（メタデータ） (2023-05-24T16:02:51Z)
Self-supervised network distillation: an effective approach to exploration in sparse reward environments [0.0]
強化学習は、事前に設計された報酬関数に従って、エージェントが環境の中で振る舞うように訓練することができる。そのような問題の解決策は、エージェントに情報的な探索を提供する本質的な動機を与えることであるかもしれない。本稿では, 蒸留誤差に基づく本質的な動機づけアルゴリズムである自己教師ネットワーク蒸留(SND)を新規性指標として提示する。
論文参考訳（メタデータ） (2023-02-22T18:58:09Z)
Rewarding Episodic Visitation Discrepancy for Exploration in Reinforcement Learning [64.8463574294237]
本稿では,効率的かつ定量的な探索手法として,Rewarding Episodic Visitation Discrepancy (REVD)を提案する。 REVDは、R'enyiの発散に基づくエピソード間の訪問不一致を評価することによって、本質的な報酬を提供する。 PyBullet Robotics EnvironmentsとAtariゲームでテストされている。
論文参考訳（メタデータ） (2022-09-19T08:42:46Z)
Basis for Intentions: Efficient Inverse Reinforcement Learning using Past Experience [89.30876995059168]
逆強化学習(IRL) - エージェントの報酬関数をその振る舞いを観察することから推測する。本稿では、エージェントの報酬関数を観察することのできないIRLの問題に対処する。
論文参考訳（メタデータ） (2022-08-09T17:29:49Z)
Reward Uncertainty for Exploration in Preference-based Reinforcement Learning [88.34958680436552]
好みに基づく強化学習アルゴリズムを対象とした探索手法を提案する。我々の基本的な考え方は、学習した報酬に基づいて、斬新さを測定することによって、本質的な報酬を設計することである。実験により、学習報酬の不確実性からの探索ボーナスは、好みに基づくRLアルゴリズムのフィードバック効率とサンプル効率の両方を改善することが示された。
論文参考訳（メタデータ） (2022-05-24T23:22:10Z)
RIDE: Rewarding Impact-Driven Exploration for Procedurally-Generated Environments [15.736899098702972]
本稿では,エージェントが学習状態の表現に大きな変化をもたらす行動を起こすことを奨励する,新しいタイプの固有報酬を提案する。提案手法は,MiniGridにおける複数の手続き的タスクに対して評価する。
論文参考訳（メタデータ） (2020-02-27T18:03:16Z)
Long-Term Visitation Value for Deep Exploration in Sparse Reward Reinforcement Learning [34.38011902445557]
報酬の少ない強化学習は、依然としてオープンな課題である。本稿では,長期訪問数を用いて,今後の探査行動を計画する新しいアプローチを提案する。報酬と力学のモデルを使用する既存の方法とは対照的に、我々のアプローチは非政治的でモデルなしです。
論文参考訳（メタデータ） (2020-01-01T01:01:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。