Fugu-MT 論文翻訳(概要): Efficient Diversity-based Experience Replay for Deep Reinforcement Learning

論文の概要: Efficient Diversity-based Experience Replay for Deep Reinforcement Learning

arxiv url: http://arxiv.org/abs/2410.20487v1
Date: Sun, 27 Oct 2024 15:51:27 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-29 12:16:40.073613
Title: Efficient Diversity-based Experience Replay for Deep Reinforcement Learning
Title（参考訳）: 深層強化学習のための多様性に基づく効率的な経験リプレイ
Authors: Kaiyan Zhao, Yiming Wang, Yuyang Chen, Xiaoguang Niu, Yan Li, Leong Hou U,
Abstract要約: 本稿では, 状態実現における多種多様なサンプルの優先順位付けに決定論的点プロセスを活用する, 多様性に基づく経験リプレイ(DBER)を提案する。我々は,MuJoCo,Atariゲーム,ハビタットのリアルな室内環境におけるロボットマニピュレーションタスクについて広範な実験を行った。
参考スコア（独自算出の注目度）: 14.96744975805832
License:
Abstract: Deep Reinforcement Learning (DRL) has achieved remarkable success in solving complex decision-making problems by combining the representation capabilities of deep learning with the decision-making power of reinforcement learning. However, learning in sparse reward environments remains challenging due to insufficient feedback to guide the optimization of agents, especially in real-life environments with high-dimensional states. To tackle this issue, experience replay is commonly introduced to enhance learning efficiency through past experiences. Nonetheless, current methods of experience replay, whether based on uniform or prioritized sampling, frequently struggle with suboptimal learning efficiency and insufficient utilization of samples. This paper proposes a novel approach, diversity-based experience replay (DBER), which leverages the deterministic point process to prioritize diverse samples in state realizations. We conducted extensive experiments on Robotic Manipulation tasks in MuJoCo, Atari games, and realistic in-door environments in Habitat. The results show that our method not only significantly improves learning efficiency but also demonstrates superior performance in sparse reward environments with high-dimensional states, providing a simple yet effective solution for this field.
Abstract（参考訳）: 深層強化学習(DRL)は,深層学習の表現能力と強化学習の意思決定力を組み合わせることで,複雑な意思決定問題の解決に成功している。しかし, エージェントの最適化, 特に高次元状態の現実環境において, エージェントの最適化を導くためのフィードバックが不十分なため, まばらな報奨環境での学習は依然として困難である。この問題に対処するために、過去の経験を通して学習効率を高めるために、経験リプレイが一般的に導入されている。それにもかかわらず、現在の経験再現法は、一様であれ、優先順位付けされたサンプリングであっても、しばしば最適な学習効率とサンプルの不十分な利用に苦しむ。本稿では, 状態実現における多種多様なサンプルの優先順位付けに決定論的点プロセスを活用する, 多様性に基づくエクスペリエンス・リプレイ(DBER)を提案する。我々は,MuJoCo,Atariゲーム,ハビタットのリアルな室内環境におけるロボットマニピュレーションタスクについて広範な実験を行った。その結果,本手法は学習効率を向上するだけでなく,高次元状態のスパース報酬環境においても優れた性能を示し,この分野では単純かつ効果的な解法を提供することがわかった。

関連論文リスト

Adaptive teachers for amortized samplers [76.88721198565861]
償却推論(英: Amortized inference)とは、ニューラルネットワークなどのパラメトリックモデルをトレーニングし、正確なサンプリングが可能な所定の非正規化密度で分布を近似するタスクである。オフ・ポリティクスのRLトレーニングは多様でハイ・リワードな候補の発見を促進するが、既存の手法は依然として効率的な探索の課題に直面している。そこで本研究では,高次領域の優先順位付けにより,初等補正標本作成者(学生)の指導を指導する適応学習分布(教師)を提案する。
論文参考訳（メタデータ） (2024-10-02T11:33:13Z)
SVDE: Scalable Value-Decomposition Exploration for Cooperative Multi-Agent Reinforcement Learning [22.389803019100423]
本稿では、スケーラブルなトレーニング機構、本質的な報酬設計、爆発的体験再生を含む、スケーラブルな価値分解探索(SVDE)手法を提案する。提案手法は,StarCraft IIマイクロマネジメントゲームにおいて,他の一般的なアルゴリズムと比較して,ほぼすべてのマップ上で最高の性能を実現する。
論文参考訳（メタデータ） (2023-03-16T03:17:20Z)
Environment Design for Inverse Reinforcement Learning [3.085995273374333]
一つの環境から学ぶことに集中する現在の逆強化学習法は、環境力学のわずかな変化に対処できない可能性がある。本フレームワークでは,学習者がエキスパートと繰り返し対話し,前者の選択環境を使って報酬関数を識別する。その結果,サンプル効率とロバスト性の両方の改善が得られた。
論文参考訳（メタデータ） (2022-10-26T18:31:17Z)
Basis for Intentions: Efficient Inverse Reinforcement Learning using Past Experience [89.30876995059168]
逆強化学習(IRL) - エージェントの報酬関数をその振る舞いを観察することから推測する。本稿では、エージェントの報酬関数を観察することのできないIRLの問題に対処する。
論文参考訳（メタデータ） (2022-08-09T17:29:49Z)
Learning Dense Reward with Temporal Variant Self-Supervision [5.131840233837565]
複雑な現実世界のロボットアプリケーションは、報酬として直接使用できる明示的で情報的な記述を欠いている。従来、マルチモーダル観測から直接高密度報酬をアルゴリズムで抽出することが可能であった。本稿では,より効率的で堅牢なサンプリングと学習手法を提案する。
論文参考訳（メタデータ） (2022-05-20T20:30:57Z)
Sequential Bayesian experimental designs via reinforcement learning [0.0]
我々は,BEDを逐次的に構築するために,強化学習による逐次実験設計を提案する。提案手法は,新たな実世界指向実験環境を提案することで,期待される情報獲得を最大化することを目的としている。提案手法は,EIGやサンプリング効率などの指標において,既存の手法よりも優れていることを確認した。
論文参考訳（メタデータ） (2022-02-14T04:29:04Z)
TRAIL: Near-Optimal Imitation Learning with Suboptimal Data [100.83688818427915]
オフラインデータセットを使用してファクタードトランジションモデルを学習するトレーニング目標を提案する。我々の理論的分析は、学習された潜在行動空間が下流模倣学習のサンプル効率を高めることを示唆している。実際に潜伏行動空間を学習するために、エネルギーベースの遷移モデルを学ぶアルゴリズムTRAIL(Transition-Reparametrized Actions for Imitation Learning)を提案する。
論文参考訳（メタデータ） (2021-10-27T21:05:00Z)
MHER: Model-based Hindsight Experience Replay [33.00149668905828]
マルチゴール強化学習の問題を解決するために,モデルに基づくHHER(Hindsight Experience Replay)を提案する。トレーニングされたダイナミックスモデルとのインタラクションから生成された仮想目標に元の目標を置き換えることで、新たなレザベリングメソッドが実現される。 MHERは、仮想的な達成目標を生成するために環境力学を活用することにより、より効率的に体験を利用する。
論文参考訳（メタデータ） (2021-07-01T08:52:45Z)
Learning to Sample with Local and Global Contexts in Experience Replay Buffer [135.94190624087355]
遷移の相対的重要性を計算できる学習に基づく新しいサンプリング手法を提案する。本研究の枠組みは, 様々な非政治強化学習手法の性能を著しく向上させることができることを示す。
論文参考訳（メタデータ） (2020-07-14T21:12:56Z)
Learning Sparse Rewarded Tasks from Sub-Optimal Demonstrations [78.94386823185724]
模倣学習は、既存の専門家のデモンストレーションを活用することで、スパース・リワードされたタスクで効果的に学習する。実際には、十分な量の専門家によるデモンストレーションを集めることは、違法にコストがかかる。限られた数の準最適実演に限り、最適性能を(ほぼ)達成できる自己適応学習(SAIL)を提案する。
論文参考訳（メタデータ） (2020-04-01T15:57:15Z)
Soft Hindsight Experience Replay [77.99182201815763]
ソフト・ハイドサイト・エクスペリエンス・リプレイ(SHER)は,HERと最大エントロピー強化学習(MERL)に基づく新しいアプローチであるオープンAIロボット操作タスクにおけるSHERの評価を行った。
論文参考訳（メタデータ） (2020-02-06T03:57:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。