論文の概要: Efficient Diversity-based Experience Replay for Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2410.20487v1
• Date: Sun, 27 Oct 2024 15:51:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:16:40.073613
• Title: Efficient Diversity-based Experience Replay for Deep Reinforcement Learning
• Title（参考訳）: 深層強化学習のための多様性に基づく効率的な経験リプレイ
• Authors: Kaiyan Zhao, Yiming Wang, Yuyang Chen, Xiaoguang Niu, Yan Li, Leong Hou U,
• Abstract要約: 本稿では, 状態実現における多種多様なサンプルの優先順位付けに決定論的点プロセスを活用する, 多様性に基づく経験リプレイ(DBER)を提案する。 我々は,MuJoCo,Atariゲーム,ハビタットのリアルな室内環境におけるロボットマニピュレーションタスクについて広範な実験を行った。
• 参考スコア（独自算出の注目度）: 14.96744975805832
• License:
• Abstract: Deep Reinforcement Learning (DRL) has achieved remarkable success in solving complex decision-making problems by combining the representation capabilities of deep learning with the decision-making power of reinforcement learning. However, learning in sparse reward environments remains challenging due to insufficient feedback to guide the optimization of agents, especially in real-life environments with high-dimensional states. To tackle this issue, experience replay is commonly introduced to enhance learning efficiency through past experiences. Nonetheless, current methods of experience replay, whether based on uniform or prioritized sampling, frequently struggle with suboptimal learning efficiency and insufficient utilization of samples. This paper proposes a novel approach, diversity-based experience replay (DBER), which leverages the deterministic point process to prioritize diverse samples in state realizations. We conducted extensive experiments on Robotic Manipulation tasks in MuJoCo, Atari games, and realistic in-door environments in Habitat. The results show that our method not only significantly improves learning efficiency but also demonstrates superior performance in sparse reward environments with high-dimensional states, providing a simple yet effective solution for this field.
• Abstract（参考訳）: 深層強化学習(DRL)は,深層学習の表現能力と強化学習の意思決定力を組み合わせることで,複雑な意思決定問題の解決に成功している。 しかし, エージェントの最適化, 特に高次元状態の現実環境において, エージェントの最適化を導くためのフィードバックが不十分なため, まばらな報奨環境での学習は依然として困難である。 この問題に対処するために、過去の経験を通して学習効率を高めるために、経験リプレイが一般的に導入されている。 それにもかかわらず、現在の経験再現法は、一様であれ、優先順位付けされたサンプリングであっても、しばしば最適な学習効率とサンプルの不十分な利用に苦しむ。 本稿では, 状態実現における多種多様なサンプルの優先順位付けに決定論的点プロセスを活用する, 多様性に基づくエクスペリエンス・リプレイ(DBER)を提案する。 我々は,MuJoCo,Atariゲーム,ハビタットのリアルな室内環境におけるロボットマニピュレーションタスクについて広範な実験を行った。 その結果,本手法は学習効率を向上するだけでなく,高次元状態のスパース報酬環境においても優れた性能を示し,この分野では単純かつ効果的な解法を提供することがわかった。

関連論文リスト

• Adaptive teachers for amortized samplers [76.88721198565861]
  償却推論(英: Amortized inference)とは、ニューラルネットワークなどのパラメトリックモデルをトレーニングし、正確なサンプリングが可能な所定の非正規化密度で分布を近似するタスクである。 オフ・ポリティクスのRLトレーニングは多様でハイ・リワードな候補の発見を促進するが、既存の手法は依然として効率的な探索の課題に直面している。 そこで本研究では,高次領域の優先順位付けにより,初等補正標本作成者(学生)の指導を指導する適応学習分布(教師)を提案する。
  論文  参考訳（メタデータ） (2024-10-02T11:33:13Z)
• Random Latent Exploration for Deep Reinforcement Learning [71.88709402926415]
  本稿ではRLE(Random Latent Exploration)と呼ばれる新しい探査手法を紹介する。 RLEはボーナスベースとノイズベース(ディープRLを効果的に探索するための2つの一般的なアプローチ)の強みを組み合わせたものである。 AtariとIsaacGymのベンチマークで評価し、RLEは他の手法よりも全タスクの総合スコアが高いことを示した。
  論文  参考訳（メタデータ） (2024-07-18T17:55:22Z)
• Iterative Experience Refinement of Software-Developing Agents [81.09737243969758]
  大規模な言語モデル(LLM)は、過去の経験を活用してエラーを低減し、効率を高めることができる。 本稿では,LLMエージェントがタスク実行中に反復的に経験を洗練できる反復体験精錬フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-07T11:33:49Z)
• Towards Improving Exploration in Self-Imitation Learning using Intrinsic Motivation [7.489793155793319]
  強化学習(Reinforcement Learning)は、最適化タスクを効率的に解くための強力な代替手段として登場した。 これらのアルゴリズムの使用は、学習したエージェントが行う決定がどれほど良い(または悪い)かを知らせる環境の提供するフィードバック信号に大きく依存する。 この研究では、本質的な動機付けは、エージェントが好奇心に基づいて環境を探索することを奨励するのに対して、模倣学習は学習プロセスを加速するために最も有望な経験を繰り返すことができる。
  論文  参考訳（メタデータ） (2022-11-30T09:18:59Z)
• Cluster-based Sampling in Hindsight Experience Replay for Robotic Tasks (Student Abstract) [3.4616343332323596]
  本稿では,達成目標の特性を生かした経験の生み出す効果について考察する。 提案手法は,クラスタモデルを用いて,HERの方法で経験をサンプリングすることにより,達成目標の異なるエピソードを抽出する。 実験の結果,提案手法は実質的にサンプル効率が良く,ベースライン手法よりも優れた性能が得られた。
  論文  参考訳（メタデータ） (2022-08-31T09:45:30Z)
• Basis for Intentions: Efficient Inverse Reinforcement Learning using Past Experience [89.30876995059168]
  逆強化学習(IRL) - エージェントの報酬関数をその振る舞いを観察することから推測する。 本稿では、エージェントの報酬関数を観察することのできないIRLの問題に対処する。
  論文  参考訳（メタデータ） (2022-08-09T17:29:49Z)
• MHER: Model-based Hindsight Experience Replay [33.00149668905828]
  マルチゴール強化学習の問題を解決するために,モデルに基づくHHER(Hindsight Experience Replay)を提案する。 トレーニングされたダイナミックスモデルとのインタラクションから生成された仮想目標に元の目標を置き換えることで、新たなレザベリングメソッドが実現される。 MHERは、仮想的な達成目標を生成するために環境力学を活用することにより、より効率的に体験を利用する。
  論文  参考訳（メタデータ） (2021-07-01T08:52:45Z)
• Learning Sparse Rewarded Tasks from Sub-Optimal Demonstrations [78.94386823185724]
  模倣学習は、既存の専門家のデモンストレーションを活用することで、スパース・リワードされたタスクで効果的に学習する。 実際には、十分な量の専門家によるデモンストレーションを集めることは、違法にコストがかかる。 限られた数の準最適実演に限り、最適性能を(ほぼ)達成できる自己適応学習(SAIL)を提案する。
  論文  参考訳（メタデータ） (2020-04-01T15:57:15Z)
• Soft Hindsight Experience Replay [77.99182201815763]
  ソフト・ハイドサイト・エクスペリエンス・リプレイ(SHER)は,HERと最大エントロピー強化学習(MERL)に基づく新しいアプローチである オープンAIロボット操作タスクにおけるSHERの評価を行った。
  論文  参考訳（メタデータ） (2020-02-06T03:57:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。