論文の概要: Bounded Exploration with World Model Uncertainty in Soft Actor-Critic Reinforcement Learning Algorithm

• arxiv url: http://arxiv.org/abs/2412.06139v1
• Date: Mon, 09 Dec 2024 01:45:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:52:24.407063
• Title: Bounded Exploration with World Model Uncertainty in Soft Actor-Critic Reinforcement Learning Algorithm
• Title（参考訳）: ソフトアクター・クリティカル強化学習アルゴリズムにおける世界モデル不確かさによる境界探索
• Authors: Ting Qiao, Henry Williams, David Valencia, Bruce MacDonald,
• Abstract要約: 境界探索は'ソフト'と'本質的なモチベーション探索の両方を統合する新しい探索手法である。 これはSoft Actor-Criticアルゴリズムの性能とモデルベース拡張の収束速度を著しく改善した。
• 参考スコア（独自算出の注目度）: 0.6749750044497732
• License:
• Abstract: One of the bottlenecks preventing Deep Reinforcement Learning algorithms (DRL) from real-world applications is how to explore the environment and collect informative transitions efficiently. The present paper describes bounded exploration, a novel exploration method that integrates both 'soft' and intrinsic motivation exploration. Bounded exploration notably improved the Soft Actor-Critic algorithm's performance and its model-based extension's converging speed. It achieved the highest score in 6 out of 8 experiments. Bounded exploration presents an alternative method to introduce intrinsic motivations to exploration when the original reward function has strict meanings.
• Abstract（参考訳）: 現実世界のアプリケーションからDeep Reinforcement Learning Algorithm(DRL)を防ぐボトルネックの1つは、環境を探索し、情報遷移を効率的に収集する方法である。 本稿では,「ソフト」と本質的なモチベーション探索を統合した新しい探索手法である有界探査について述べる。 境界探索によりSoft Actor-Criticアルゴリズムの性能とモデルベース拡張の収束速度が向上した。 8回中6回で最高得点を記録した。 境界探索は、本来の報酬関数が厳密な意味を持つときの探索に本質的な動機を導入する方法を示す。

関連論文リスト

• Random Latent Exploration for Deep Reinforcement Learning [71.88709402926415]
  本稿ではRLE(Random Latent Exploration)と呼ばれる新しい探査手法を紹介する。 RLEはボーナスベースとノイズベース(ディープRLを効果的に探索するための2つの一般的なアプローチ)の強みを組み合わせたものである。 AtariとIsaacGymのベンチマークで評価し、RLEは他の手法よりも全タスクの総合スコアが高いことを示した。
  論文  参考訳（メタデータ） (2024-07-18T17:55:22Z)
• Strangeness-driven Exploration in Multi-Agent Reinforcement Learning [0.0]
  我々は,任意の集中型トレーニングと分散実行(CTDE)に基づくMARLアルゴリズムに容易に組み込むことのできる,奇異性のある新たな探索手法を提案する。 探索ボーナスは奇異性から得られ,提案手法はMARLタスクでよく見られる遷移の影響を受けない。
  論文  参考訳（メタデータ） (2022-12-27T11:08:49Z)
• Deep Intrinsically Motivated Exploration in Continuous Control [0.0]
  連続的なシステムでは、ネットワークのパラメータや選択されたアクションがランダムノイズによって乱されるような、間接的でない戦略によって探索が行われることが多い。 我々は、動物モチベーションシステムに関する既存の理論を強化学習パラダイムに適応させ、新しい探究戦略を導入する。 我々のフレームワークは、より大きく多様な状態空間に拡張し、ベースラインを劇的に改善し、間接的でない戦略を大幅に上回る。
  論文  参考訳（メタデータ） (2022-10-01T14:52:16Z)
• Boosting Exploration in Actor-Critic Algorithms by Incentivizing Plausible Novel States [9.210923191081864]
  Actor-critic (AC)アルゴリズムは、モデルなしの深層強化学習アルゴリズムのクラスである。 本稿では,国家の新規性の測定に基づく本質的な報酬による探索を促進する新しい手法を提案する。 可塑性新規状態のインセンティブ付き探索により、ACアルゴリズムはサンプル効率を向上し、従って訓練性能を向上させることができる。
  論文  参考訳（メタデータ） (2022-10-01T07:07:11Z)
• Rewarding Episodic Visitation Discrepancy for Exploration in Reinforcement Learning [64.8463574294237]
  本稿では,効率的かつ定量的な探索手法として,Rewarding Episodic Visitation Discrepancy (REVD)を提案する。 REVDは、R'enyiの発散に基づくエピソード間の訪問不一致を評価することによって、本質的な報酬を提供する。 PyBullet Robotics EnvironmentsとAtariゲームでテストされている。
  論文  参考訳（メタデータ） (2022-09-19T08:42:46Z)
• MURAL: Meta-Learning Uncertainty-Aware Rewards for Outcome-Driven Reinforcement Learning [65.52675802289775]
  本研究では,不確かさを意識した分類器が,強化学習の難しさを解消できることを示す。 正規化最大度(NML)分布の計算法を提案する。 得られたアルゴリズムは、カウントベースの探索法と、報酬関数を学習するための先行アルゴリズムの両方に多くの興味深い関係を持つことを示す。
  論文  参考訳（メタデータ） (2021-07-15T08:19:57Z)
• MADE: Exploration via Maximizing Deviation from Explored Regions [48.49228309729319]
  オンライン強化学習(RL)では、高次元環境における効率的な探索は依然として困難であり、報酬は少ない。 調査地域からの次の政策の逸脱を最大化することによる新たな探索手法を提案する。 提案手法は,最先端手法よりもサンプル効率を著しく向上させる。
  論文  参考訳（メタデータ） (2021-06-18T17:57:00Z)
• Sparse Reward Exploration via Novelty Search and Emitters [55.41644538483948]
  本稿では,SparsE Reward Exploration via Novelty and Emitters (SERENE)アルゴリズムを提案する。 SERENEは、探索空間の探索と報酬の搾取を2つの交互プロセスに分けている。 メタスケジューラは、2つのプロセス間の交互にグローバルな計算予算を割り当てる。
  論文  参考訳（メタデータ） (2021-02-05T12:34:54Z)
• Reannealing of Decaying Exploration Based On Heuristic Measure in Deep Q-Network [82.20059754270302]
  本稿では,再熱処理の概念に基づくアルゴリズムを提案し,必要なときにのみ探索を促進することを目的とする。 我々は、訓練を加速し、より良い政策を得る可能性を示す実証的なケーススタディを実施している。
  論文  参考訳（メタデータ） (2020-09-29T20:40:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。