Fugu-MT 論文翻訳(概要): Evolutionary Reinforcement Learning: A Survey

論文の概要: Evolutionary Reinforcement Learning: A Survey

arxiv url: http://arxiv.org/abs/2303.04150v1
Date: Tue, 7 Mar 2023 01:38:42 GMT
ステータス: 処理完了
システム内更新日: 2023-03-09 16:22:19.847180
Title: Evolutionary Reinforcement Learning: A Survey
Title（参考訳）: 進化的強化学習:調査
Authors: Hui Bai and Ran Cheng and Yaochu Jin
Abstract要約: 強化学習(Reinforcement Learning、RL)は、エージェントが環境とのインタラクションを通じて累積報酬を最大化するように訓練する機械学習アプローチである。本稿では、進化強化学習(EvoRL)と呼ばれる、ECをRLに統合するための最先端手法に関する総合的な調査を紹介する。
参考スコア（独自算出の注目度）: 13.896417716930685
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Reinforcement learning (RL) is a machine learning approach that trains agents to maximize cumulative rewards through interactions with environments. The integration of RL with deep learning has recently resulted in impressive achievements in a wide range of challenging tasks, including board games, arcade games, and robot control. Despite these successes, there remain several crucial challenges, including brittle convergence properties caused by sensitive hyperparameters, difficulties in temporal credit assignment with long time horizons and sparse rewards, a lack of diverse exploration, especially in continuous search space scenarios, difficulties in credit assignment in multi-agent reinforcement learning, and conflicting objectives for rewards. Evolutionary computation (EC), which maintains a population of learning agents, has demonstrated promising performance in addressing these limitations. This article presents a comprehensive survey of state-of-the-art methods for integrating EC into RL, referred to as evolutionary reinforcement learning (EvoRL). We categorize EvoRL methods according to key research fields in RL, including hyperparameter optimization, policy search, exploration, reward shaping, meta-RL, and multi-objective RL. We then discuss future research directions in terms of efficient methods, benchmarks, and scalable platforms. This survey serves as a resource for researchers and practitioners interested in the field of EvoRL, highlighting the important challenges and opportunities for future research. With the help of this survey, researchers and practitioners can develop more efficient methods and tailored benchmarks for EvoRL, further advancing this promising cross-disciplinary research field.
Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、エージェントに環境とのインタラクションを通じて累積報酬を最大化する機械学習アプローチである。 RLとディープラーニングの統合は、ボードゲーム、アーケードゲーム、ロボット制御など、幅広い課題において、目覚ましい成果をもたらした。これらの成功にもかかわらず、センシティブなハイパーパラメータによって引き起こされる不安定な収束性、長期水平線とスパース報酬による時間的クレジット割り当ての難しさ、探索空間の連続的なシナリオにおける多様な探索の欠如、マルチエージェント強化学習におけるクレジット割り当ての難しさ、報酬の相反など、いくつかの重要な課題がある。学習エージェントの個体数を維持する進化的計算(EC)は,これらの制限に対処する上で有望な性能を示した。本稿では、進化強化学習(EvoRL)と呼ばれる、ECをRLに統合するための最先端手法に関する総合的な調査を行う。本稿では,超パラメータ最適化,政策探索,探索,報酬形成,メタRL,多目的RLなど,RLの重要研究分野に基づいてEvoRL法を分類する。次に、効率的な方法、ベンチマーク、スケーラブルなプラットフォームの観点から、今後の研究の方向性について論じる。この調査は、EvoRLの分野に関心を持つ研究者や実践者のリソースとなり、今後の研究における重要な課題と機会を強調している。この調査の助けを借りて、研究者や実践者はより効率的な方法やEvoRLのベンチマークを作成できるようになり、この有望な学際的な研究分野をさらに進めることができる。

関連論文リスト

Towards Sample-Efficiency and Generalization of Transfer and Inverse Reinforcement Learning: A Comprehensive Literature Review [50.67937325077047]
本稿では,転送および逆強化学習(T-IRL)によるRLアルゴリズムのサンプル効率と一般化を実現するための総合的なレビューを行う。以上の結果から,最近の研究成果の大部分は,人間のループとシム・トゥ・リアル戦略を活用することで,上記の課題に対処していることが示唆された。 IRL構造の下では、経験の少ない移行と、そのようなフレームワークのマルチエージェントおよびマルチインテンション問題への拡張を必要とするトレーニングスキームが近年研究者の優先事項となっている。
論文参考訳（メタデータ） (2024-11-15T15:18:57Z)
Sample Efficient Myopic Exploration Through Multitask Reinforcement Learning with Diverse Tasks [53.44714413181162]
本稿では, エージェントが十分に多様なタスクセットで訓練された場合, 筋電図探索設計による一般的なポリシー共有アルゴリズムは, サンプル効率がよいことを示す。我々の知る限りでは、これはMTRLの「探索的利益」の初めての理論的実証である。
論文参考訳（メタデータ） (2024-03-03T22:57:44Z)
Bridging Evolutionary Algorithms and Reinforcement Learning: A Comprehensive Survey on Hybrid Algorithms [50.91348344666895]
進化的強化学習(ERL)は進化的アルゴリズム(EA)と強化学習(RL)を統合して最適化する。本調査では,ERLの多様な研究分野について概観する。
論文参考訳（メタデータ） (2024-01-22T14:06:37Z)
CUDC: A Curiosity-Driven Unsupervised Data Collection Method with Adaptive Temporal Distances for Offline Reinforcement Learning [62.58375643251612]
本稿では,Curiosity-driven Unsupervised Data Collection (CUDC)法を提案する。この適応的な到達性機構により、特徴表現は多様化することができ、エージェントは、好奇心で高品質なデータを集めるために自分自身をナビゲートすることができる。実験的に、CUDCはDeepMindコントロールスイートの様々なダウンストリームオフラインRLタスクにおいて、既存の教師なし手法よりも効率と学習性能が優れている。
論文参考訳（メタデータ） (2023-12-19T14:26:23Z)
Hyperparameter Optimization for Multi-Objective Reinforcement Learning [0.27309692684728615]
強化学習(Reinforcement Learning, RL)は、複雑な問題に対処するための強力なアプローチである。近年,多目的強化学習(MORL)の導入により,RLの範囲が拡大した。実際には、このタスクは難しいことがしばしば証明され、これらのテクニックのデプロイが失敗に終わる。
論文参考訳（メタデータ） (2023-10-25T09:17:25Z)
Reinforcement Learning-assisted Evolutionary Algorithm: A Survey and Research Opportunities [63.258517066104446]
進化的アルゴリズムの構成要素として統合された強化学習は,近年,優れた性能を示している。本稿では,RL-EA 統合手法,RL-EA が採用する RL-EA 支援戦略,および既存文献による適用について論じる。 RL-EAセクションの適用例では、RL-EAのいくつかのベンチマークおよび様々な公開データセットにおける優れた性能を示す。
論文参考訳（メタデータ） (2023-08-25T15:06:05Z)
Ensemble Reinforcement Learning: A Survey [43.17635633600716]
強化学習(Reinforcement Learning, RL)は, 様々な科学的, 応用的な問題に対処するための, 極めて効果的な手法として登場した。これに対し, アンサンブル強化学習(ERL)は, RLとアンサンブル学習(EL)の両方の利点を組み合わせた有望なアプローチであり, 広く普及している。 ERLは複数のモデルやトレーニングアルゴリズムを活用して、問題空間を包括的に探索し、強力な一般化能力を持つ。
論文参考訳（メタデータ） (2023-03-05T09:26:44Z)
A Survey of Meta-Reinforcement Learning [69.76165430793571]
我々は,メタRLと呼ばれるプロセスにおいて,機械学習問題自体として,より優れたRLアルゴリズムを開発した。本稿では,タスク分布の存在と各タスクに利用可能な学習予算に基づいて,高レベルでメタRL研究をクラスタ化する方法について議論する。 RL実践者のための標準ツールボックスにメタRLを組み込むことの道程について,オープンな問題を提示することによって,結論を下す。
論文参考訳（メタデータ） (2023-01-19T12:01:41Z)
A Survey on Explainable Reinforcement Learning: Concepts, Algorithms, Challenges [38.70863329476517]
強化学習(Reinforcement Learning, RL)は、インテリジェントエージェントが環境と対話して長期的な目標を達成する、一般的な機械学習パラダイムである。励ましの結果にもかかわらず、ディープニューラルネットワークベースのバックボーンは、専門家が高いセキュリティと信頼性が不可欠である現実的なシナリオにおいて、訓練されたエージェントを信頼し、採用することを妨げるブラックボックスとして広く見なされている。この問題を緩和するために、本質的な解釈可能性やポストホックな説明可能性を構築することにより、知的エージェントの内部動作に光を放つための大量の文献が提案されている。
論文参考訳（メタデータ） (2022-11-12T13:52:06Z)
Pretraining in Deep Reinforcement Learning: A Survey [17.38360092869849]
事前訓練は伝達可能な知識の獲得に有効であることが示されている。強化学習の性質から, この分野でのプレトレーニングには, 独特な課題が伴う。
論文参考訳（メタデータ） (2022-11-08T02:17:54Z)
Distributed Deep Reinforcement Learning: An Overview [0.0]
本稿では,DRLにおける分散アプローチの役割について調査する。本稿では,DRLにおける分散手法の活用方法に大きな影響を与える重要な研究成果について概説する。また,これらの手法を異なるタスクで評価し,その性能を1人のアクターと学習者エージェントで比較する。
論文参考訳（メタデータ） (2020-11-22T13:24:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。