論文の概要: Evolutionary Reinforcement Learning via Cooperative Coevolution
- arxiv url: http://arxiv.org/abs/2404.14763v3
- Date: Thu, 1 Aug 2024 13:35:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-02 14:04:46.340256
- Title: Evolutionary Reinforcement Learning via Cooperative Coevolution
- Title（参考訳）: 協調的共進化による進化的強化学習
- Authors: Chengpeng Hu, Jialin Liu, Xin Yao,
- Abstract要約: 本稿では,CoERLアルゴリズムを提案する。
協調的共進化に触発されて、CoERLは周期的に適応的にポリシー最適化問題を複数のサブプロブレムに分解する。
遺伝子操作子を使う代わりに、CoERLはポリシーを更新するために部分的な勾配を直接検索する。
6つのベンチマークロコモーションタスクの実験は、CoERLが7つの最先端アルゴリズムとベースラインを上回っていることを示している。
- 参考スコア（独自算出の注目度）: 4.9267335834028625
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, evolutionary reinforcement learning has obtained much attention in various domains. Maintaining a population of actors, evolutionary reinforcement learning utilises the collected experiences to improve the behaviour policy through efficient exploration. However, the poor scalability of genetic operators limits the efficiency of optimising high-dimensional neural networks.To address this issue, this paper proposes a novel cooperative coevolutionary reinforcement learning (CoERL) algorithm. Inspired by cooperative coevolution, CoERL periodically and adaptively decomposes the policy optimisation problem into multiple subproblems and evolves a population of neural networks for each of the subproblems. Instead of using genetic operators, CoERL directly searches for partial gradients to update the policy. Updating policy with partial gradients maintains consistency between the behaviour spaces of parents and offspring across generations.The experiences collected by the population are then used to improve the entire policy, which enhances the sampling efficiency.Experiments on six benchmark locomotion tasks demonstrate that CoERL outperforms seven state-of-the-art algorithms and baselines.Ablation study verifies the unique contribution of CoERL's core ingredients.
- Abstract（参考訳）: 近年,様々な領域で進化的強化学習が注目されている。
進化的強化学習は、効率の良い探索を通じて行動ポリシーを改善するために収集された経験を活用する。
しかし, 遺伝的演算子のスケーラビリティの低さは, 高次元ニューラルネットワークの最適化効率を制限し, この問題に対処するために, 協調共進化強化学習(CoERL)アルゴリズムを提案する。
協調的共進化にインスパイアされたCoERLは、ポリシー最適化問題を複数のサブプロブレムに周期的かつ適応的に分解し、サブプロブレムごとにニューラルネットワークの集団を進化させる。
遺伝子操作子を使う代わりに、CoERLはポリシーを更新するために部分的な勾配を直接検索する。
部分勾配による更新政策は,親子間の行動空間の整合性を維持し,個体群が収集した経験は,サンプリング効率を向上させるために利用され,6つのベンチマークロコモーションタスクの実験により,CoERLが7つの最先端アルゴリズムとベースラインを上回り,CoERLの中核成分の独特な寄与を検証した。
関連論文リスト
- DARLEI: Deep Accelerated Reinforcement Learning with Evolutionary
Intelligence [77.78795329701367]
本稿では,進化アルゴリズムと並列化強化学習を組み合わせたフレームワークであるDARLEIを提案する。
我々はDARLEIの性能を様々な条件で特徴付け、進化形態の多様性に影響を与える要因を明らかにした。
今後DARLEIを拡張して、よりリッチな環境における多様な形態素間の相互作用を取り入れていきたいと考えています。
論文 参考訳（メタデータ） (2023-12-08T16:51:10Z) - Evolutionary Strategy Guided Reinforcement Learning via MultiBuffer
Communication [0.0]
本稿では、進化的戦略と呼ばれる特定の進化的アルゴリズムのファミリーと、非政治的な深層強化学習アルゴリズムTD3を組み合わせた新しい進化的強化学習モデルを提案する。
提案アルゴリズムは,MuJoCo制御タスク上で,現在の進化強化学習アルゴリズムと競合して動作することを示す。
論文 参考訳（メタデータ） (2023-06-20T13:41:57Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳（メタデータ） (2023-05-24T17:26:22Z) - WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。
我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。
本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
論文 参考訳（メタデータ） (2023-01-03T20:57:22Z) - Cooperative guidance of multiple missiles: a hybrid co-evolutionary
approach [0.9176056742068814]
複数のミサイルの協調誘導は、厳密な時間と宇宙の合意の制約を伴う課題である。
本稿では,非定常性と協調指導が直面する継続的制御の問題に対処する,新たな自然共進化戦略(NCES)を開発する。
高度にスケーラブルな共進化的メカニズムと従来の指導戦略を統合することで,ハイブリッド共同進化的協調指導法(HCCGL)を提案する。
論文 参考訳（メタデータ） (2022-08-15T12:59:38Z) - Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。
本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
論文 参考訳（メタデータ） (2022-06-05T08:49:16Z) - Direct Mutation and Crossover in Genetic Algorithms Applied to
Reinforcement Learning Tasks [0.9137554315375919]
本稿では、遺伝的アルゴリズム(GA)を用いて神経進化を適用し、最適な行動エージェントを生成するニューラルネットワークの重みを見つけることに焦点を当てる。
本稿では,データ効率と収束速度を初期実装と比較して改善する2つの新しい修正法を提案する。
論文 参考訳（メタデータ） (2022-01-13T07:19:28Z) - Behavior-based Neuroevolutionary Training in Reinforcement Learning [3.686320043830301]
本稿では,神経進化的最適化と価値に基づく強化学習を組み合わせたハイブリッドアルゴリズムを提案する。
この目的のために,エージェントポリシーの生成と最適化のための異なる手法を統合し,多様な集団を創出する。
その結果, 進化的手法のサンプル効率と学習速度を向上できることがわかった。
論文 参考訳（メタデータ） (2021-05-17T15:40:42Z) - Epigenetic evolution of deep convolutional models [81.21462458089142]
我々は、より深い畳み込みモデルを進化させるために、これまで提案されていた神経進化の枠組みを構築した。
異なる形状と大きさのカーネルを同一層内に共存させる畳み込み層配置を提案する。
提案したレイアウトにより、畳み込み層内の個々のカーネルのサイズと形状を、対応する新しい突然変異演算子で進化させることができる。
論文 参考訳（メタデータ） (2021-04-12T12:45:16Z) - Lineage Evolution Reinforcement Learning [15.469857142001482]
線形進化強化学習は一般エージェント集団学習システムに対応する派生アルゴリズムである。
実験により,アタリ2600のゲームにおいて,系統進化の考え方により,元の強化学習アルゴリズムの性能が向上することが確認された。
論文 参考訳（メタデータ） (2020-09-26T11:58:16Z) - Discrete Action On-Policy Learning with Action-Value Critic [72.20609919995086]
離散的な行動空間における強化学習(RL)は、実世界の応用では至るところで行われているが、その複雑さは行動空間次元とともに指数関数的に増大する。
我々は,行動値関数を推定し,相関行動に適用し,これらの評価値を組み合わせて勾配推定の分散を制御する。
これらの取り組みにより、分散制御技術に頼って、関連するRLアルゴリズムを実証的に上回る、新たな離散的なRLアルゴリズムが実現される。
論文 参考訳（メタデータ） (2020-02-10T04:23:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。