論文の概要: Synergizing Quality-Diversity with Descriptor-Conditioned Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2401.08632v2
• Date: Thu, 03 Oct 2024 19:13:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-07 15:08:44.026418
• Title: Synergizing Quality-Diversity with Descriptor-Conditioned Reinforcement Learning
• Title（参考訳）: Descriptor-Conditioned Reinforcement Learning による品質多様性の相乗化
• Authors: Maxence Faldor, Félix Chalumeau, Manon Flageat, Antoine Cully,
• Abstract要約: 品質多様性アルゴリズム(Quality-Diversity algorithm)は、多種多様な高適合性ソリューションを生成するために設計された進化的手法である。 遺伝的アルゴリズムとして、MAP-エリートはランダムな突然変異に依存しており、高次元の探索空間では非効率になる可能性がある。 本稿では,記述子条件付きアクタを生成モデルとして利用するDCG-MAP-Elitesの拡張であるDCRL-MAP-Elitesを紹介する。
• 参考スコア（独自算出の注目度）: 4.851070356054758
• License:
• Abstract: A hallmark of intelligence is the ability to exhibit a wide range of effective behaviors. Inspired by this principle, Quality-Diversity algorithms, such as MAP-Elites, are evolutionary methods designed to generate a set of diverse and high-fitness solutions. However, as a genetic algorithm, MAP-Elites relies on random mutations, which can become inefficient in high-dimensional search spaces, thus limiting its scalability to more complex domains, such as learning to control agents directly from high-dimensional inputs. To address this limitation, advanced methods like PGA-MAP-Elites and DCG-MAP-Elites have been developed, which combine actor-critic techniques from Reinforcement Learning with MAP-Elites, significantly enhancing the performance and efficiency of Quality-Diversity algorithms in complex, high-dimensional tasks. While these methods have successfully leveraged the trained critic to guide more effective mutations, the potential of the trained actor remains underutilized in improving both the quality and diversity of the evolved population. In this work, we introduce DCRL-MAP-Elites, an extension of DCG-MAP-Elites that utilizes the descriptor-conditioned actor as a generative model to produce diverse solutions, which are then injected into the offspring batch at each generation. Additionally, we present an empirical analysis of the fitness and descriptor reproducibility of the solutions discovered by each algorithm. Finally, we present a second empirical analysis shedding light on the synergies between the different variations operators and explaining the performance improvement from PGA-MAP-Elites to DCRL-MAP-Elites.
• Abstract（参考訳）: 知性の目印は、幅広い効果的な行動を示す能力である。 この原理にインスパイアされたMAP-Elitesのような品質多様性アルゴリズムは、多種多様な高適合性ソリューションを生成するために設計された進化的手法である。 しかし、MAP-Elitesは遺伝的アルゴリズムとして、高次元の探索空間では非効率になりうるランダムな突然変異に依存しており、高次元の入力から直接エージェントを制御することを学ぶなど、より複雑な領域にスケーラビリティを制限している。 この制限に対処するため、PGA-MAP-ElitesやDCG-MAP-Elitesといった高度な手法が開発され、強化学習とMAP-Elitesのアクタ批判技術を組み合わせて、複雑な高次元タスクにおける品質多様性アルゴリズムの性能と効率を大幅に向上させた。 これらの方法は、より効果的な突然変異を導くために、訓練された批評家をうまく活用してきたが、訓練されたアクターのポテンシャルは、進化した個体群の質と多様性の両方を改善するために、未利用のままである。 本研究では,DCG-MAP-Elitesの拡張であるDCRL-MAP-Elitesを紹介した。 さらに,各アルゴリズムが検出した解の適合性と記述子再現性について,実験的検討を行った。 最後に,PGA-MAP-ElitesからDCRL-MAP-Elitesへの性能改善について述べる。

関連論文リスト

• Exploring the Generalization Capabilities of AID-based Bi-level Optimization [50.3142765099442]
  本稿では, 近似暗黙差分法 (AID) と反復差分法 (D) の2種類の二段階最適化手法を提案する。 AIDベースのメソッドは容易に変換できないが、2レベル構造に留まる必要がある。 実世界のタスクにおけるこれらの手法の有効性と応用の可能性を示す。
  論文  参考訳（メタデータ） (2024-11-25T04:22:17Z)
• Robust Analysis of Multi-Task Learning Efficiency: New Benchmarks on Light-Weighed Backbones and Effective Measurement of Multi-Task Learning Challenges by Feature Disentanglement [69.51496713076253]
  本稿では,既存のMTL手法の効率性に焦点をあてる。 バックボーンを小さくしたメソッドの大規模な実験と,MetaGraspNetデータセットを新しいテストグラウンドとして実施する。 また,MTLにおける課題の新規かつ効率的な識別子として,特徴分散尺度を提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:15:55Z)
• GE-AdvGAN: Improving the transferability of adversarial samples by gradient editing-based adversarial generative model [69.71629949747884]
  GAN(Generative Adversarial Networks)のような逆生成モデルは、様々な種類のデータを生成するために広く応用されている。 本研究では, GE-AdvGAN という新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-11T16:43:16Z)
• Reinforcement Learning-assisted Evolutionary Algorithm: A Survey and Research Opportunities [63.258517066104446]
  進化的アルゴリズムの構成要素として統合された強化学習は,近年,優れた性能を示している。 本稿では,RL-EA 統合手法,RL-EA が採用する RL-EA 支援戦略,および既存文献による適用について論じる。 RL-EAセクションの適用例では、RL-EAのいくつかのベンチマークおよび様々な公開データセットにおける優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-25T15:06:05Z)
• A Reinforcement Learning-assisted Genetic Programming Algorithm for Team Formation Problem Considering Person-Job Matching [70.28786574064694]
  解の質を高めるために強化学習支援遺伝的プログラミングアルゴリズム(RL-GP)を提案する。 効率的な学習を通じて得られる超ヒューリスティックなルールは、プロジェクトチームを形成する際の意思決定支援として利用することができる。
  論文  参考訳（メタデータ） (2023-04-08T14:32:12Z)
• MAP-Elites with Descriptor-Conditioned Gradients and Archive Distillation into a Single Policy [1.376408511310322]
  DCG-MAP-ElitesはPGA-MAP-ElitesのQDスコアを平均82%改善する。 我々のアルゴリズムであるDCG-MAP-ElitesはPGA-MAP-ElitesのQDスコアを平均82%改善する。
  論文  参考訳（メタデータ） (2023-03-07T11:58:01Z)
• Empirical analysis of PGA-MAP-Elites for Neuroevolution in Uncertain Domains [1.376408511310322]
  PGA-MAP-Elitesは決定論的および不確実な高次元環境において高い性能を示す。 PGA-MAP-Elitesによって生成される解の集合は、考慮されたベースラインを全て上回るだけでなく、不確実な環境では非常に再現性が高い。
  論文  参考訳（メタデータ） (2022-10-24T12:17:18Z)
• Self-Referential Quality Diversity Through Differential Map-Elites [5.2508303190856624]
  Differential MAP-Elitesは、計算-MAP-Elitesの照明能力と微分進化の連続空間最適化能力を組み合わせた新しいアルゴリズムである。 ここで初めて導入されたMAP-Elitesアルゴリズムは、微分進化の演算子と微分-MAP-Elitesの写像構造を単純に組み合わせることで比較的単純である。
  論文  参考訳（メタデータ） (2021-07-11T04:31:10Z)
• Adam revisited: a weighted past gradients perspective [57.54752290924522]
  本稿では,非収束問題に取り組むための適応法重み付け適応アルゴリズム(wada)を提案する。 私たちは、WADAが重み付きデータ依存の後悔境界を達成できることを証明します。
  論文  参考訳（メタデータ） (2021-01-01T14:01:52Z)
• Competitiveness of MAP-Elites against Proximal Policy Optimization on locomotion tasks in deterministic simulations [1.827510863075184]
  我々は,Phenotype Elites (MAP-Elites) の多次元アーカイブが,最先端のRL手法よりも優れた性能を実現することを示す。 本稿では、EAと現代の計算資源を組み合わせることで、有望な特性を示すことを示す。
  論文  参考訳（メタデータ） (2020-09-17T17:41:46Z)
• Multi-Emitter MAP-Elites: Improving quality, diversity and convergence speed with heterogeneous sets of emitters [1.827510863075184]
  CMA-MEを直接拡張し、その品質、多様性、データ効率を改善するアルゴリズムであるMulti-Emitter MAP-Elites(ME-MAP-Elites)を導入する。 バンディットアルゴリズムは、現在の状況に応じて最適なエミッタの選択を動的に見つける。 我々は,標準的な最適化問題(100次元)からロボット工学における複雑な移動タスクまで,6つのタスクにおけるME-MAP-Elitesの性能を評価する。
  論文  参考訳（メタデータ） (2020-07-10T12:45:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。