論文の概要: Efficient Quality-Diversity Optimization through Diverse Quality Species

• arxiv url: http://arxiv.org/abs/2304.07425v1
• Date: Fri, 14 Apr 2023 23:15:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-18 19:11:16.857467
• Title: Efficient Quality-Diversity Optimization through Diverse Quality Species
• Title（参考訳）: 多様な品質種による品質・多様性の効率的な最適化
• Authors: Ryan Wickman, Bibek Poudel, Michael Villarreal, Xiaofei Zhang, Weizi Li
• Abstract要約: 我々は,アーカイブの必要をなくしたり,事前の動作範囲を定義したりすることなく,多様な解の集団を見つけることができることを示す。 本稿では,アーカイブベースの品質多様性(QD)アルゴリズムの代替として,DQS(Diverse Quality Species)を提案する。
• 参考スコア（独自算出の注目度）: 3.428706362109921
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A prevalent limitation of optimizing over a single objective is that it can be misguided, becoming trapped in local optimum. This can be rectified by Quality-Diversity (QD) algorithms, where a population of high-quality and diverse solutions to a problem is preferred. Most conventional QD approaches, for example, MAP-Elites, explicitly manage a behavioral archive where solutions are broken down into predefined niches. In this work, we show that a diverse population of solutions can be found without the limitation of needing an archive or defining the range of behaviors in advance. Instead, we break down solutions into independently evolving species and use unsupervised skill discovery to learn diverse, high-performing solutions. We show that this can be done through gradient-based mutations that take on an information theoretic perspective of jointly maximizing mutual information and performance. We propose Diverse Quality Species (DQS) as an alternative to archive-based QD algorithms. We evaluate it over several simulated robotic environments and show that it can learn a diverse set of solutions from varying species. Furthermore, our results show that DQS is more sample-efficient and performant when compared to other QD algorithms. Relevant code and hyper-parameters are available at: https://github.com/rwickman/NEAT_RL.
• Abstract（参考訳）: 単一の目的に対して最適化することの一般的な制限は、誤って誘導され、局所的最適化に閉じ込められることである。 これは品質多様性(qd)アルゴリズムによって正すことができ、そこでは問題に対する高品質で多様な解決策の集団が望ましい。 MAP-Elitesのような従来のQDアプローチは、ソリューションが事前に定義されたニッチに分解される行動アーカイブを明示的に管理する。 本研究では,アーカイブの必要性や行動範囲を事前に定義することなく,多様な解決方法を見出すことができることを示す。 代わりに、ソリューションを独立して進化する種に分解し、教師なしのスキル発見を使って、多様でハイパフォーマンスなソリューションを学びます。 相互情報と性能を最大化するための情報理論的な視点を取り入れた勾配に基づく突然変異によってこれを実現できることを示す。 本稿では,アーカイブベースのQDアルゴリズムの代替として,DQS(Diverse Quality Species)を提案する。 いくつかの模擬ロボット環境にまたがって評価を行い,様々な種から多様な解を学習できることを実証した。 さらに, dqsは他のqdアルゴリズムと比較してサンプル効率が高く, 性能も高いことを示した。 関連コードとハイパーパラメータは以下の通りである。

関連論文リスト

• Quality-Diversity Algorithms Can Provably Be Helpful for Optimization [24.694984679399315]
  QD(Quality-Diversity)アルゴリズムは、ハイパフォーマンスだが多様なソリューションのセットを見つけることを目的としている。 本稿では,厳密な実行時間解析によってQDアルゴリズムの最適化能力に光を当てようとしている。
  論文  参考訳（メタデータ） (2024-01-19T07:40:24Z)
• Don't Bet on Luck Alone: Enhancing Behavioral Reproducibility of Quality-Diversity Solutions in Uncertain Domains [2.639902239625779]
  アーカイブ再現性向上アルゴリズム(ARIA)を紹介する。 ARIAは、アーカイブに存在するソリューションの品質を改善するプラグイン・アンド・プレイのアプローチである。 提案アルゴリズムは,任意のアーカイブの品質とディスクリプタ空間のカバレッジを少なくとも50%向上させることを示す。
  論文  参考訳（メタデータ） (2023-04-07T14:45:14Z)
• Learning to Walk Autonomously via Reset-Free Quality-Diversity [73.08073762433376]
  品質多様性アルゴリズムは、多様かつ高いパフォーマンスのスキルからなる大規模で複雑な行動レパートリーを発見することができる。 既存のQDアルゴリズムは、手動による人間の監督と介入を必要とするエピソードリセットと同様に、多数の評価を必要とする。 本稿では,オープンエンド環境におけるロボットの自律学習に向けたステップとして,リセットフリー品質多様性最適化(RF-QD)を提案する。
  論文  参考訳（メタデータ） (2022-04-07T14:07:51Z)
• Approximating Gradients for Differentiable Quality Diversity in Reinforcement Learning [8.591356221688773]
  微分品質多様性(DQD)アルゴリズムは、目標と測度に対して正確な勾配が利用できる場合、QD最適化を大幅に加速する。 我々はDQDアルゴリズムCMA-MEGAの2つの変種を開発し、それぞれ異なる勾配近似を持ち、それらを4つのシミュレーション歩行タスクで評価する。 1つの変種は、最先端のPGA-MAP-Elitesを2つのタスクで同等の性能(QDスコア)を達成する。もう1つの変種は、全てのタスクで比較可能だが、2つのタスクでPGA-MAP-Elitesよりも効率が低い。
  論文  参考訳（メタデータ） (2022-02-08T05:53:55Z)
• Result Diversification by Multi-objective Evolutionary Algorithms with Theoretical Guarantees [94.72461292387146]
  両目的探索問題として結果の多様化問題を再構成し,多目的進化アルゴリズム(EA)を用いて解くことを提案する。 GSEMOが最適時間近似比1/2$を達成できることを理論的に証明する。 目的関数が動的に変化すると、GSEMOはこの近似比をランニングタイムで維持することができ、Borodinらによって提案されたオープンな問題に対処する。
  論文  参考訳（メタデータ） (2021-10-18T14:00:22Z)
• Few-shot Quality-Diversity Optimization [50.337225556491774]
  品質多様性(QD)の最適化は、強化学習における知覚的最小値とスパース報酬を扱う上で効果的なツールであることが示されている。 本稿では,タスク分布の例から,パラメータ空間の最適化によって得られる経路の情報を利用して,未知の環境でQD手法を初期化する場合,数発の適応が可能であることを示す。 ロボット操作とナビゲーションベンチマークを用いて、疎密な報酬設定と密集した報酬設定の両方で実施された実験は、これらの環境でのQD最適化に必要な世代数を著しく削減することを示している。
  論文  参考訳（メタデータ） (2021-09-14T17:12:20Z)
• Differentiable Quality Diversity [1.0965065178451106]
  本稿では、目的関数と測度関数の両方が一階微分可能となる微分可能品質多様性(DQD)問題を提案する。 次に、勾配情報を利用して目的関数の結合範囲を効率的に探索するDQDアルゴリズムであるグラディエントアーボラッセンス(MEGA)を用いてMAP-Elitesを提示する。 2つのQDベンチマークドメインとStyleGANの潜在空間の探索の結果、MEGAは最先端のQDアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2021-06-07T18:11:53Z)
• Ridge Rider: Finding Diverse Solutions by Following Eigenvectors of the Hessian [48.61341260604871]
  Gradient Descent(SGD)は、ディープニューラルネットワーク(DNN)の成功の鍵となる要素である 本稿では、ヘッセンの固有ベクトルを従えば「尾根」と呼ばれる別のアプローチを示す。 理論的および実験的に、我々の手法であるリッジライダー(RR)が様々な課題に対して有望な方向を提供することを示す。
  論文  参考訳（メタデータ） (2020-11-12T17:15:09Z)
• A Discriminative Technique for Multiple-Source Adaptation [55.5865665284915]
  本稿では,マルチソース適応のための新しい識別手法,MSA,問題を提案する。 我々のソリューションは、ソースドメインからのラベルなしデータから容易に正確に推定できる条件付き確率のみを必要とする。 実世界の応用実験により、新しい識別的MSAアルゴリズムは、以前の生成解よりも優れていたことがさらに証明された。
  論文  参考訳（メタデータ） (2020-08-25T14:06:15Z)
• BOP-Elites, a Bayesian Optimisation algorithm for Quality-Diversity search [0.0]
  本稿では,エリートアルゴリズム(BOP-Elites)のベイズ最適化を提案する。 機能領域のユーザ定義領域を‘ニッチ’として考えることで、ニッチ毎に最適なソリューションを見つけることが私たちのタスクになります。 得られたアルゴリズムは、特徴空間におけるニッチに属する探索空間の部分を特定し、ニッチごとに最適な解を見つけるのに非常に効果的である。
  論文  参考訳（メタデータ） (2020-05-08T23:49:13Z)
• Discovering Representations for Black-box Optimization [73.59962178534361]
  ブラックボックス最適化符号化は手作業で行うのではなく,自動的に学習可能であることを示す。 学習された表現は、標準的なMAP-Elitesよりも桁違いに少ない評価で高次元の問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-03-09T20:06:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。