論文の概要: Quality-Diversity Meta-Evolution: customising behaviour spaces to a
meta-objective
- arxiv url: http://arxiv.org/abs/2109.03918v1
- Date: Wed, 8 Sep 2021 20:27:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-10 14:04:44.932551
- Title: Quality-Diversity Meta-Evolution: customising behaviour spaces to a
meta-objective
- Title（参考訳）: 品質多様性のメタ進化: 振る舞い空間をメタオブジェクトにカスタマイズする
- Authors: David M. Bossens and Danesh Tarapore
- Abstract要約: 品質多様性(QD)アルゴリズムは、振る舞いの多様性と高いパフォーマンスのソリューションを進化させる。
本稿では,QD-Metaにおける機能評価と多脚ロボットの動作評価に関する実証的研究を行う。
- 参考スコア（独自算出の注目度）: 1.0152838128195467
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Quality-Diversity (QD) algorithms evolve behaviourally diverse and
high-performing solutions. To illuminate the elite solutions for a space of
behaviours, QD algorithms require the definition of a suitable behaviour space.
If the behaviour space is high-dimensional, a suitable dimensionality reduction
technique is required to maintain a limited number of behavioural niches. While
current methodologies for automated behaviour spaces focus on changing the
geometry or on unsupervised learning, there remains a need for customising
behavioural diversity to a particular meta-objective specified by the end-user.
In the newly emerging framework of QD Meta-Evolution, or QD-Meta for short, one
evolves a population of QD algorithms, each with different algorithmic and
representational characteristics, to optimise the algorithms and their
resulting archives to a user-defined meta-objective. Despite promising results
compared to traditional QD algorithms, QD-Meta has yet to be compared to
state-of-the-art behaviour space automation methods such as Centroidal Voronoi
Tessellations Multi-dimensional Archive of Phenotypic Elites Algorithm
(CVT-MAP-Elites) and Autonomous Robots Realising their Abilities (AURORA). This
paper performs an empirical study of QD-Meta on function optimisation and
multilegged robot locomotion benchmarks. Results demonstrate that QD-Meta
archives provide improved average performance and faster adaptation to a priori
unknown changes to the environment when compared to CVT-MAP-Elites and AURORA.
A qualitative analysis shows how the resulting archives are tailored to the
meta-objectives provided by the end-user.
- Abstract（参考訳）: 品質多様性(QD)アルゴリズムは、振る舞いの多様性と高いパフォーマンスのソリューションを進化させる。
行動空間のエリート解を照らすには、QDアルゴリズムは適切な行動空間の定義を必要とする。
動作空間が高次元であれば、限られた数の動作ニッチを維持するために適切な次元性低減技術が必要となる。
現在の自動行動空間の方法論は、幾何学の変更や教師なし学習に焦点を当てているが、エンドユーザーが指定する特定のメタ目的に対して行動の多様性をカスタマイズする必要がある。
QDメタ進化(QD Meta-Evolution、略してQD-Meta)の新たなフレームワークでは、アルゴリズムと表現特性の異なるQDアルゴリズムの集団を進化させ、アルゴリズムと結果のアーカイブをユーザ定義のメタオブジェクトに最適化する。
従来のQDアルゴリズムと比較して有望な結果にもかかわらず、QD-Metaは、Centroidal Voronoi Tessellations Multi-dimensional Archive of Phenotype Elites Algorithm (CVT-MAP-Elites)やAutonomous Robots Realising their Abilities (AURORA)のような最先端の行動空間自動化手法と比較されていない。
本稿では,機能最適化と多脚ロボットロコモーションベンチマークに関するqd-metaの実証研究を行う。
CVT-MAP-Elites や AURORA と比較すると,QD-Meta アーカイブは平均性能を向上し,事前未知の環境変化への適応が早くなった。
質的な分析は、結果のアーカイブがエンドユーザが提供するメタオブジェクトにどのように調整されるかを示しています。
関連論文リスト
- Efficient Quality-Diversity Optimization through Diverse Quality Species [3.428706362109921]
我々は,アーカイブの必要をなくしたり,事前の動作範囲を定義したりすることなく,多様な解の集団を見つけることができることを示す。
本稿では,アーカイブベースの品質多様性(QD)アルゴリズムの代替として,DQS(Diverse Quality Species)を提案する。
論文 参考訳（メタデータ） (2023-04-14T23:15:51Z) - Don't Bet on Luck Alone: Enhancing Behavioral Reproducibility of
Quality-Diversity Solutions in Uncertain Domains [2.639902239625779]
アーカイブ再現性向上アルゴリズム(ARIA)を紹介する。
ARIAは、アーカイブに存在するソリューションの品質を改善するプラグイン・アンド・プレイのアプローチである。
提案アルゴリズムは,任意のアーカイブの品質とディスクリプタ空間のカバレッジを少なくとも50%向上させることを示す。
論文 参考訳（メタデータ） (2023-04-07T14:45:14Z) - Enhancing MAP-Elites with Multiple Parallel Evolution Strategies [8.585387103144825]
進化戦略(ES)に基づく新しい品質多様性(QD)アルゴリズムを提案する。
MEMESは複数の(最大100までの)同時ESプロセスを維持しており、それぞれが独立してQD最適化用に設計されている。
ブラックボックス最適化とQD強化学習において,MEMESは勾配に基づくQDアルゴリズムと突然変異に基づくQDアルゴリズムの両方より優れていることを示す。
論文 参考訳（メタデータ） (2023-03-10T18:55:02Z) - Goal-Conditioned Q-Learning as Knowledge Distillation [136.79415677706612]
目標条件設定における非政治強化学習と知識蒸留との関連について検討する。
これは,目標の空間が高次元である場合に,目標条件付き非政治強化学習の性能を向上させることを実証的に示す。
また,複数のスパース目標を同時に達成した場合に,この手法を効果的に学習できることを示す。
論文 参考訳（メタデータ） (2022-08-28T22:01:10Z) - Evolving Pareto-Optimal Actor-Critic Algorithms for Generalizability and
Stability [67.8426046908398]
汎用性と安定性は,実世界における強化学習(RL)エージェントの運用において重要な2つの目的である。
本稿では,アクター・クリティック・ロス関数の自動設計法であるMetaPGを提案する。
論文 参考訳（メタデータ） (2022-04-08T20:46:16Z) - Learning to Walk Autonomously via Reset-Free Quality-Diversity [73.08073762433376]
品質多様性アルゴリズムは、多様かつ高いパフォーマンスのスキルからなる大規模で複雑な行動レパートリーを発見することができる。
既存のQDアルゴリズムは、手動による人間の監督と介入を必要とするエピソードリセットと同様に、多数の評価を必要とする。
本稿では,オープンエンド環境におけるロボットの自律学習に向けたステップとして,リセットフリー品質多様性最適化(RF-QD)を提案する。
論文 参考訳（メタデータ） (2022-04-07T14:07:51Z) - Approximating Gradients for Differentiable Quality Diversity in
Reinforcement Learning [8.591356221688773]
微分品質多様性(DQD)アルゴリズムは、目標と測度に対して正確な勾配が利用できる場合、QD最適化を大幅に加速する。
我々はDQDアルゴリズムCMA-MEGAの2つの変種を開発し、それぞれ異なる勾配近似を持ち、それらを4つのシミュレーション歩行タスクで評価する。
1つの変種は、最先端のPGA-MAP-Elitesを2つのタスクで同等の性能(QDスコア)を達成する。もう1つの変種は、全てのタスクで比較可能だが、2つのタスクでPGA-MAP-Elitesよりも効率が低い。
論文 参考訳（メタデータ） (2022-02-08T05:53:55Z) - A survey on multi-objective hyperparameter optimization algorithms for
Machine Learning [62.997667081978825]
本稿では,多目的HPOアルゴリズムに関する2014年から2020年にかけての文献を体系的に調査する。
メタヒューリスティック・ベース・アルゴリズムとメタモデル・ベース・アルゴリズム,および両者を混合したアプローチを区別する。
また,多目的HPO法と今後の研究方向性を比較するための品質指標についても論じる。
論文 参考訳（メタデータ） (2021-11-23T10:22:30Z) - Few-shot Quality-Diversity Optimization [50.337225556491774]
品質多様性(QD)の最適化は、強化学習における知覚的最小値とスパース報酬を扱う上で効果的なツールであることが示されている。
本稿では,タスク分布の例から,パラメータ空間の最適化によって得られる経路の情報を利用して,未知の環境でQD手法を初期化する場合,数発の適応が可能であることを示す。
ロボット操作とナビゲーションベンチマークを用いて、疎密な報酬設定と密集した報酬設定の両方で実施された実験は、これらの環境でのQD最適化に必要な世代数を著しく削減することを示している。
論文 参考訳（メタデータ） (2021-09-14T17:12:20Z) - On the use of feature-maps and parameter control for improved
quality-diversity meta-evolution [1.0152838128195467]
QD(Quality-Diversity)アルゴリズムは、挙動的に多様なハイパフォーマンスソリューションのアーカイブを進化させる。
QDアルゴリズムの個体群を進化させ、アーカイブレベルの目的、メタ適合性に基づいて行動空間を最適化する。
非線形および特徴選択のフィーチャーマップは、メタフィット性において15倍、3倍の改善をもたらす。
論文 参考訳（メタデータ） (2021-05-21T12:43:27Z) - Meta-Learning with Neural Tangent Kernels [58.06951624702086]
メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。
このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。
本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
論文 参考訳（メタデータ） (2021-02-07T20:53:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。