論文の概要: On the use of feature-maps and parameter control for improved
quality-diversity meta-evolution
- arxiv url: http://arxiv.org/abs/2105.10317v1
- Date: Fri, 21 May 2021 12:43:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-25 03:15:07.333254
- Title: On the use of feature-maps and parameter control for improved
quality-diversity meta-evolution
- Title(参考訳): 品質多様性のメタ進化のための特徴マップとパラメータ制御の利用について
- Authors: David M. Bossens and Danesh Tarapore
- Abstract要約: QD(Quality-Diversity)アルゴリズムは、挙動的に多様なハイパフォーマンスソリューションのアーカイブを進化させる。
QDアルゴリズムの個体群を進化させ、アーカイブレベルの目的、メタ適合性に基づいて行動空間を最適化する。
非線形および特徴選択のフィーチャーマップは、メタフィット性において15倍、3倍の改善をもたらす。
- 参考スコア(独自算出の注目度): 1.0152838128195467
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In Quality-Diversity (QD) algorithms, which evolve a behaviourally diverse
archive of high-performing solutions, the behaviour space is a difficult design
choice that should be tailored to the target application. In QD meta-evolution,
one evolves a population of QD algorithms to optimise the behaviour space based
on an archive-level objective, the meta-fitness. This paper proposes an
improved meta-evolution system such that (i) the database used to rapidly
populate new archives is reformulated to prevent loss of quality-diversity;
(ii) the linear transformation of base-features is generalised to a
feature-map, a function of the base-features parametrised by the meta-genotype;
and (iii) the mutation rate of the QD algorithm and the number of generations
per meta-generation are controlled dynamically. Experiments on an 8-joint
planar robot arm compare feature-maps (linear, non-linear, and
feature-selection), parameter control strategies (static, endogenous,
reinforcement learning, and annealing), and traditional MAP-Elites variants,
for a total of 49 experimental conditions. Results reveal that non-linear and
feature-selection feature-maps yield a 15-fold and 3-fold improvement in
meta-fitness, respectively, over linear feature-maps. Reinforcement learning
ranks among top parameter control methods. Finally, our approach allows the
robot arm to recover a reach of over 80% for most damages and at least 60% for
severe damages.
- Abstract(参考訳): qd(quality-diversity)アルゴリズムでは、ハイパフォーマンスなソリューションの振る舞いに多様なアーカイブを進化させるが、振る舞い空間はターゲットのアプリケーションに合わせた設計上の選択が難しい。
QDメタ進化では、QDアルゴリズムの集団を進化させ、アーカイブレベルの目的であるメタ適合性に基づいて行動空間を最適化する。
本稿では,新しいアーカイブを迅速に投入するためのデータベースを再構成し,品質の多様性の喪失を防止するメタ進化システムを提案する。(ii)ベース機能の線形変換を特徴マップに一般化し,メタ遺伝型に準じたベース機能の関数を,(iii)qdアルゴリズムの変異率とメタジェネレーション当たりの世代数を動的に制御する。
8関節の平面ロボットアームの実験は、機能マップ(線形、非線形、特徴選択)、パラメータ制御戦略(静的、内在性、強化学習、アニーリング)、および従来のMAP-エリート変種を合計49の実験条件で比較した。
その結果、非線形特徴マップと特徴選択特徴マップは、線形特徴マップよりもそれぞれ15倍と3倍のメタ適合性が向上することが明らかとなった。
トップパラメータ制御手法の強化学習ランク
最後に,このアプローチにより,ロボットアームは,ほとんどの損傷に対して80%以上,重大な損傷に対して少なくとも60%のリーチを回復することができる。
関連論文リスト
- Multiform Evolution for High-Dimensional Problems with Low Effective
Dimensionality [36.44425198302701]
進化的アルゴリズムを高次元最適化問題に拡張する。
全ての定式化を単一のマルチタスク設定に統一するマルチフォーム進化アルゴリズムを開発した。
その結果、目的タスクは様々な低次元探索で進化した解を効率的に再利用することができる。
論文 参考訳(メタデータ) (2023-12-30T08:13:47Z) - Synergizing Quality-Diversity with Descriptor-Conditioned Reinforcement
Learning [4.787389127632926]
品質多様性最適化(Quality-Diversity Optimization)は進化的アルゴリズムの一種で、多種多様な高性能なソリューションのコレクションを生成する。
MAP-Elitesは、進化ロボティクスを含む様々な分野に適用された顕著な例である。
本研究は,(1)記述者条件付き評論家による多様度探索と勾配に基づく手法との整合性を考慮した政策グラディエント変動演算子を強化すること,(2)追加費用なしで記述者条件付き政策を学習するためにアクタ批判的訓練を活用すること,の3つの貢献を提示する。
論文 参考訳(メタデータ) (2023-12-10T19:53:15Z) - Variance-Reduced Gradient Estimation via Noise-Reuse in Online Evolution
Strategies [50.10277748405355]
Noise-Reuse Evolution Strategies (NRES) は、非バイアスのオンライン進化戦略の一般的なクラスである。
NRESの結果は既存のAD法やES法よりも早く,様々なアプリケーションにまたがるウォールクロック時間とステップ数で収束することを示す。
論文 参考訳(メタデータ) (2023-04-21T17:53:05Z) - MAP-Elites with Descriptor-Conditioned Gradients and Archive
Distillation into a Single Policy [1.376408511310322]
DCG-MAP-ElitesはPGA-MAP-ElitesのQDスコアを平均82%改善する。
我々のアルゴリズムであるDCG-MAP-ElitesはPGA-MAP-ElitesのQDスコアを平均82%改善する。
論文 参考訳(メタデータ) (2023-03-07T11:58:01Z) - Multi-Objective Policy Gradients with Topological Constraints [108.10241442630289]
本稿では, PPOアルゴリズムの簡単な拡張により, TMDPにおけるポリシー勾配に対する新しいアルゴリズムを提案する。
シミュレーションと実ロボットの両方の目的を任意に並べた実世界の多目的ナビゲーション問題に対して,これを実証する。
論文 参考訳(メタデータ) (2022-09-15T07:22:58Z) - Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。
木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。
3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
論文 参考訳(メタデータ) (2022-09-09T14:58:43Z) - Evolving Pareto-Optimal Actor-Critic Algorithms for Generalizability and
Stability [67.8426046908398]
汎用性と安定性は,実世界における強化学習(RL)エージェントの運用において重要な2つの目的である。
本稿では,アクター・クリティック・ロス関数の自動設計法であるMetaPGを提案する。
論文 参考訳(メタデータ) (2022-04-08T20:46:16Z) - Quality-Diversity Meta-Evolution: customising behaviour spaces to a
meta-objective [1.0152838128195467]
品質多様性(QD)アルゴリズムは、振る舞いの多様性と高いパフォーマンスのソリューションを進化させる。
本稿では,QD-Metaにおける機能評価と多脚ロボットの動作評価に関する実証的研究を行う。
論文 参考訳(メタデータ) (2021-09-08T20:27:24Z) - Meta-Learning with Neural Tangent Kernels [58.06951624702086]
メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。
このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。
本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
論文 参考訳(メタデータ) (2021-02-07T20:53:23Z) - EOS: a Parallel, Self-Adaptive, Multi-Population Evolutionary Algorithm
for Constrained Global Optimization [68.8204255655161]
EOSは実数値変数の制約付きおよび制約なし問題に対する大域的最適化アルゴリズムである。
これはよく知られた微分進化(DE)アルゴリズムに多くの改良を加えている。
その結果、EOSisは、最先端の単一人口自己適応Dアルゴリズムと比較して高い性能を達成可能であることが証明された。
論文 参考訳(メタデータ) (2020-07-09T10:19:22Z) - GeneCAI: Genetic Evolution for Acquiring Compact AI [36.04715576228068]
ディープニューラルネットワーク(DNN)は、より高い推論精度を達成するために、より複雑なアーキテクチャへと進化している。
モデル圧縮技術は、リソース制限されたモバイルデバイスにそのような計算集約的なアーキテクチャを効率的に展開するために利用することができる。
本稿では,階層ごとの圧縮ハイパーパラメータのチューニング方法を自動的に学習する新しい最適化手法であるGeneCAIを紹介する。
論文 参考訳(メタデータ) (2020-04-08T20:56:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。