論文の概要: On the use of feature-maps and parameter control for improved
quality-diversity meta-evolution
- arxiv url: http://arxiv.org/abs/2105.10317v1
- Date: Fri, 21 May 2021 12:43:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-25 03:15:07.333254
- Title: On the use of feature-maps and parameter control for improved
quality-diversity meta-evolution
- Title（参考訳）: 品質多様性のメタ進化のための特徴マップとパラメータ制御の利用について
- Authors: David M. Bossens and Danesh Tarapore
- Abstract要約: QD(Quality-Diversity)アルゴリズムは、挙動的に多様なハイパフォーマンスソリューションのアーカイブを進化させる。
QDアルゴリズムの個体群を進化させ、アーカイブレベルの目的、メタ適合性に基づいて行動空間を最適化する。
非線形および特徴選択のフィーチャーマップは、メタフィット性において15倍、3倍の改善をもたらす。
- 参考スコア（独自算出の注目度）: 1.0152838128195467
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In Quality-Diversity (QD) algorithms, which evolve a behaviourally diverse
archive of high-performing solutions, the behaviour space is a difficult design
choice that should be tailored to the target application. In QD meta-evolution,
one evolves a population of QD algorithms to optimise the behaviour space based
on an archive-level objective, the meta-fitness. This paper proposes an
improved meta-evolution system such that (i) the database used to rapidly
populate new archives is reformulated to prevent loss of quality-diversity;
(ii) the linear transformation of base-features is generalised to a
feature-map, a function of the base-features parametrised by the meta-genotype;
and (iii) the mutation rate of the QD algorithm and the number of generations
per meta-generation are controlled dynamically. Experiments on an 8-joint
planar robot arm compare feature-maps (linear, non-linear, and
feature-selection), parameter control strategies (static, endogenous,
reinforcement learning, and annealing), and traditional MAP-Elites variants,
for a total of 49 experimental conditions. Results reveal that non-linear and
feature-selection feature-maps yield a 15-fold and 3-fold improvement in
meta-fitness, respectively, over linear feature-maps. Reinforcement learning
ranks among top parameter control methods. Finally, our approach allows the
robot arm to recover a reach of over 80% for most damages and at least 60% for
severe damages.
- Abstract（参考訳）: qd(quality-diversity)アルゴリズムでは、ハイパフォーマンスなソリューションの振る舞いに多様なアーカイブを進化させるが、振る舞い空間はターゲットのアプリケーションに合わせた設計上の選択が難しい。
QDメタ進化では、QDアルゴリズムの集団を進化させ、アーカイブレベルの目的であるメタ適合性に基づいて行動空間を最適化する。
本稿では,新しいアーカイブを迅速に投入するためのデータベースを再構成し,品質の多様性の喪失を防止するメタ進化システムを提案する。(ii)ベース機能の線形変換を特徴マップに一般化し,メタ遺伝型に準じたベース機能の関数を,(iii)qdアルゴリズムの変異率とメタジェネレーション当たりの世代数を動的に制御する。
8関節の平面ロボットアームの実験は、機能マップ(線形、非線形、特徴選択)、パラメータ制御戦略(静的、内在性、強化学習、アニーリング)、および従来のMAP-エリート変種を合計49の実験条件で比較した。
その結果、非線形特徴マップと特徴選択特徴マップは、線形特徴マップよりもそれぞれ15倍と3倍のメタ適合性が向上することが明らかとなった。
トップパラメータ制御手法の強化学習ランク
最後に,このアプローチにより,ロボットアームは,ほとんどの損傷に対して80%以上,重大な損傷に対して少なくとも60%のリーチを回復することができる。
関連論文リスト
- A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - Architectural Influence on Variational Quantum Circuits in Multi-Agent Reinforcement Learning: Evolutionary Strategies for Optimization [5.7918970571149835]
本稿では,ゲートベース,層ベース,プロトタイプベースの概念を用いて量子回路を変更・再結合する手法を提案する。
本研究は,変異のみの戦略とゲートベースアプローチに最適な性能を示す。
特に,コインゲーム環境での評価において,より優れたスコア,より高い総数,自己のコイン,そして最高のエージェントに対する優れた自己のコインレートを観察する。
論文 参考訳（メタデータ） (2024-07-30T11:16:25Z) - Exploring Test-Time Adaptation for Object Detection in Continually Changing Environments [13.163784646113214]
最近CTTA(Continuous Test-Time Adaptation)が、ターゲットドメインを継続的に変更するソーストレーニングモデルに徐々に適応する、有望なテクニックとして登場した。
まず、オブジェクトレベルのコントラスト学習モジュールは、対象領域における特徴表現を洗練させるために、コントラスト学習のためのオブジェクトレベルの特徴を抽出する。
第2に、適応監視モジュールは、不要な適応を動的にスキップし、予測された信頼度スコアに基づいてカテゴリ固有のしきい値を更新して、効率を向上し、擬似ラベルの品質を向上させる。
論文 参考訳（メタデータ） (2024-06-24T08:30:03Z) - Q-value Regularized Transformer for Offline Reinforcement Learning [70.13643741130899]
オフライン強化学習(RL)における最先端化のためのQ値正規化変換器(QT)を提案する。
QTはアクション値関数を学習し、条件付きシーケンスモデリング(CSM)のトレーニング損失にアクション値を最大化する用語を統合する
D4RLベンチマークデータセットの実証評価は、従来のDP法やCSM法よりもQTの方が優れていることを示す。
論文 参考訳（メタデータ） (2024-05-27T12:12:39Z) - AD-NEv++ : The multi-architecture neuroevolution-based multivariate anomaly detection framework [0.794682109939797]
異常検出ツールと方法は、現代のサイバー物理およびセンサーベースのシステムにおいて重要な分析機能を可能にする。
我々は,サブスペース進化,モデル進化,微調整を相乗的に組み合わせた3段階の神経進化に基づくAD-NEv++を提案する。
我々は、AD-NEv++が全ての異常検出ベンチマークにおいて最先端のGNN(Graph Neural Networks)モデルアーキテクチャを改善し、性能を向上できることを示す。
論文 参考訳（メタデータ） (2024-03-25T08:40:58Z) - MAP-Elites with Descriptor-Conditioned Gradients and Archive
Distillation into a Single Policy [1.376408511310322]
DCG-MAP-ElitesはPGA-MAP-ElitesのQDスコアを平均82%改善する。
我々のアルゴリズムであるDCG-MAP-ElitesはPGA-MAP-ElitesのQDスコアを平均82%改善する。
論文 参考訳（メタデータ） (2023-03-07T11:58:01Z) - Multi-Objective Policy Gradients with Topological Constraints [108.10241442630289]
本稿では, PPOアルゴリズムの簡単な拡張により, TMDPにおけるポリシー勾配に対する新しいアルゴリズムを提案する。
シミュレーションと実ロボットの両方の目的を任意に並べた実世界の多目的ナビゲーション問題に対して,これを実証する。
論文 参考訳（メタデータ） (2022-09-15T07:22:58Z) - Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。
木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。
3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
論文 参考訳（メタデータ） (2022-09-09T14:58:43Z) - Evolving Pareto-Optimal Actor-Critic Algorithms for Generalizability and
Stability [67.8426046908398]
汎用性と安定性は,実世界における強化学習(RL)エージェントの運用において重要な2つの目的である。
本稿では,アクター・クリティック・ロス関数の自動設計法であるMetaPGを提案する。
論文 参考訳（メタデータ） (2022-04-08T20:46:16Z) - Quality-Diversity Meta-Evolution: customising behaviour spaces to a
meta-objective [1.0152838128195467]
品質多様性(QD)アルゴリズムは、振る舞いの多様性と高いパフォーマンスのソリューションを進化させる。
本稿では,QD-Metaにおける機能評価と多脚ロボットの動作評価に関する実証的研究を行う。
論文 参考訳（メタデータ） (2021-09-08T20:27:24Z) - EOS: a Parallel, Self-Adaptive, Multi-Population Evolutionary Algorithm
for Constrained Global Optimization [68.8204255655161]
EOSは実数値変数の制約付きおよび制約なし問題に対する大域的最適化アルゴリズムである。
これはよく知られた微分進化(DE)アルゴリズムに多くの改良を加えている。
その結果、EOSisは、最先端の単一人口自己適応Dアルゴリズムと比較して高い性能を達成可能であることが証明された。
論文 参考訳（メタデータ） (2020-07-09T10:19:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。