論文の概要: Don't Bet on Luck Alone: Enhancing Behavioral Reproducibility of
Quality-Diversity Solutions in Uncertain Domains
- arxiv url: http://arxiv.org/abs/2304.03672v1
- Date: Fri, 7 Apr 2023 14:45:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-10 11:47:33.269412
- Title: Don't Bet on Luck Alone: Enhancing Behavioral Reproducibility of
Quality-Diversity Solutions in Uncertain Domains
- Title（参考訳）: Luck Aloneに賭けるな:不確実なドメインにおける品質多様性ソリューションの振る舞い再現性を高める
- Authors: Luca Grillotti, Manon Flageat, Bryan Lim and Antoine Cully (AIRL,
Imperial College London)
- Abstract要約: アーカイブ再現性向上アルゴリズム(ARIA)を紹介する。
ARIAは、アーカイブに存在するソリューションの品質を改善するプラグイン・アンド・プレイのアプローチである。
提案アルゴリズムは,任意のアーカイブの品質とディスクリプタ空間のカバレッジを少なくとも50%向上させることを示す。
- 参考スコア（独自算出の注目度）: 2.639902239625779
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Quality-Diversity (QD) algorithms are designed to generate collections of
high-performing solutions while maximizing their diversity in a given
descriptor space. However, in the presence of unpredictable noise, the fitness
and descriptor of the same solution can differ significantly from one
evaluation to another, leading to uncertainty in the estimation of such values.
Given the elitist nature of QD algorithms, they commonly end up with many
degenerate solutions in such noisy settings. In this work, we introduce Archive
Reproducibility Improvement Algorithm (ARIA); a plug-and-play approach that
improves the reproducibility of the solutions present in an archive. We propose
it as a separate optimization module, relying on natural evolution strategies,
that can be executed on top of any QD algorithm. Our module mutates solutions
to (1) optimize their probability of belonging to their niche, and (2) maximize
their fitness. The performance of our method is evaluated on various tasks,
including a classical optimization problem and two high-dimensional control
tasks in simulated robotic environments. We show that our algorithm enhances
the quality and descriptor space coverage of any given archive by at least 50%.
- Abstract（参考訳）: 品質多様性(QD)アルゴリズムは、与えられたディスクリプタ空間の多様性を最大化しつつ、高性能なソリューションのコレクションを生成するように設計されている。
しかし、予測不能なノイズが存在する場合、同じ解の適合性と記述性は、ある評価から別の評価へと大きく異なり、そのような値の推定に不確実性をもたらす。
QDアルゴリズムのエリート性を考えると、このようなノイズの多い設定で多くの退化解が得られるのが普通である。
本稿では,アーカイブに存在するソリューションの再現性を改善するプラグイン・アンド・プレイアプローチであるアーカイブ再現性改善アルゴリズム(ARIA)を紹介する。
本稿では,任意のQDアルゴリズム上で実行可能な自然進化戦略に依存する,個別の最適化モジュールとして提案する。
我々のモジュールは、(1)ニッチに属する確率を最適化し、(2)適合性を最大化するために、ソリューションを変異させる。
本手法の性能は,従来の最適化問題やロボットシミュレーション環境における2つの高次元制御タスクを含む様々なタスクで評価される。
提案アルゴリズムは,任意のアーカイブの品質とディスクリプタ空間のカバレッジを少なくとも50%向上させることを示す。
関連論文リスト
- Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳（メタデータ） (2024-11-21T10:26:17Z) - Exploring the Performance-Reproducibility Trade-off in Quality-Diversity [7.858994681440057]
品質多様性(QD)アルゴリズムは多くの領域やアプリケーションで有望な結果を示している。
しかし、複雑な実世界のアプリケーションでQDが使用される場合、ソリューションの適合性と行動推定の不確実性は依然として大きな課題である。
そこで本稿では, トレードオフに対する最適解を求める新たな4つのQDアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-09-20T08:20:31Z) - Quality-Diversity Algorithms Can Provably Be Helpful for Optimization [24.694984679399315]
QD(Quality-Diversity)アルゴリズムは、ハイパフォーマンスだが多様なソリューションのセットを見つけることを目的としている。
本稿では,厳密な実行時間解析によってQDアルゴリズムの最適化能力に光を当てようとしている。
論文 参考訳（メタデータ） (2024-01-19T07:40:24Z) - Efficient Quality-Diversity Optimization through Diverse Quality Species [3.428706362109921]
我々は,アーカイブの必要をなくしたり,事前の動作範囲を定義したりすることなく,多様な解の集団を見つけることができることを示す。
本稿では,アーカイブベースの品質多様性(QD)アルゴリズムの代替として,DQS(Diverse Quality Species)を提案する。
論文 参考訳（メタデータ） (2023-04-14T23:15:51Z) - Enhancing MAP-Elites with Multiple Parallel Evolution Strategies [8.585387103144825]
進化戦略(ES)に基づく新しい品質多様性(QD)アルゴリズムを提案する。
MEMESは複数の(最大100までの)同時ESプロセスを維持しており、それぞれが独立してQD最適化用に設計されている。
ブラックボックス最適化とQD強化学習において,MEMESは勾配に基づくQDアルゴリズムと突然変異に基づくQDアルゴリズムの両方より優れていることを示す。
論文 参考訳（メタデータ） (2023-03-10T18:55:02Z) - Evolving Pareto-Optimal Actor-Critic Algorithms for Generalizability and
Stability [67.8426046908398]
汎用性と安定性は,実世界における強化学習(RL)エージェントの運用において重要な2つの目的である。
本稿では,アクター・クリティック・ロス関数の自動設計法であるMetaPGを提案する。
論文 参考訳（メタデータ） (2022-04-08T20:46:16Z) - Result Diversification by Multi-objective Evolutionary Algorithms with
Theoretical Guarantees [94.72461292387146]
両目的探索問題として結果の多様化問題を再構成し,多目的進化アルゴリズム(EA)を用いて解くことを提案する。
GSEMOが最適時間近似比1/2$を達成できることを理論的に証明する。
目的関数が動的に変化すると、GSEMOはこの近似比をランニングタイムで維持することができ、Borodinらによって提案されたオープンな問題に対処する。
論文 参考訳（メタデータ） (2021-10-18T14:00:22Z) - SUNRISE: A Simple Unified Framework for Ensemble Learning in Deep
Reinforcement Learning [102.78958681141577]
SUNRISEは単純な統一アンサンブル法であり、様々な非政治的な深層強化学習アルゴリズムと互換性がある。
SUNRISEは, (a) アンサンブルに基づく重み付きベルマンバックアップと, (b) 最上位の自信境界を用いて行動を選択する推論手法を統合し, 効率的な探索を行う。
論文 参考訳（メタデータ） (2020-07-09T17:08:44Z) - Fast and stable MAP-Elites in noisy domains using deep grids [1.827510863075184]
Deep-Grid MAP-ElitesはMAP-Elitesアルゴリズムの変種である。
この単純なアプローチは、適合性最適化の観点から競争性能を達成しつつ、動作記述子のノイズに対する耐性が著しく高いことを示す。
論文 参考訳（メタデータ） (2020-06-25T08:47:23Z) - Generalized and Scalable Optimal Sparse Decision Trees [56.35541305670828]
様々な目的に対して最適な決定木を生成する手法を提案する。
また,連続変数が存在する場合に最適な結果が得られるスケーラブルなアルゴリズムも導入する。
論文 参考訳（メタデータ） (2020-06-15T19:00:11Z) - Discovering Representations for Black-box Optimization [73.59962178534361]
ブラックボックス最適化符号化は手作業で行うのではなく,自動的に学習可能であることを示す。
学習された表現は、標準的なMAP-Elitesよりも桁違いに少ない評価で高次元の問題を解くことができることを示す。
論文 参考訳（メタデータ） (2020-03-09T20:06:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。