論文の概要: Enhancing MAP-Elites with Multiple Parallel Evolution Strategies
- arxiv url: http://arxiv.org/abs/2303.06137v2
- Date: Fri, 12 Apr 2024 11:51:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-15 20:15:54.668309
- Title: Enhancing MAP-Elites with Multiple Parallel Evolution Strategies
- Title（参考訳）: 多重並列進化戦略によるMAPエリートの拡張
- Authors: Manon Flageat, Bryan Lim, Antoine Cully,
- Abstract要約: 進化戦略(ES)に基づく新しい品質多様性(QD)アルゴリズムを提案する。
MEMESは複数の(最大100までの)同時ESプロセスを維持しており、それぞれが独立してQD最適化用に設計されている。
ブラックボックス最適化とQD強化学習において,MEMESは勾配に基づくQDアルゴリズムと突然変異に基づくQDアルゴリズムの両方より優れていることを示す。
- 参考スコア（独自算出の注目度）: 8.585387103144825
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the development of fast and massively parallel evaluations in many domains, Quality-Diversity (QD) algorithms, that already proved promising in a large range of applications, have seen their potential multiplied. However, we have yet to understand how to best use a large number of evaluations as using them for random variations alone is not always effective. High-dimensional search spaces are a typical situation where random variations struggle to effectively search. Another situation is uncertain settings where solutions can appear better than they truly are and naively evaluating more solutions might mislead QD algorithms. In this work, we propose MAP-Elites-Multi-ES (MEMES), a novel QD algorithm based on Evolution Strategies (ES) designed to exploit fast parallel evaluations more effectively. MEMES maintains multiple (up to 100) simultaneous ES processes, each with its own independent objective and reset mechanism designed for QD optimisation, all on just a single GPU. We show that MEMES outperforms both gradient-based and mutation-based QD algorithms on black-box optimisation and QD-Reinforcement-Learning tasks, demonstrating its benefit across domains. Additionally, our approach outperforms sampling-based QD methods in uncertain domains when given the same evaluation budget. Overall, MEMES generates reproducible solutions that are high-performing and diverse through large-scale ES optimisation on easily accessible hardware.
- Abstract（参考訳）: 多くの領域で高速かつ大規模に並列な評価が開発され、多くのアプリケーションですでに有望であることが証明されている品質多様性(QD)アルゴリズムは、その潜在的な乗算を目にしている。
しかし, ランダムな変分だけでは必ずしも有効ではないため, 多数の評価を最適に利用する方法がまだ分かっていない。
高次元探索空間は、ランダムな変動が効果的に探索するのに苦労する典型的な状況である。
もう一つの状況は、ソリューションが真に優れているように見える不確実な設定であり、さらに多くのソリューションがQDアルゴリズムを誤解させる可能性がある。
本研究では,高速並列評価をより効果的に活用するための進化戦略(ES)に基づく新しいQDアルゴリズムであるMAP-Elites-Multi-ES(MEMES)を提案する。
MEMESは複数の(最大100までの)同時ESプロセスを維持しており、それぞれが独立してQD最適化用に設計され、1つのGPU上でリセットされる。
ブラックボックス最適化とQD強化学習のタスクにおいて,MEMESは勾配に基づくQDアルゴリズムと突然変異に基づくQDアルゴリズムの両方より優れており,ドメイン間の利点を示している。
さらに,本手法は,同じ評価予算を与えられた場合,不確実領域におけるサンプリングベースのQD手法よりも優れる。
全体として、MEMESは、容易にアクセス可能なハードウェア上での大規模なES最適化を通じて、高性能で多様な再現可能なソリューションを生成する。
関連論文リスト
- Learning Multiple Initial Solutions to Optimization Problems [52.9380464408756]
厳密なランタイム制約の下で、同様の最適化問題を順次解決することは、多くのアプリケーションにとって不可欠である。
本稿では,問題インスタンスを定義するパラメータが与えられた初期解を多種多様に予測する学習を提案する。
提案手法は,すべての評価設定において有意かつ一貫した改善を実現し,必要な初期解の数に応じて効率よくスケールできることを実証した。
論文 参考訳（メタデータ） (2024-11-04T15:17:19Z) - LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。
このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
論文 参考訳（メタデータ） (2024-10-03T18:12:29Z) - Scalable Mechanism Design for Multi-Agent Path Finding [87.40027406028425]
MAPF (Multi-Agent Path Finding) は、複数のエージェントが同時に移動し、与えられた目標地点に向かって共有領域を通って衝突しない経路を決定する。
最適解を見つけることは、しばしば計算不可能であり、近似的な準最適アルゴリズムを用いることが不可欠である。
本稿では、MAPFのスケーラブルな機構設計の問題を紹介し、MAPFアルゴリズムを近似した3つの戦略防御機構を提案する。
論文 参考訳（メタデータ） (2024-01-30T14:26:04Z) - Quality-Diversity Algorithms Can Provably Be Helpful for Optimization [24.694984679399315]
QD(Quality-Diversity)アルゴリズムは、ハイパフォーマンスだが多様なソリューションのセットを見つけることを目的としている。
本稿では,厳密な実行時間解析によってQDアルゴリズムの最適化能力に光を当てようとしている。
論文 参考訳（メタデータ） (2024-01-19T07:40:24Z) - Don't Bet on Luck Alone: Enhancing Behavioral Reproducibility of
Quality-Diversity Solutions in Uncertain Domains [2.639902239625779]
アーカイブ再現性向上アルゴリズム(ARIA)を紹介する。
ARIAは、アーカイブに存在するソリューションの品質を改善するプラグイン・アンド・プレイのアプローチである。
提案アルゴリズムは,任意のアーカイブの品質とディスクリプタ空間のカバレッジを少なくとも50%向上させることを示す。
論文 参考訳（メタデータ） (2023-04-07T14:45:14Z) - IM-IAD: Industrial Image Anomaly Detection Benchmark in Manufacturing [88.35145788575348]
画像異常検出(英: Image Anomaly Detection、IAD)は、産業用コンピュータビジョンの課題である。
統一IMベンチマークの欠如は、現実世界のアプリケーションにおけるIADメソッドの開発と利用を妨げる。
7つの主要なデータセットに19のアルゴリズムを含む包括的画像異常検出ベンチマーク(IM-IAD)を構築した。
論文 参考訳（メタデータ） (2023-01-31T01:24:45Z) - Evolving Pareto-Optimal Actor-Critic Algorithms for Generalizability and
Stability [67.8426046908398]
汎用性と安定性は,実世界における強化学習(RL)エージェントの運用において重要な2つの目的である。
本稿では,アクター・クリティック・ロス関数の自動設計法であるMetaPGを提案する。
論文 参考訳（メタデータ） (2022-04-08T20:46:16Z) - Multi-Objective Quality Diversity Optimization [2.4608515808275455]
MOME(Multi-Objective MAP-Elites)の多目的設定におけるMAP-Elitesアルゴリズムの拡張を提案する。
すなわち、MAP-Elitesグリッドアルゴリズムから受け継いだ多様性と、多目的最適化の強みを組み合わせる。
本手法は,標準的な最適化問題からロボットシミュレーションまで,いくつかのタスクで評価する。
論文 参考訳（メタデータ） (2022-02-07T10:48:28Z) - A Simple Evolutionary Algorithm for Multi-modal Multi-objective
Optimization [0.0]
マルチモーダル・多目的最適化問題(MMOP)を解くための定常進化アルゴリズムを提案する。
本報告では,1000関数評価の低計算予算を用いて,様々なテストスイートから得られた21個のMMOPの性能について報告する。
論文 参考訳（メタデータ） (2022-01-18T03:31:11Z) - Adaptive Sampling for Best Policy Identification in Markov Decision
Processes [79.4957965474334]
本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。
最先端アルゴリズムの利点を論じ、解説する。
論文 参考訳（メタデータ） (2020-09-28T15:22:24Z) - Fast and stable MAP-Elites in noisy domains using deep grids [1.827510863075184]
Deep-Grid MAP-ElitesはMAP-Elitesアルゴリズムの変種である。
この単純なアプローチは、適合性最適化の観点から競争性能を達成しつつ、動作記述子のノイズに対する耐性が著しく高いことを示す。
論文 参考訳（メタデータ） (2020-06-25T08:47:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。