論文の概要: Distributed Evolution Strategies with Multi-Level Learning for
Large-Scale Black-Box Optimization
- arxiv url: http://arxiv.org/abs/2310.05377v3
- Date: Thu, 2 Nov 2023 08:56:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-03 16:29:28.668804
- Title: Distributed Evolution Strategies with Multi-Level Learning for
Large-Scale Black-Box Optimization
- Title（参考訳）: 大規模ブラックボックス最適化のためのマルチレベル学習による分散進化戦略
- Authors: Qiqi Duan and Chang Shao and Guochen Zhou and Minghan Zhang and Qi
Zhao and Yuhui Shi
- Abstract要約: 本稿では,CMA-ES(Re limited-Memory CMA-ES)と呼ばれる,CMA-ES(Re limited-Memory CMA-ES)とCMA-ES(Restrict-Memory CMA-ES)を並列化する手法を提案する。
分散LM-CMAのためのマルチレベル学習ベースのメタフレームワークを提案する。階層的に構成された構造のため、Meta-ESは分散メタフレームワークを実装するのに適している。
- 参考スコア（独自算出の注目度）: 14.570608891347446
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the post-Moore era, main performance gains of black-box optimizers are
increasingly depending on parallelism, especially for large-scale optimization
(LSO). Here we propose to parallelize the well-established covariance matrix
adaptation evolution strategy (CMA-ES) and in particular its one latest LSO
variant called limited-memory CMA-ES (LM-CMA). To achieve efficiency while
approximating its powerful invariance property, we present a multilevel
learning-based meta-framework for distributed LM-CMA. Owing to its
hierarchically organized structure, Meta-ES is well-suited to implement our
distributed meta-framework, wherein the outer-ES controls strategy parameters
while all parallel inner-ESs run the serial LM-CMA with different settings. For
the distribution mean update of the outer-ES, both the elitist and
multi-recombination strategy are used in parallel to avoid stagnation and
regression, respectively. To exploit spatiotemporal information, the global
step-size adaptation combines Meta-ES with the parallel cumulative step-size
adaptation. After each isolation time, our meta-framework employs both the
structure and parameter learning strategy to combine aligned evolution paths
for CMA reconstruction. Experiments on a set of large-scale benchmarking
functions with memory-intensive evaluations, arguably reflecting many
data-driven optimization problems, validate the benefits (e.g., effectiveness
w.r.t. solution quality, and adaptability w.r.t. second-order learning) and
costs of our meta-framework.
- Abstract（参考訳）: ムーア時代以降、ブラックボックスオプティマイザの主な性能向上は、特に大規模最適化(lso)において、並列性に依存している。
本稿では、確立された共分散行列適応進化戦略(CMA-ES)、特にその最新のLSO変種であるリミテッドメモリCMA-ES(LM-CMA)を並列化する。
本稿では,分散lm-cmaのための多レベル学習に基づくメタフレームワークを提案する。
階層的に整理された構造のため、Meta-ESは分散メタフレームワークの実装に適しており、外部ESは戦略パラメータを制御し、全ての並列内部ESは異なる設定でシリアルLM-CMAを実行する。
外部esの分布平均更新は、それぞれ停滞と退行を避けるために、エリート戦略とマルチ組換え戦略の両方を並行して使用する。
時空間情報を活用するため、グローバルステップサイズ適応はMeta-ESと並列累積ステップサイズ適応を組み合わせた。
それぞれの分離時間の後、メタフレームワークは構造とパラメータ学習戦略の両方を使用してcma再構成のための進化経路を結合します。
メモリ集約的な評価を伴う一連の大規模ベンチマーク関数の実験、多くのデータ駆動最適化問題を反映し、その利点(有効性w.r.t.ソリューション品質、適応性w.r.t.2次学習)とメタフレームワークのコストを検証する。
関連論文リスト
- Towards Explainable Evolution Strategies with Large Language Models [0.0]
本稿では,自己適応的進化戦略(ES)と大規模言語モデル(LLM)を統合するアプローチを提案する。
再起動機構を備えた自己適応型ESを用いることで、ベンチマーク関数の難易度を効果的にナビゲートする。
LLMを使用してこれらのログを処理し、簡潔でユーザフレンドリーな要約を生成する。
論文 参考訳（メタデータ） (2024-07-11T09:28:27Z) - Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark [166.40879020706151]
本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。
従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。
本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
論文 参考訳（メタデータ） (2024-02-18T14:08:48Z) - An Invariant Information Geometric Method for High-Dimensional Online
Optimization [9.538618632613714]
本稿では,対応するフレームワークから派生した,完全な不変性指向進化戦略アルゴリズムを提案する。
ベイズ最適化と進化戦略における主要なアルゴリズムに対してSynCMAをベンチマークする。
あらゆるシナリオにおいて、SynCMAはサンプル効率において他のアルゴリズムよりも優れた能力を示す。
論文 参考訳（メタデータ） (2024-01-03T07:06:26Z) - BiERL: A Meta Evolutionary Reinforcement Learning Framework via Bilevel
Optimization [34.24884427152513]
双レベル最適化(BiERL)による一般的なメタERLフレームワークを提案する。
我々は、内部レベルの進化した経験を情報的人口表現に組み込むエレガントなメタレベルアーキテクチャを設計する。
我々は MuJoCo と Box2D タスクの広範な実験を行い、一般的なフレームワークとして BiERL が様々なベースラインを上回り、ERL アルゴリズムの多様性の学習性能を一貫して向上することを検証する。
論文 参考訳（メタデータ） (2023-08-01T09:31:51Z) - Late Fusion Multi-view Clustering via Global and Local Alignment
Maximization [61.89218392703043]
マルチビュークラスタリング(MVC)は、異なるビューからの補完情報を最適に統合し、クラスタリング性能を改善する。
既存のアプローチの多くは、クラスタリングに最適な類似性行列を学ぶために、複数の事前定義された類似性を直接融合する。
これらの問題に対処するために、アライメントを通してレイトフュージョンMVCを提案する。
論文 参考訳（メタデータ） (2022-08-02T01:49:31Z) - Evolving Pareto-Optimal Actor-Critic Algorithms for Generalizability and
Stability [67.8426046908398]
汎用性と安定性は,実世界における強化学習(RL)エージェントの運用において重要な2つの目的である。
本稿では,アクター・クリティック・ロス関数の自動設計法であるMetaPGを提案する。
論文 参考訳（メタデータ） (2022-04-08T20:46:16Z) - Meta-Learning with Neural Tangent Kernels [58.06951624702086]
メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。
このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。
本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
論文 参考訳（メタデータ） (2021-02-07T20:53:23Z) - A Nested Bi-level Optimization Framework for Robust Few Shot Learning [10.147225934340877]
NestedMAMLはトレーニングタスクやインスタンスに重みを割り当てることを学ぶ。
合成および実世界のデータセットの実験では、NestedMAMLは「不要な」タスクやインスタンスの効果を効率的に緩和している。
論文 参考訳（メタデータ） (2020-11-13T06:41:22Z) - On the Global Optimality of Model-Agnostic Meta-Learning [133.16370011229776]
モデル・ア・メタラーニング(MAML)は、メタラーニングを二段階最適化問題として定式化し、内部レベルが各サブタスクを、共有された事前に基づいて解決する。
学習と教師あり学習の両方においてMAMLが達成した定常点の最適性を特徴付ける。
論文 参考訳（メタデータ） (2020-06-23T17:33:14Z) - Theoretical Convergence of Multi-Step Model-Agnostic Meta-Learning [63.64636047748605]
一般的なマルチステップMAMLアルゴリズムに対して収束保証を提供するための新しい理論フレームワークを開発する。
特に,本研究の結果は,収束を保証するためには,内部段階のステップを逆比例して$N$の内段ステップを選択する必要があることを示唆している。
論文 参考訳（メタデータ） (2020-02-18T19:17:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。