論文の概要: Distributed Evolution Strategies with Multi-Level Learning for Large-Scale Black-Box Optimization

• arxiv url: http://arxiv.org/abs/2310.05377v4
• Date: Fri, 11 Oct 2024 11:08:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-14 13:29:36.914047
• Title: Distributed Evolution Strategies with Multi-Level Learning for Large-Scale Black-Box Optimization
• Title（参考訳）: 大規模ブラックボックス最適化のためのマルチレベル学習による分散進化戦略
• Authors: Qiqi Duan, Chang Shao, Guochen Zhou, Minghan Zhang, Qi Zhao, Yuhui Shi,
• Abstract要約: 本稿では,CMA-ES(Re limited-Memory CMA-ES)と呼ばれる,CMA-ES(Re limited-Memory CMA-ES)とCMA-ES(Restrict-Memory CMA-ES)を並列化する手法を提案する。 分散LM-CMAのためのマルチレベル学習ベースのメタフレームワークを提案する。階層的に構成された構造のため、Meta-ESは分散メタフレームワークを実装するのに適している。
• 参考スコア（独自算出の注目度）: 13.750841199401613
• License:
• Abstract: In the post-Moore era, main performance gains of black-box optimizers are increasingly depending on parallelism, especially for large-scale optimization (LSO). Here we propose to parallelize the well-established covariance matrix adaptation evolution strategy (CMA-ES) and in particular its one latest LSO variant called limited-memory CMA-ES (LM-CMA). To achieve efficiency while approximating its powerful invariance property, we present a multilevel learning-based meta-framework for distributed LM-CMA. Owing to its hierarchically organized structure, Meta-ES is well-suited to implement our distributed meta-framework, wherein the outer-ES controls strategy parameters while all parallel inner-ESs run the serial LM-CMA with different settings. For the distribution mean update of the outer-ES, both the elitist and multi-recombination strategy are used in parallel to avoid stagnation and regression, respectively. To exploit spatiotemporal information, the global step-size adaptation combines Meta-ES with the parallel cumulative step-size adaptation. After each isolation time, our meta-framework employs both the structure and parameter learning strategy to combine aligned evolution paths for CMA reconstruction. Experiments on a set of large-scale benchmarking functions with memory-intensive evaluations, arguably reflecting many data-driven optimization problems, validate the benefits (e.g., effectiveness w.r.t. solution quality, and adaptability w.r.t. second-order learning) and costs of our meta-framework.
• Abstract（参考訳）: ムーア時代以降、ブラックボックス最適化の主な性能向上は、特に大規模な最適化(LSO)において、並列性に依存している。 本稿では、確立された共分散行列適応進化戦略(CMA-ES)、特にその最新のLSO変種であるリミテッドメモリCMA-ES(LM-CMA)の並列化を提案する。 分散LM-CMAのための多段階学習に基づくメタフレームワークを提案する。 階層的に整理された構造のため、Meta-ESは分散メタフレームワークの実装に適しており、外部ESは戦略パラメータを制御し、全ての並列内部ESは異なる設定でシリアルLM-CMAを実行する。 外部ESの分布平均更新には、それぞれ停滞と回帰を避けるために、エリートリストと多重再結合戦略の両方が並列に使用される。 時空間情報を活用するため、グローバルステップサイズ適応はMeta-ESと並列累積ステップサイズ適応を組み合わせた。 各分離時間後、我々のメタフレームワークは構造とパラメータ学習戦略を併用し、CMA再構成のための整列した進化経路を結合する。 メモリ集約的な評価を伴う大規模ベンチマーク機能の実験を行い、データ駆動最適化問題の多くを確実に反映し、その利点(例えば、有効性w.r.t.ソリューションの品質、適応性w.r.t.2次学習)とメタフレームワークのコストを検証した。

関連論文リスト

• Towards Explainable Evolution Strategies with Large Language Models [0.0]
  本稿では,自己適応的進化戦略(ES)と大規模言語モデル(LLM)を統合するアプローチを提案する。 再起動機構を備えた自己適応型ESを用いることで、ベンチマーク関数の難易度を効果的にナビゲートする。 LLMを使用してこれらのログを処理し、簡潔でユーザフレンドリーな要約を生成する。
  論文  参考訳（メタデータ） (2024-07-11T09:28:27Z)
• Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark [166.40879020706151]
  本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。 従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。 本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
  論文  参考訳（メタデータ） (2024-02-18T14:08:48Z)
• An Invariant Information Geometric Method for High-Dimensional Online Optimization [9.538618632613714]
  本稿では,対応するフレームワークから派生した,完全な不変性指向進化戦略アルゴリズムを提案する。 ベイズ最適化と進化戦略における主要なアルゴリズムに対してSynCMAをベンチマークする。 あらゆるシナリオにおいて、SynCMAはサンプル効率において他のアルゴリズムよりも優れた能力を示す。
  論文  参考訳（メタデータ） (2024-01-03T07:06:26Z)
• BiERL: A Meta Evolutionary Reinforcement Learning Framework via Bilevel Optimization [34.24884427152513]
  双レベル最適化(BiERL)による一般的なメタERLフレームワークを提案する。 我々は、内部レベルの進化した経験を情報的人口表現に組み込むエレガントなメタレベルアーキテクチャを設計する。 我々は MuJoCo と Box2D タスクの広範な実験を行い、一般的なフレームワークとして BiERL が様々なベースラインを上回り、ERL アルゴリズムの多様性の学習性能を一貫して向上することを検証する。
  論文  参考訳（メタデータ） (2023-08-01T09:31:51Z)
• Late Fusion Multi-view Clustering via Global and Local Alignment Maximization [61.89218392703043]
  マルチビュークラスタリング(MVC)は、異なるビューからの補完情報を最適に統合し、クラスタリング性能を改善する。 既存のアプローチの多くは、クラスタリングに最適な類似性行列を学ぶために、複数の事前定義された類似性を直接融合する。 これらの問題に対処するために、アライメントを通してレイトフュージョンMVCを提案する。
  論文  参考訳（メタデータ） (2022-08-02T01:49:31Z)
• Evolving Pareto-Optimal Actor-Critic Algorithms for Generalizability and Stability [67.8426046908398]
  汎用性と安定性は,実世界における強化学習(RL)エージェントの運用において重要な2つの目的である。 本稿では,アクター・クリティック・ロス関数の自動設計法であるMetaPGを提案する。
  論文  参考訳（メタデータ） (2022-04-08T20:46:16Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)
• A Nested Bi-level Optimization Framework for Robust Few Shot Learning [10.147225934340877]
  NestedMAMLはトレーニングタスクやインスタンスに重みを割り当てることを学ぶ。 合成および実世界のデータセットの実験では、NestedMAMLは「不要な」タスクやインスタンスの効果を効率的に緩和している。
  論文  参考訳（メタデータ） (2020-11-13T06:41:22Z)
• On the Global Optimality of Model-Agnostic Meta-Learning [133.16370011229776]
  モデル・ア・メタラーニング(MAML)は、メタラーニングを二段階最適化問題として定式化し、内部レベルが各サブタスクを、共有された事前に基づいて解決する。 学習と教師あり学習の両方においてMAMLが達成した定常点の最適性を特徴付ける。
  論文  参考訳（メタデータ） (2020-06-23T17:33:14Z)
• Theoretical Convergence of Multi-Step Model-Agnostic Meta-Learning [63.64636047748605]
  一般的なマルチステップMAMLアルゴリズムに対して収束保証を提供するための新しい理論フレームワークを開発する。 特に,本研究の結果は,収束を保証するためには,内部段階のステップを逆比例して$N$の内段ステップを選択する必要があることを示唆している。
  論文  参考訳（メタデータ） (2020-02-18T19:17:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。