論文の概要: Cooperative Coevolution for Non-Separable Large-Scale Black-Box Optimization: Convergence Analyses and Distributed Accelerations
- arxiv url: http://arxiv.org/abs/2304.05020v3
- Date: Tue, 14 May 2024 09:10:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-15 20:00:15.062663
- Title: Cooperative Coevolution for Non-Separable Large-Scale Black-Box Optimization: Convergence Analyses and Distributed Accelerations
- Title（参考訳）: 非分離型大規模ブラックボックス最適化のための協調的共進化:収束解析と分散加速
- Authors: Qiqi Duan, Chang Shao, Guochen Zhou, Haobin Yang, Qi Zhao, Yuhui Shi,
- Abstract要約: 我々は、よく知られた協調的共進化(CC)の大規模バージョンを非分離関数で解析し、拡張する。
本研究では,分解に基づく手法が好まれるかどうかを,非分離性な大規模問題に対して実証的に明らかにする。
私たちは、最近のマルチレベル学習フレームワークの下で、強力な分散コンピューティングを使用してそれを加速します。
- 参考スコア（独自算出の注目度）: 13.750841199401613
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Given the ubiquity of non-separable optimization problems in real worlds, in this paper we analyze and extend the large-scale version of the well-known cooperative coevolution (CC), a divide-and-conquer black-box optimization framework, on non-separable functions. First, we reveal empirical reasons of when decomposition-based methods are preferred or not in practice on some non-separable large-scale problems, which have not been clearly pointed out in many previous CC papers. Then, we formalize CC to a continuous-game model via simplification, but without losing its essential property. Different from previous evolutionary game theory for CC, our new model provides a much simpler but useful viewpoint to analyze its convergence, since only the pure Nash equilibrium concept is needed and more general fitness landscapes can be explicitly considered. Based on convergence analyses, we propose a hierarchical decomposition strategy for better generalization, as for any decomposition, there is a risk of getting trapped into a suboptimal Nash equilibrium. Finally, we use powerful distributed computing to accelerate it under the recent multi-level learning framework, which combines the fine-tuning ability from decomposition with the invariance property of CMA-ES. Experiments on a set of high-dimensional test functions validate both its search performance and scalability (w.r.t. CPU cores) on a clustering computing platform with 400 CPU cores.
- Abstract（参考訳）: 本稿では,実世界の非分離性最適化問題の多様さを考慮し,非分離性関数上での分割型ブラックボックス最適化フレームワークである,よく知られた協調的共進化(CC)の大規模バージョンを解析・拡張する。
まず,多くのCC論文で指摘されていないような,非分離不能な大規模問題に対して,分解法が好まれるかどうかを実証的に明らかにする。
そして,CCを単純化して連続ゲームモデルにフォーマル化するが,その本質を損なうことはない。
CCの従来の進化ゲーム理論とは異なり、我々の新しいモデルは、純粋なナッシュ均衡の概念が必須であり、より一般的なフィットネスランドスケープを明示的に考慮できるため、その収束を分析するのに非常に単純だが有用な視点を提供する。
収束解析に基づいて、より一般化された階層的な分解戦略を提案し、任意の分解に対して、最適以下のナッシュ平衡に閉じ込められるリスクがある。
最後に,CMA-ESの分散特性と分解による微調整能力を組み合わせた,最近の多層学習フレームワークの下での分散コンピューティングの高速化について述べる。
一連の高次元テスト関数の実験は、400コアのクラスタリングコンピューティングプラットフォーム上での検索性能とスケーラビリティ(CPUコア)の両方を検証する。
関連論文リスト
- Enhancing GNNs Performance on Combinatorial Optimization by Recurrent Feature Update [0.09986418756990156]
本稿では,組合せ最適化(CO)問題を効率よく解くために,GNNのパワーを活用して,QRF-GNNと呼ぶ新しいアルゴリズムを提案する。
QUBO緩和による損失関数の最小化による教師なし学習に依存している。
実験の結果、QRF-GNNは既存の学習ベースアプローチを大幅に上回り、最先端の手法に匹敵することがわかった。
論文 参考訳（メタデータ） (2024-07-23T13:34:35Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Accelerated sparse Kernel Spectral Clustering for large scale data
clustering problems [0.27257174044950283]
本稿では、スパースマルチウェイカーネルスペクトルクラスタリング(KSC)の改良版について述べる。
元のアルゴリズムは、プライマリ・デュアルの最小二乗サポートベクターマシン(LS-SVM)フレームワークで定式化された重み付きカーネル主成分分析から導かれる。
次に、不完全コレスキー分解(ICD)に基づくカーネル行列の低階近似といわゆるreduced set法を組み合わせることにより、スパーシリティが達成される。
論文 参考訳（メタデータ） (2023-10-20T09:51:42Z) - An Optimization-based Deep Equilibrium Model for Hyperspectral Image
Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。
新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。
導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文 参考訳（メタデータ） (2023-06-10T08:25:16Z) - Can Decentralized Stochastic Minimax Optimization Algorithms Converge
Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。
本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-04-24T02:19:39Z) - Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。
微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文 参考訳（メタデータ） (2023-02-24T18:41:48Z) - Finite-Sum Coupled Compositional Stochastic Optimization: Theory and
Applications [43.48388050033774]
本稿では,非凸目的と凸目標の両方に対して単純なアルゴリズムを包括的に解析する。
また,外層と内層に等しい大きさのバッチをサンプリングすることで,実用的実装を改善するための新たな知見も提示した。
論文 参考訳（メタデータ） (2022-02-24T22:39:35Z) - Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
論文 参考訳（メタデータ） (2020-12-11T08:28:51Z) - SGD for Structured Nonconvex Functions: Learning Rates, Minibatching and
Interpolation [17.199023009789308]
予想されるSGD(SGD)の仮定は、非アーティザン関数に対して日常的に使われている。
本稿では,スムーズな非線形設定への収束のパラダイムを示す。
また,異なるステップサイズ条件の理論的保証も提供する。
論文 参考訳（メタデータ） (2020-06-18T07:05:56Z) - Sparse Generalized Canonical Correlation Analysis: Distributed
Alternating Iteration based Approach [18.93565942407577]
Sparse Canonical correlation analysis (CCA) はスパース構造を用いた潜伏情報検出に有用な統計ツールである。
本稿では,多視点データとスパース構造との潜在関係を検出可能な一般標準相関解析(GCCA)を提案する。
論文 参考訳（メタデータ） (2020-04-23T05:53:48Z) - Second-Order Guarantees in Centralized, Federated and Decentralized
Nonconvex Optimization [64.26238893241322]
単純なアルゴリズムは、多くの文脈において優れた経験的結果をもたらすことが示されている。
いくつかの研究は、非最適化問題を研究するための厳密な分析的正当化を追求している。
これらの分析における重要な洞察は、摂動が局所的な降下アルゴリズムを許容する上で重要な役割を担っていることである。
論文 参考訳（メタデータ） (2020-03-31T16:54:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。