論文の概要: Distributed Evolution Strategies for Black-box Stochastic Optimization

• arxiv url: http://arxiv.org/abs/2204.04450v1
• Date: Sat, 9 Apr 2022 11:18:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-17 18:50:42.571392
• Title: Distributed Evolution Strategies for Black-box Stochastic Optimization
• Title（参考訳）: ブラックボックス確率最適化のための分散進化戦略
• Authors: Xiaoyu He, Zibin Zheng, Chuan Chen, Yuren Zhou, Chuan Luo, and Qingwei Lin
• Abstract要約: この研究は、分散ブラックボックス最適化への進化的アプローチに関するものである。 各作業者は、アルゴリズムによる問題の近似を個別に解くことができる。 問題のロバスト性を大幅に改善する2つの代替シミュレーション手法を提案する。
• 参考スコア（独自算出の注目度）: 42.90600124972943
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work concerns the evolutionary approaches to distributed stochastic black-box optimization, in which each worker can individually solve an approximation of the problem with nature-inspired algorithms. We propose a distributed evolution strategy (DES) algorithm grounded on a proper modification to evolution strategies, a family of classic evolutionary algorithms, as well as a careful combination with existing distributed frameworks. On smooth and nonconvex landscapes, DES has a convergence rate competitive to existing zeroth-order methods, and can exploit the sparsity, if applicable, to match the rate of first-order methods. The DES method uses a Gaussian probability model to guide the search and avoids the numerical issue resulted from finite-difference techniques in existing zeroth-order methods. The DES method is also fully adaptive to the problem landscape, as its convergence is guaranteed with any parameter setting. We further propose two alternative sampling schemes which significantly improve the sampling efficiency while leading to similar performance. Simulation studies on several machine learning problems suggest that the proposed methods show much promise in reducing the convergence time and improving the robustness to parameter settings.
• Abstract（参考訳）: この研究は分散確率的ブラックボックス最適化への進化的アプローチに関係し、各作業者は自然に着想を得たアルゴリズムで問題を個別に解くことができる。 本稿では,従来の進化的アルゴリズムの族である進化戦略の適切な修正と,既存の分散フレームワークとの慎重に組み合わせに基づく分散進化戦略 (des) アルゴリズムを提案する。 滑らかで非凸なランドスケープでは、DESは既存のゼロ階法と競合する収束率を持ち、もし適用可能であれば、一階法の速度に一致するように、スパース性を利用することができる。 DES法はガウス確率モデルを用いて探索を誘導し、既存のゼロ階法における有限差分法による数値問題を回避する。 des法は、その収束が任意のパラメータ設定で保証されるため、問題ランドスケープに完全に適応する。 さらに, サンプリング効率を向上し, 類似性能を向上する2つの代替サンプリング手法を提案する。 いくつかの機械学習問題に関するシミュレーション研究は、提案手法が収束時間を短縮し、パラメータ設定に対するロバスト性を向上させることを示唆している。

関連論文リスト

• Integrating Chaotic Evolutionary and Local Search Techniques in Decision Space for Enhanced Evolutionary Multi-Objective Optimization [1.8130068086063336]
  本稿では,SOMMOP(Single-Objective Multi-Modal Optimization)とMOO(Multi-Objective Optimization)の両方に焦点を当てる。 SOMMOPではニッチ技術とカオス進化を統合し,ガウス突然変異を併用したパーシスタンス・クラスタリングを行った。 MOOでは,これらの手法を不確実性に基づく選択,適応的チューニングを組み込んだ包括的フレームワークに拡張し,決定論的群集に半径(R)の概念を導入する。
  論文  参考訳（メタデータ） (2024-11-12T15:18:48Z)
• Accelerating Cutting-Plane Algorithms via Reinforcement Learning Surrogates [49.84541884653309]
  凸離散最適化問題に対する現在の標準的なアプローチは、カットプレーンアルゴリズムを使うことである。 多くの汎用カット生成アルゴリズムが存在するにもかかわらず、大規模な離散最適化問題は、難易度に悩まされ続けている。 そこで本研究では,強化学習による切削平面アルゴリズムの高速化手法を提案する。
  論文  参考訳（メタデータ） (2023-07-17T20:11:56Z)
• Accelerating the Evolutionary Algorithms by Gaussian Process Regression with $\epsilon$-greedy acquisition function [2.7716102039510564]
  本稿では,最適化の収束を早めるために,エリート個人を推定する新しい手法を提案する。 我々の提案には、エリート個人を推定し、最適化の収束を加速する幅広い見通しがある。
  論文  参考訳（メタデータ） (2022-10-13T07:56:47Z)
• A novel multiobjective evolutionary algorithm based on decomposition and multi-reference points strategy [14.102326122777475]
  分解に基づく多目的進化アルゴリズム(MOEA/D)は、多目的最適化問題(MOP)を解く上で、極めて有望なアプローチであると考えられている。 本稿では,よく知られたPascoletti-Serafiniスキャラライゼーション法とマルチ参照ポイントの新たな戦略により,MOEA/Dアルゴリズムの改良を提案する。
  論文  参考訳（メタデータ） (2021-10-27T02:07:08Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• Evolutionary Variational Optimization of Generative Models [0.0]
  分散最適化と進化的アルゴリズムの2つの一般的な最適化アプローチをジェネレーションモデルのための学習アルゴリズムの導出に組み合わせます。 進化的アルゴリズムは変動境界を効果的かつ効率的に最適化できることを示す。 ゼロショット」学習のカテゴリでは、多くのベンチマーク設定で最先端の技術を大幅に改善するために進化的変動アルゴリズムを観察しました。
  論文  参考訳（メタデータ） (2020-12-22T19:06:33Z)
• On the implementation of a global optimization method for mixed-variable problems [0.30458514384586394]
  このアルゴリズムは、グットマンの放射基底関数と、レジスとシューメーカーの計量応答面法に基づいている。 これら2つのアルゴリズムの一般化と改良を目的としたいくつかの修正を提案する。
  論文  参考訳（メタデータ） (2020-09-04T13:36:56Z)
• Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
  また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。 これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
  論文  参考訳（メタデータ） (2020-09-01T19:12:11Z)
• IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
  本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。 提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。 加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
  論文  参考訳（メタデータ） (2020-06-11T18:49:06Z)
• Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
  適応性は現代最適化理論において重要であるが、研究されていない性質である。 提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
  論文  参考訳（メタデータ） (2020-02-13T05:42:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。