論文の概要: An Adaptive Re-evaluation Method for Evolution Strategy under Additive Noise

• arxiv url: http://arxiv.org/abs/2409.16757v1
• Date: Wed, 25 Sep 2024 09:10:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-27 04:40:43.994923
• Title: An Adaptive Re-evaluation Method for Evolution Strategy under Additive Noise
• Title（参考訳）: 付加雑音下における進化戦略の適応的再評価法
• Authors: Catalin-Viorel Dinu, Yash J. Patel, Xavier Bonet-Monroig, Hao Wang,
• Abstract要約: 本稿では,加法的なガウスホワイトノイズによる関数値の最適再評価数を適応的に選択する手法を提案する。 実験では,CMA-ESのノイズハンドリング手法を人工的なテスト関数の集合上で実験的に比較した。
• 参考スコア（独自算出の注目度）: 3.92625489118339
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Covariance Matrix Adaptation Evolutionary Strategy (CMA-ES) is one of the most advanced algorithms in numerical black-box optimization. For noisy objective functions, several approaches were proposed to mitigate the noise, e.g., re-evaluations of the same solution or adapting the population size. In this paper, we devise a novel method to adaptively choose the optimal re-evaluation number for function values corrupted by additive Gaussian white noise. We derive a theoretical lower bound of the expected improvement achieved in one iteration of CMA-ES, given an estimation of the noise level and the Lipschitz constant of the function's gradient. Solving for the maximum of the lower bound, we obtain a simple expression of the optimal re-evaluation number. We experimentally compare our method to the state-of-the-art noise-handling methods for CMA-ES on a set of artificial test functions across various noise levels, optimization budgets, and dimensionality. Our method demonstrates significant advantages in terms of the probability of hitting near-optimal function values.
• Abstract（参考訳）: Covariance Matrix Adaptation Evolutionary Strategy (CMA-ES)は、数値ブラックボックス最適化において最も先進的なアルゴリズムの一つである。 雑音を緩和するためには、例えば、同じ解を再評価したり、集団サイズを適応させるいくつかの手法が提案された。 本稿では,加法的なガウスホワイトノイズによる関数値の最適再評価数を適応的に選択する手法を提案する。 関数の勾配の雑音レベルとリプシッツ定数を推定することにより、CMA-ESの1イテレーションで達成される期待される改善の理論的下限を導出する。 下界の最大値を求めると、最適再評価数の簡単な式が得られる。 提案手法とCMA-ESの最新のノイズハンドリング手法を,様々な騒音レベル,最適化予算,次元性にまたがる人工的なテスト関数の集合上で実験的に比較した。 提案手法は, 近似関数値に近づく確率の点で有意な優位性を示す。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
  本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。 本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
  論文  参考訳（メタデータ） (2024-06-28T02:56:22Z)
• CMA-ES with Adaptive Reevaluation for Multiplicative Noise [1.3108652488669732]
  CMA-ES (RA-CMA-ES) は,2つの更新方向を半分の値を用いて計算し,その2つの更新方向の推定相関に再評価の回数を適応させる。 数値シミュレーションにより, RA-CMA-ESは乗算雑音下で比較法より優れていた。
  論文  参考訳（メタデータ） (2024-05-19T07:42:10Z)
• Dynamic Anisotropic Smoothing for Noisy Derivative-Free Optimization [0.0]
  雑音のない微分自由最適化のための球平滑化法とガウス平滑化法を拡張した新しいアルゴリズムを提案する。 アルゴリズムはスムーズなカーネルの形状を動的に適応させ、局所最適関数の Hessian を近似する。
  論文  参考訳（メタデータ） (2024-05-02T21:04:20Z)
• Adaptive Noise Covariance Estimation under Colored Noise using Dynamic Expectation Maximization [1.550120821358415]
  カラーノイズを受ける動的システムのNCMを精度良く推定する,脳に触発された新しいアルゴリズムを提案する。 我々は、NCM推定器がこの自由エネルギー目標の大域的最適値に収束することを数学的に証明する。 特に,本手法は,高色雑音に対する関節雑音および状態推定において,最良ベースライン(可変ベイズ)よりも優れることを示す。
  論文  参考訳（メタデータ） (2023-08-15T14:21:53Z)
• Adaptive Sampling Quasi-Newton Methods for Zeroth-Order Stochastic Optimization [1.7513645771137178]
  勾配情報のない制約のない最適化問題を考察する。 適応的なサンプリング準ニュートン法を提案し、共通乱数フレームワーク内の有限差を用いてシミュレーション関数の勾配を推定する。 そこで本研究では, 標準試験と内積準ニュートン試験の修正版を開発し, 近似に使用する試料サイズを制御し, 最適解の近傍に大域収束結果を与える。
  論文  参考訳（メタデータ） (2021-09-24T21:49:25Z)
• A Comparison of Various Classical Optimizers for a Variational Quantum Linear Solver [0.0]
  変分型ハイブリッド量子古典アルゴリズム(VHQCAs)は、ノイズの多い量子デバイス上で動作することを目的とした量子アルゴリズムのクラスである。 これらのアルゴリズムは、パラメータ化量子回路(アンサッツ)と量子古典フィードバックループを用いる。 古典的なデバイスは、量子デバイス上ではるかに効率的に計算できるコスト関数を最小限に抑えるためにパラメータを最適化するために使用される。
  論文  参考訳（メタデータ） (2021-06-16T10:40:00Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Logistic Q-Learning [87.00813469969167]
  MDPにおける最適制御の正規化線形プログラミング定式化から導いた新しい強化学習アルゴリズムを提案する。 提案アルゴリズムの主な特徴は,広範に使用されているベルマン誤差の代わりとして理論的に音声として機能する,政策評価のための凸損失関数である。
  論文  参考訳（メタデータ） (2020-10-21T17:14:31Z)
• Exploiting Higher Order Smoothness in Derivative-free Optimization and Continuous Bandits [99.70167985955352]
  強凸関数のゼロ次最適化問題について検討する。 予測勾配降下アルゴリズムのランダム化近似を考察する。 その結果,0次アルゴリズムはサンプルの複雑性や問題パラメータの点でほぼ最適であることが示唆された。
  論文  参考訳（メタデータ） (2020-06-14T10:42:23Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。