論文の概要: The Hessian Estimation Evolution Strategy
- arxiv url: http://arxiv.org/abs/2003.13256v2
- Date: Tue, 9 Jun 2020 07:30:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-18 06:33:01.781276
- Title: The Hessian Estimation Evolution Strategy
- Title（参考訳）: ヘッセン推定進化戦略
- Authors: Tobias Glasmachers, Oswin Krause
- Abstract要約: 我々はヘッセン推定進化戦略と呼ばれる新しいブラックボックス最適化アルゴリズムを提案する。
アルゴリズムは、目的関数の曲率を直接推定することにより、サンプリング分布の共分散行列を更新する。
- 参考スコア（独自算出の注目度）: 3.756550107432323
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a novel black box optimization algorithm called Hessian Estimation
Evolution Strategy. The algorithm updates the covariance matrix of its sampling
distribution by directly estimating the curvature of the objective function.
This algorithm design is targeted at twice continuously differentiable
problems. For this, we extend the cumulative step-size adaptation algorithm of
the CMA-ES to mirrored sampling. We demonstrate that our approach to covariance
matrix adaptation is efficient by evaluation it on the BBOB/COCO testbed. We
also show that the algorithm is surprisingly robust when its core assumption of
a twice continuously differentiable objective function is violated. The
approach yields a new evolution strategy with competitive performance, and at
the same time it also offers an interesting alternative to the usual covariance
matrix update mechanism.
- Abstract（参考訳）: 我々はヘッセン推定進化戦略と呼ばれる新しいブラックボックス最適化アルゴリズムを提案する。
アルゴリズムは、目的関数の曲率を直接推定することにより、サンプリング分布の共分散行列を更新する。
このアルゴリズム設計は2回連続的な微分可能な問題を対象としている。
本研究では,CMA-ESの累積ステップサイズ適応アルゴリズムをミラーサンプリングに拡張する。
我々は,BBOB/COCOテストベッド上で,共分散行列適応に対するアプローチが効率的であることを実証した。
また,2次連続微分可能な対象関数のコア仮定が破られた場合,アルゴリズムは驚くほど頑健であることを示した。
このアプローチは、競争力のある新しい進化戦略をもたらすと同時に、通常の共分散マトリックス更新メカニズムに代わる興味深い選択肢を提供する。
関連論文リスト
- A Mirror Descent-Based Algorithm for Corruption-Tolerant Distributed Gradient Descent [57.64826450787237]
本研究では, 分散勾配降下アルゴリズムの挙動を, 敵対的腐敗の有無で解析する方法を示す。
汚職耐性の分散最適化アルゴリズムを設計するために、(怠慢な)ミラー降下からアイデアをどう使うかを示す。
MNISTデータセットの線形回帰、サポートベクトル分類、ソフトマックス分類に基づく実験は、我々の理論的知見を裏付けるものである。
論文 参考訳（メタデータ） (2024-07-19T08:29:12Z) - An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。
このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。
本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-09-30T15:57:14Z) - Variational Laplace Autoencoders [53.08170674326728]
変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。
完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。
また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
論文 参考訳（メタデータ） (2022-11-30T18:59:27Z) - Distributed Evolution Strategies for Black-box Stochastic Optimization [42.90600124972943]
この研究は、分散ブラックボックス最適化への進化的アプローチに関するものである。
各作業者は、アルゴリズムによる問題の近似を個別に解くことができる。
問題のロバスト性を大幅に改善する2つの代替シミュレーション手法を提案する。
論文 参考訳（メタデータ） (2022-04-09T11:18:41Z) - Accelerating Stochastic Probabilistic Inference [1.599072005190786]
変分推論(SVI)は確率モデルの良好な後部近似を求める能力により、ますます魅力的になっている。
最先端のSVIアルゴリズムのほとんど全てが一階最適化に基づいており、しばしば収束率の低下に悩まされている。
我々は二階法と変分推論のギャップを二階法に基づく変分推論手法によって埋める。
論文 参考訳（メタデータ） (2022-03-15T01:19:12Z) - Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。
我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。
また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文 参考訳（メタデータ） (2021-07-02T16:21:52Z) - Covariance Matrix Adaptation Evolution Strategy Assisted by Principal
Component Analysis [4.658166900129066]
我々は,共分散行列適応進化戦略(CMA-ES)の反復中に,主成分分析(PCA)を用いて次元を縮小する。
論文 参考訳（メタデータ） (2021-05-08T12:43:38Z) - Variance Reduction on Adaptive Stochastic Mirror Descent [23.451652399157002]
分散低減は、ほとんどの適応ミラー降下アルゴリズムのSFO複雑性を減少させ、それらの収束を加速させることを示す。
深層学習における実験を用いてクレームの有効性を確認します。
論文 参考訳（メタデータ） (2020-12-26T15:15:51Z) - Convergence Analysis of the Hessian Estimation Evolution Strategy [3.756550107432323]
Hessian Estimation Evolution Strategies (HE-ESs) は、目的関数の曲率を直接推定することによって、サンプリング分布の共分散行列を更新する。
1+4)-HE-ESは家族の最小のエリート主義者である。
論文 参考訳（メタデータ） (2020-09-06T13:34:25Z) - Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。
これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
論文 参考訳（メタデータ） (2020-09-01T19:12:11Z) - Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
適応性は現代最適化理論において重要であるが、研究されていない性質である。
提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
論文 参考訳（メタデータ） (2020-02-13T05:42:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。