論文の概要: A Superlinearly Convergent Evolution Strategy
- arxiv url: http://arxiv.org/abs/2505.10987v1
- Date: Fri, 16 May 2025 08:33:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-19 14:36:14.360633
- Title: A Superlinearly Convergent Evolution Strategy
- Title(参考訳): 超線形収束進化戦略
- Authors: Tobias Glasmachers,
- Abstract要約: 本稿では,進化戦略と準ニュートン法とのハイブリッドアルゴリズムを提案する。
提案手法は、非エリート進化戦略でよく見られるグローバルな組換えステップを準ニュートンステップで置き換える。
数値計算の結果、超線形収束が示され、特に滑らかな凸問題における性能が向上した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a hybrid algorithm between an evolution strategy and a quasi Newton method. The design is based on the Hessian Estimation Evolution Strategy, which iteratively estimates the inverse square root of the Hessian matrix of the problem. This is akin to a quasi-Newton method and corresponding derivative-free trust-region algorithms like NEWUOA. The proposed method therefore replaces the global recombination step commonly found in non-elitist evolution strategies with a quasi-Newton step. Numerical results show superlinear convergence, resulting in improved performance in particular on smooth convex problems.
- Abstract(参考訳): 本稿では,進化戦略と準ニュートン法とのハイブリッドアルゴリズムを提案する。
この設計は、問題のヘッセン行列の逆二乗根を反復的に推定するヘッセン推定進化戦略に基づいている。
これは準ニュートン法やNEWUOAのような微分自由信頼領域アルゴリズムに似ている。
提案手法は、非エリート進化戦略でよく見られる大域的再結合ステップを準ニュートンステップで置き換える。
数値計算の結果、超線形収束が示され、特に滑らかな凸問題における性能が向上した。
関連論文リスト
- An Efficient Reconstructed Differential Evolution Variant by Some of the Current State-of-the-art Strategies for Solving Single Objective Bound Constrained Problems [5.095287502726488]
本稿では,再構成微分進化 (Restructed differential evolution, RDE) と呼ばれる戦略再結合および再構成微分進化アルゴリズムを提案する。
2024年のIEEE Congress on Evolutionary Computationのベンチマークスイートに基づいて、RDEや他の先進的な微分進化変種を試験した。
論文 参考訳(メタデータ) (2024-04-25T01:48:44Z) - Incremental Quasi-Newton Methods with Faster Superlinear Convergence
Rates [50.36933471975506]
各成分関数が強く凸であり、リプシッツ連続勾配とヘシアンを持つ有限和最適化問題を考える。
最近提案されたインクリメンタル準ニュートン法は、BFGSの更新に基づいて、局所的な超線形収束率を達成する。
本稿では、対称ランク1更新をインクリメンタルフレームワークに組み込むことにより、より効率的な準ニュートン法を提案する。
論文 参考訳(メタデータ) (2024-02-04T05:54:51Z) - Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。
本稿では,直感的に設計を記述し,設計選択について説明する。
本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文 参考訳(メタデータ) (2023-10-31T16:15:13Z) - Variance-Reduced Gradient Estimation via Noise-Reuse in Online Evolution
Strategies [50.10277748405355]
Noise-Reuse Evolution Strategies (NRES) は、非バイアスのオンライン進化戦略の一般的なクラスである。
NRESの結果は既存のAD法やES法よりも早く,様々なアプリケーションにまたがるウォールクロック時間とステップ数で収束することを示す。
論文 参考訳(メタデータ) (2023-04-21T17:53:05Z) - Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。
微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文 参考訳(メタデータ) (2023-02-24T18:41:48Z) - Online Learning Guided Curvature Approximation: A Quasi-Newton Method
with Global Non-Asymptotic Superlinear Convergence [22.286753988825048]
非漸近的超線形収束率を明示する最初の大域的収束準ニュートン法を提案する。
古典的準ニュートン法とは異なり、我々はハイブリッド近位外勾配法に基づいてアルゴリズムを構築する。
論文 参考訳(メタデータ) (2023-02-16T20:58:09Z) - Robust empirical risk minimization via Newton's method [9.797319790710711]
実験的リスク最小化のためのニュートン法の新しい変種について検討した。
目的関数の勾配と Hessian は、ロバストな推定器に置き換えられる。
また,共役勾配法に基づくニュートン方向のロバストな解を求めるアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-01-30T18:54:54Z) - First-Order Algorithms for Nonlinear Generalized Nash Equilibrium
Problems [88.58409977434269]
非線形一般化ナッシュ均衡問題(NGNEP)における平衡計算の問題を考える。
我々の貢献は、2次ペナルティ法と拡張ラグランジアン法に基づく2つの単純な一階アルゴリズムフレームワークを提供することである。
これらのアルゴリズムに対する漸近的理論的保証を提供する。
論文 参考訳(メタデータ) (2022-04-07T00:11:05Z) - IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。
提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。
加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
論文 参考訳(メタデータ) (2020-06-11T18:49:06Z) - A Novel Learnable Gradient Descent Type Algorithm for Non-convex
Non-smooth Inverse Problems [3.888272676868008]
本稿では,汎用アーキテクチャとニューラルネットワークを用いた逆問題の解法を提案する。
提案したネットワークは, 画像問題に対して, 効率と結果の点で, 状態再構成法よりも優れていた。
論文 参考訳(メタデータ) (2020-03-15T03:44:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。