Fugu-MT 論文翻訳(概要): Convergence Analysis of the Hessian Estimation Evolution Strategy

論文の概要: Convergence Analysis of the Hessian Estimation Evolution Strategy

arxiv url: http://arxiv.org/abs/2009.02732v2
Date: Tue, 15 Jun 2021 15:08:27 GMT
ステータス: 処理完了
システム内更新日: 2022-10-21 08:20:42.178575
Title: Convergence Analysis of the Hessian Estimation Evolution Strategy
Title（参考訳）: ヘッセン推定進化戦略の収束解析
Authors: Tobias Glasmachers, Oswin Krause
Abstract要約: Hessian Estimation Evolution Strategies (HE-ESs) は、目的関数の曲率を直接推定することによって、サンプリング分布の共分散行列を更新する。 1+4)-HE-ESは家族の最小のエリート主義者である。
参考スコア（独自算出の注目度）: 3.756550107432323
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The class of algorithms called Hessian Estimation Evolution Strategies (HE-ESs) update the covariance matrix of their sampling distribution by directly estimating the curvature of the objective function. The approach is practically efficient, as attested by respectable performance on the BBOB testbed, even on rather irregular functions. In this paper we formally prove two strong guarantees for the (1+4)-HE-ES, a minimal elitist member of the family: stability of the covariance matrix update, and as a consequence, linear convergence on all convex quadratic problems at a rate that is independent of the problem instance.
Abstract（参考訳）: Hessian Estimation Evolution Strategies (HE-ESs)と呼ばれるアルゴリズムのクラスは、目的関数の曲率を直接推定することで、サンプリング分布の共分散行列を更新する。このアプローチは、BBOBテストベッド上では、かなり不規則な関数であっても、優良なパフォーマンスで証明されているように、事実上効率的である。本稿では,同族に属する最小のエリート主義的メンバーである (1+4)-HE-ES に対して,共分散行列更新の安定性と,結果として問題インスタンスに依存しない速度で凸二次問題に対する線形収束性という,2つの強い保証を正式に証明する。

関連論文リスト

Statistical Inference for Temporal Difference Learning with Linear Function Approximation [62.69448336714418]
時間差差(TD)学習は、おそらく政策評価に最も広く使用されるものであり、この目的の自然な枠組みとして機能する。本稿では,Polyak-Ruppert平均化と線形関数近似によるTD学習の整合性について検討し,既存の結果よりも3つの重要な改善点を得た。
論文参考訳（メタデータ） (2024-10-21T15:34:44Z)
FastPart: Over-Parameterized Stochastic Gradient Descent for Sparse optimisation on Measures [1.9950682531209156]
本稿では,コニックパーティクルグラディエントDescent(CPGD)のスケーラビリティを高めるために,ランダム特徴と協調してグラディエントDescent戦略を利用する新しいアルゴリズムを提案する。 i) 降下軌道に沿った解の総変動規範は、安定を保ち、望ましくないばらつきを防止し、 (ii) 収率$mathcalO(log(K)/sqrtK)$$$K以上の大域収束保証を確立し、アルゴリズムの効率と有効性を示す; (iii) さらに、分析と確立を行う。
論文参考訳（メタデータ） (2023-12-10T20:41:43Z)
Distributed Stochastic Optimization under a General Variance Condition [13.911633636387059]
分散最適化は最近、大規模な機械学習問題の解決に効果があるとして、大きな注目を集めている。我々は、古典的フェデレーション平均化(Avg)を再考し、滑らかな非対象関数に対して、緩やかな分散しか持たない収束結果を確立する。ほぼ1つの定常収束点も勾配条件の下で成立する。
論文参考訳（メタデータ） (2023-01-30T05:48:09Z)
Fully Stochastic Trust-Region Sequential Quadratic Programming for Equality-Constrained Optimization Problems [62.83783246648714]
目的と決定論的等式制約による非線形最適化問題を解くために,逐次2次プログラミングアルゴリズム(TR-StoSQP)を提案する。アルゴリズムは信頼領域半径を適応的に選択し、既存の直線探索StoSQP方式と比較して不確定なヘッセン行列を利用することができる。
論文参考訳（メタデータ） (2022-11-29T05:52:17Z)
Private Robust Estimation by Stabilizing Convex Relaxations [22.513117502159922]
$(epsilon, delta)$-differentially private (DP) $(epsilon, delta)$-differentially private (DP) $(epsilon, delta)$-differentially private (DP)
論文参考訳（メタデータ） (2021-12-07T07:47:37Z)
Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
論文参考訳（メタデータ） (2021-06-30T18:32:46Z)
Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。暗黙正則化現象の理論的保証を提供する。
論文参考訳（メタデータ） (2020-07-16T13:27:47Z)
Random extrapolation for primal-dual coordinate descent [61.55967255151027]
本稿では,データ行列の疎度と目的関数の好適な構造に適応する,ランダムに外挿した原始-双対座標降下法を提案する。一般凸凹の場合, 主対差と目的値に対するシーケンスのほぼ確実に収束と最適サブ線形収束率を示す。
論文参考訳（メタデータ） (2020-07-13T17:39:35Z)
Provably Convergent Working Set Algorithm for Non-Convex Regularized Regression [0.0]
本稿では、収束保証付き非正則正規化器のためのワーキングセットアルゴリズムを提案する。その結果,ブロックコーディネートや勾配ソルバの完全解法と比較して高い利得を示した。
論文参考訳（メタデータ） (2020-06-24T07:40:31Z)
The Hessian Estimation Evolution Strategy [3.756550107432323]
我々はヘッセン推定進化戦略と呼ばれる新しいブラックボックス最適化アルゴリズムを提案する。アルゴリズムは、目的関数の曲率を直接推定することにより、サンプリング分布の共分散行列を更新する。
論文参考訳（メタデータ） (2020-03-30T08:01:16Z)
Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
論文参考訳（メタデータ） (2020-03-05T19:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。