論文の概要: Acceleration and Implicit Regularization in Gaussian Phase Retrieval
- arxiv url: http://arxiv.org/abs/2311.12888v1
- Date: Tue, 21 Nov 2023 04:10:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 17:50:33.592780
- Title: Acceleration and Implicit Regularization in Gaussian Phase Retrieval
- Title(参考訳): ガウス位相検索における加速と帰納規則化
- Authors: Tyler Maunu, Martin Molina-Fructuoso
- Abstract要約: この設定では、Polyak や Nesterov の運動量の暗黙的な正規化による手法が、よい凸降下を保証することを証明している。
実験的な証拠は、これらの手法が実際には勾配降下よりも早く収束していることを示している。
- 参考スコア(独自算出の注目度): 5.484345596034159
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study accelerated optimization methods in the Gaussian phase retrieval
problem. In this setting, we prove that gradient methods with Polyak or
Nesterov momentum have similar implicit regularization to gradient descent.
This implicit regularization ensures that the algorithms remain in a nice
region, where the cost function is strongly convex and smooth despite being
nonconvex in general. This ensures that these accelerated methods achieve
faster rates of convergence than gradient descent. Experimental evidence
demonstrates that the accelerated methods converge faster than gradient descent
in practice.
- Abstract(参考訳): ガウス位相探索問題における高速化最適化法について検討する。
この設定では、Polyak や Nesterov の運動量を持つ勾配法が勾配降下に類似した暗黙的な正規化を持つことを示す。
この暗黙の正則化により、コスト関数が非凸であるにもかかわらず強く凸かつ滑らかな領域にアルゴリズムが残ることが保証される。
これにより、これらの加速手法は勾配降下よりも収束速度が速いことが保証される。
実験的証拠は、実際に加速された手法が勾配降下よりも速く収束することを示している。
関連論文リスト
- Incremental Quasi-Newton Methods with Faster Superlinear Convergence
Rates [50.36933471975506]
各成分関数が強く凸であり、リプシッツ連続勾配とヘシアンを持つ有限和最適化問題を考える。
最近提案されたインクリメンタル準ニュートン法は、BFGSの更新に基づいて、局所的な超線形収束率を達成する。
本稿では、対称ランク1更新をインクリメンタルフレームワークに組み込むことにより、より効率的な準ニュートン法を提案する。
論文 参考訳(メタデータ) (2024-02-04T05:54:51Z) - Accelerated gradient methods for nonconvex optimization: Escape
trajectories from strict saddle points and convergence to local minima [9.66353475649122]
本稿ではその問題を考察する。
加速勾配法の一般一般の凸挙動を理解すること。
非アプティック関数。
これは、運動量可変ネステロフの加速法(NAG)が、厳密なサドル点をほぼ確実に避けていることを示している。
論文 参考訳(メタデータ) (2023-07-13T19:11:07Z) - Asymptotically efficient one-step stochastic gradient descent [62.997667081978825]
これはフィッシャースコアリングアルゴリズムの単一ステップで補正された対数型関数の勾配勾配に基づいている。
理論的およびシミュレーションにより、これは平均勾配あるいは適応勾配勾配の通常の勾配勾配の代替として興味深いものであることをi.d設定で示す。
論文 参考訳(メタデータ) (2023-06-09T13:43:07Z) - Convex and Non-convex Optimization Under Generalized Smoothness [69.69521650503431]
凸法と非最適化法の分析は、しばしばリプシッツ勾配を必要とし、この軌道による解析を制限する。
最近の研究は、非一様滑らか性条件を通した勾配設定を一般化している。
論文 参考訳(メタデータ) (2023-06-02T04:21:59Z) - Proximal Subgradient Norm Minimization of ISTA and FISTA [8.261388753972234]
反復収縮保持アルゴリズムのクラスに対する2乗近位次数ノルムは逆2乗率で収束することを示す。
また、高速反復収縮保持アルゴリズム (FISTA) のクラスに対する2乗次次数次ノルムが、逆立方レートで収束するように加速されることも示している。
論文 参考訳(メタデータ) (2022-11-03T06:50:19Z) - Riemannian accelerated gradient methods via extrapolation [40.23168342389821]
本稿では,勾配降下法から反復が生成された場合,加速されたスキームが最適収束率を比例的に達成することを示す。
本実験は, 新規加速戦略の実用的メリットを検証した。
論文 参考訳(メタデータ) (2022-08-13T10:31:09Z) - Acceleration Methods [87.07695512525717]
まず,二次最適化問題を用いて,モメンタムとネスト正則性最適化スキームという2つの主要な手法を導入する。
我々は、ネステロフの精巧な研究から始まる運動量法を詳細に論じる。
次に、emphCatalystとemphAccelerated Hybrid Proximal Extragradientフレームワークの中心にある加速度技術をカバーする。
論文 参考訳(メタデータ) (2021-01-23T17:58:25Z) - Anderson acceleration of coordinate descent [5.794599007795348]
複数の機械学習問題において、座標降下はフルグレードの手法よりも性能が大幅に向上する。
本稿では,外挿による座標降下の高速化版を提案する。
論文 参考訳(メタデータ) (2020-11-19T19:01:48Z) - Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient
Clipping [69.9674326582747]
そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。
この場合、最先端の結果を上回る新たな複雑さが証明される。
本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
論文 参考訳(メタデータ) (2020-05-21T17:05:27Z) - Complexity Guarantees for Polyak Steps with Momentum [76.97851351276165]
そこでは,この知識を最適な値である$f_*$で置き換える。
まず、Polyak ステップによる単純な勾配勾配の古典的な場合よりも若干改善された収束境界を示し、その後、収束保証とともに、Polyak ステップと運動量を持つ加速勾配法を導出する。
論文 参考訳(メタデータ) (2020-02-03T17:50:28Z) - A frequency-domain analysis of inexact gradient methods [0.0]
強凸関数に対する反復勾配法におけるロバスト性について検討する。
我々は、強凸関数上のネステロフの加速法の収束率を改良した解析境界を導出した。
論文 参考訳(メタデータ) (2019-12-31T18:47:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。