論文の概要: Acceleration and Implicit Regularization in Gaussian Phase Retrieval
- arxiv url: http://arxiv.org/abs/2311.12888v1
- Date: Tue, 21 Nov 2023 04:10:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 17:50:33.592780
- Title: Acceleration and Implicit Regularization in Gaussian Phase Retrieval
- Title（参考訳）: ガウス位相検索における加速と帰納規則化
- Authors: Tyler Maunu, Martin Molina-Fructuoso
- Abstract要約: この設定では、Polyak や Nesterov の運動量の暗黙的な正規化による手法が、よい凸降下を保証することを証明している。
実験的な証拠は、これらの手法が実際には勾配降下よりも早く収束していることを示している。
- 参考スコア（独自算出の注目度）: 5.484345596034159
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study accelerated optimization methods in the Gaussian phase retrieval
problem. In this setting, we prove that gradient methods with Polyak or
Nesterov momentum have similar implicit regularization to gradient descent.
This implicit regularization ensures that the algorithms remain in a nice
region, where the cost function is strongly convex and smooth despite being
nonconvex in general. This ensures that these accelerated methods achieve
faster rates of convergence than gradient descent. Experimental evidence
demonstrates that the accelerated methods converge faster than gradient descent
in practice.
- Abstract（参考訳）: ガウス位相探索問題における高速化最適化法について検討する。
この設定では、Polyak や Nesterov の運動量を持つ勾配法が勾配降下に類似した暗黙的な正規化を持つことを示す。
この暗黙の正則化により、コスト関数が非凸であるにもかかわらず強く凸かつ滑らかな領域にアルゴリズムが残ることが保証される。
これにより、これらの加速手法は勾配降下よりも収束速度が速いことが保証される。
実験的証拠は、実際に加速された手法が勾配降下よりも速く収束することを示している。
関連論文リスト
- Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation [51.248784084461334]
我々はNesterov加速度アンダーホ条件の一般化版に対する新しい収束率を証明した。
本分析により, 従来の研究に比べて, 強い成長定数への依存度を$$$から$sqrt$に下げることができた。
論文 参考訳（メタデータ） (2024-04-03T00:41:19Z) - Incremental Quasi-Newton Methods with Faster Superlinear Convergence
Rates [50.36933471975506]
各成分関数が強く凸であり、リプシッツ連続勾配とヘシアンを持つ有限和最適化問題を考える。
最近提案されたインクリメンタル準ニュートン法は、BFGSの更新に基づいて、局所的な超線形収束率を達成する。
本稿では、対称ランク1更新をインクリメンタルフレームワークに組み込むことにより、より効率的な準ニュートン法を提案する。
論文 参考訳（メタデータ） (2024-02-04T05:54:51Z) - Accelerated gradient methods for nonconvex optimization: Escape
trajectories from strict saddle points and convergence to local minima [9.66353475649122]
本稿ではその問題を考察する。
加速勾配法の一般一般の凸挙動を理解すること。
非アプティック関数。
これは、運動量可変ネステロフの加速法(NAG)が、厳密なサドル点をほぼ確実に避けていることを示している。
論文 参考訳（メタデータ） (2023-07-13T19:11:07Z) - Convex and Non-convex Optimization Under Generalized Smoothness [69.69521650503431]
凸法と非最適化法の分析は、しばしばリプシッツ勾配を必要とし、この軌道による解析を制限する。
最近の研究は、非一様滑らか性条件を通した勾配設定を一般化している。
論文 参考訳（メタデータ） (2023-06-02T04:21:59Z) - Proximal Subgradient Norm Minimization of ISTA and FISTA [8.261388753972234]
反復収縮保持アルゴリズムのクラスに対する2乗近位次数ノルムは逆2乗率で収束することを示す。
また、高速反復収縮保持アルゴリズム (FISTA) のクラスに対する2乗次次数次ノルムが、逆立方レートで収束するように加速されることも示している。
論文 参考訳（メタデータ） (2022-11-03T06:50:19Z) - Riemannian accelerated gradient methods via extrapolation [40.23168342389821]
本稿では,勾配降下法から反復が生成された場合,加速されたスキームが最適収束率を比例的に達成することを示す。
本実験は, 新規加速戦略の実用的メリットを検証した。
論文 参考訳（メタデータ） (2022-08-13T10:31:09Z) - Acceleration Methods [57.202881673406324]
まず2次最適化問題を用いて加速法を2つ導入する。
我々は、ネステロフの精巧な研究から始まる運動量法を詳細に論じる。
我々は、ほぼ最適な収束率に達するための一連の簡単な手法である再起動スキームを議論することで結論付ける。
論文 参考訳（メタデータ） (2021-01-23T17:58:25Z) - Anderson acceleration of coordinate descent [5.794599007795348]
複数の機械学習問題において、座標降下はフルグレードの手法よりも性能が大幅に向上する。
本稿では,外挿による座標降下の高速化版を提案する。
論文 参考訳（メタデータ） (2020-11-19T19:01:48Z) - Complexity Guarantees for Polyak Steps with Momentum [76.97851351276165]
そこでは,この知識を最適な値である$f_*$で置き換える。
まず、Polyak ステップによる単純な勾配勾配の古典的な場合よりも若干改善された収束境界を示し、その後、収束保証とともに、Polyak ステップと運動量を持つ加速勾配法を導出する。
論文 参考訳（メタデータ） (2020-02-03T17:50:28Z) - A frequency-domain analysis of inexact gradient methods [0.0]
強凸関数に対する反復勾配法におけるロバスト性について検討する。
我々は、強凸関数上のネステロフの加速法の収束率を改良した解析境界を導出した。
論文 参考訳（メタデータ） (2019-12-31T18:47:30Z) - On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization [80.03647903934723]
我々は、勾配収束法を期待する適応勾配法を証明した。
解析では、非理解勾配境界の最適化において、より適応的な勾配法に光を当てた。
論文 参考訳（メタデータ） (2018-08-16T20:25:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。