論文の概要: Improved Convergence Rates of Windowed Anderson Acceleration for
Symmetric Fixed-Point Iterations
- arxiv url: http://arxiv.org/abs/2311.02490v2
- Date: Fri, 8 Mar 2024 15:15:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-11 23:02:52.467714
- Title: Improved Convergence Rates of Windowed Anderson Acceleration for
Symmetric Fixed-Point Iterations
- Title（参考訳）: 対称固定点反復に対する窓付きアンダーソン加速度の収束率の改善
- Authors: Casey Garner and Gilad Lerman and Teng Zhang
- Abstract要約: 本稿では,固定点法によく用いられるウィンドウ付きアンダーソン加速度(AA)アルゴリズムについて検討する。
異なるデータモデルを用いた実験では、AAはタイラーのM推定の標準的な固定点法よりもはるかに優れていることが示された。
- 参考スコア（独自算出の注目度）: 15.420927564123193
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper studies the commonly utilized windowed Anderson acceleration (AA)
algorithm for fixed-point methods, $x^{(k+1)}=q(x^{(k)})$. It provides the
first proof that when the operator $q$ is linear and symmetric the windowed AA,
which uses a sliding window of prior iterates, improves the root-linear
convergence factor over the fixed-point iterations. When $q$ is nonlinear, yet
has a symmetric Jacobian at a fixed point, a slightly modified AA algorithm is
proved to have an analogous root-linear convergence factor improvement over
fixed-point iterations. Simulations verify our observations. Furthermore,
experiments with different data models demonstrate AA is significantly superior
to the standard fixed-point methods for Tyler's M-estimation.
- Abstract（参考訳）: 本稿では,固定点法,$x^{(k+1)}=q(x^{(k)})$に対するウィンドウ付きアンダーソン加速度(AA)アルゴリズムについて検討する。
演算子$q$が線型で対称なとき、先行反復のスライディングウインドウを使用するウィンドウ付きAAは固定点反復よりも根線型収束係数を改善するという最初の証明を提供する。
q$ が非線形であるが、固定点に対称なヤコビアンを持つとき、わずかに修正された AA アルゴリズムは、固定点反復よりも類似したルート-線形収束係数の改善を持つことが証明される。
シミュレーションは我々の観察を検証する。
さらに、異なるデータモデルを用いた実験により、AAはタイラーのM推定の標準的な固定点法よりもはるかに優れていることが示された。
関連論文リスト
- Online Learning Guided Quasi-Newton Methods with Global Non-Asymptotic Convergence [20.766358513158206]
双対性ギャップの観点から、大域収束率を$O(min1/k,sqrtd/k1.25)$とする。
これらの結果は、外勾配法よりも準ニュートン法の証明可能な利点を示す最初の大域収束結果である。
論文 参考訳（メタデータ） (2024-10-03T16:08:16Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Multi-block-Single-probe Variance Reduced Estimator for Coupled
Compositional Optimization [49.58290066287418]
構成問題の複雑さを軽減するために,MSVR (Multi-block-probe Variance Reduced) という新しい手法を提案する。
本研究の結果は, 試料の複雑さの順序や強靭性への依存など, 様々な面で先行して改善された。
論文 参考訳（メタデータ） (2022-07-18T12:03:26Z) - Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。
漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
論文 参考訳（メタデータ） (2022-06-17T06:10:20Z) - Matrix Completion via Non-Convex Relaxation and Adaptive Correlation
Learning [90.8576971748142]
閉形式解によって最適化できる新しいサロゲートを開発する。
そこで我々は, 上向きの相関関係を利用して, 適応的相関学習モデルを構築した。
論文 参考訳（メタデータ） (2022-03-04T08:50:50Z) - Provably Efficient Convergence of Primal-Dual Actor-Critic with
Nonlinear Function Approximation [15.319335698574932]
The first efficient convergence result with primal-dual actor-critic with a convergence of $mathcalOleft ascent(Nright)Nright)$ under Polyian sample。
Open GymAI連続制御タスクの結果。
論文 参考訳（メタデータ） (2022-02-28T15:16:23Z) - Anderson Acceleration as a Krylov Method with Application to Asymptotic
Convergence Analysis [0.0]
アンダーソン加速度は固定点法の収束を加速するために広く用いられている。
線形固定点法の場合、$x_k+1=q(x_k)$,$x_k。
論文 参考訳（メタデータ） (2021-09-29T03:53:15Z) - Proximal Gradient Descent-Ascent: Variable Convergence under K{\L}
Geometry [49.65455534654459]
有限降下指数パラメータ (GDA) はミニマックス最適化問題の解法として広く応用されている。
本稿では、KL-L型幾何学の収束を研究することにより、そのようなギャップを埋める。
論文 参考訳（メタデータ） (2021-02-09T05:35:53Z) - On the Asymptotic Linear Convergence Speed of Anderson Acceleration,
Nesterov Acceleration, and Nonlinear GMRES [1.2183405753834562]
Anderson iteration (AA)、GMRES (NGMRES)、Nesterov$typeメソッドが検討されている。
両手法が有限ウィンドウサイズを持つ非定常AAおよびNGMRESの収束を推定できることを示す。
論文 参考訳（メタデータ） (2020-07-04T03:35:35Z) - A Simple Convergence Proof of Adam and Adagrad [74.24716715922759]
我々はAdam Adagradと$O(d(N)/st)$アルゴリズムの収束の証明を示す。
Adamはデフォルトパラメータで使用する場合と同じ収束$O(d(N)/st)$で収束する。
論文 参考訳（メタデータ） (2020-03-05T01:56:17Z) - Asymptotic errors for convex penalized linear regression beyond Gaussian
matrices [23.15629681360836]
雑音線形観測から係数ベクトル$x_0$ in$RN$を学習する問題を考察する。
平均二乗誤差に対する明示的な式を厳密に導出する。
我々の予測は、非常に適度なサイズであっても、数値と非常によく一致していることを示す。
論文 参考訳（メタデータ） (2020-02-11T13:43:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。