論文の概要: SPIRAL: A superlinearly convergent incremental proximal algorithm for
nonconvex finite sum minimization
- arxiv url: http://arxiv.org/abs/2207.08195v2
- Date: Mon, 15 Jan 2024 09:18:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 03:59:15.873366
- Title: SPIRAL: A superlinearly convergent incremental proximal algorithm for
nonconvex finite sum minimization
- Title(参考訳): SPIRAL:非凸有限和最小化のための超線形収束インクリメンタル近似アルゴリズム
- Authors: Pourya Behmandpoor, Puya Latafat, Andreas Themelis, Marc Moonen, and
Panagiotis Patrinos
- Abstract要約: SPIRAL は有限和問題に対する収束pRoximal algogomrithor である。
軽微な仮定の下では顕著な収束がある。
それは芸術の状況に競争力がある。
- 参考スコア(独自算出の注目度): 11.15617238382324
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce SPIRAL, a SuPerlinearly convergent Incremental pRoximal
ALgorithm, for solving nonconvex regularized finite sum problems under a
relative smoothness assumption. Each iteration of SPIRAL consists of an inner
and an outer loop. It combines incremental gradient updates with a linesearch
that has the remarkable property of never being triggered asymptotically,
leading to superlinear convergence under mild assumptions at the limit point.
Simulation results with L-BFGS directions on different convex, nonconvex, and
non-Lipschitz differentiable problems show that our algorithm, as well as its
adaptive variant, are competitive to the state of the art.
- Abstract(参考訳): 相対滑らか性仮定の下で、非凸正規化有限和問題を解くために、SuPerlinearly convergent Incremental pRoximal algorithm を導入する。
SPIRALの各イテレーションは内ループと外ループで構成されている。
漸進的な勾配の更新と、漸近的に引き起こされないという顕著な性質を持つ直線探索を組み合わせることで、極限点における穏やかな仮定の下で超線型収束をもたらす。
L-BFGS方向の異なる凸、非凸、および非リプシッツ微分可能問題に対するシミュレーションの結果、我々のアルゴリズムは、適応的変種と同様に、最先端技術と競合することを示した。
関連論文リスト
- Independently-Normalized SGD for Generalized-Smooth Nonconvex Optimization [19.000530691874516]
我々は、多くの非機械学習問題が従来の非スムーズな非スムーズな状態を超えるような条件を満たすことを示した。
独立サンプリングと正規化を利用する独立正規化勾配降下アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-10-17T21:52:00Z) - Convergence and Complexity Guarantee for Inexact First-order Riemannian Optimization Algorithms [18.425648833592312]
tBMM は $O(epsilon-2)$ 内の $ilon$-定常点に収束することを示す。
軽度反復の下では、全最適性ギャップが有界である場合、各反復においてサブプロブレムが解かれるときの結果は依然として保たれる。
論文 参考訳(メタデータ) (2024-05-05T22:53:14Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳(メタデータ) (2023-10-20T12:45:12Z) - Smoothing ADMM for Sparse-Penalized Quantile Regression with Non-Convex
Penalties [8.294148737585543]
本稿では,非二次絶対および非平滑収束ペナルティの存在下での凹凸および切断された量子レグレッションについて検討する。
本稿では,スパース回帰に特化してSIADと呼ばれるペナルティ乗算器が増加する新しいループADMアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-09-04T21:48:51Z) - High-Probability Bounds for Stochastic Optimization and Variational
Inequalities: the Case of Unbounded Variance [59.211456992422136]
制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。
これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
論文 参考訳(メタデータ) (2023-02-02T10:37:23Z) - Faster Algorithm and Sharper Analysis for Constrained Markov Decision
Process [56.55075925645864]
制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。
新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。
これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
論文 参考訳(メタデータ) (2021-10-20T02:57:21Z) - Inequality Constrained Stochastic Nonlinear Optimization via Active-Set
Sequential Quadratic Programming [17.9230793188835]
客観的・決定論的等式と不等式制約を用いた非線形最適化問題について検討する。
本稿では,有理関数として微分可能な拡張ラグランジアンを用いて,能動型逐次適応型プログラミングアルゴリズムを提案する。
アルゴリズムは、拡張ラグランジアンのパラメータを適応的に選択し、行探索を行い、ステップサイズを決定する。
論文 参考訳(メタデータ) (2021-09-23T17:12:17Z) - Geom-SPIDER-EM: Faster Variance Reduced Stochastic Expectation
Maximization for Nonconvex Finite-Sum Optimization [21.81837334970773]
本稿では,予測最大化(EM)アルゴリズムへのパス付き微分エスティマの拡張を提案する。
SPIDER-EM-IDERと同じ状態アート境界をサポートし,その結果を得た。
論文 参考訳(メタデータ) (2020-11-24T21:20:53Z) - Efficient Methods for Structured Nonconvex-Nonconcave Min-Max
Optimization [98.0595480384208]
定常点に収束する一般化外空間を提案する。
このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
論文 参考訳(メタデータ) (2020-10-31T21:35:42Z) - ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。
我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。
有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
論文 参考訳(メタデータ) (2020-08-28T14:46:56Z) - On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and
Non-Asymptotic Concentration [115.1954841020189]
The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。
一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
論文 参考訳(メタデータ) (2020-04-09T17:54:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。