Fugu-MT 論文翻訳(概要): SPIRAL: A superlinearly convergent incremental proximal algorithm for nonconvex finite sum minimization

論文の概要: SPIRAL: A superlinearly convergent incremental proximal algorithm for nonconvex finite sum minimization

arxiv url: http://arxiv.org/abs/2207.08195v2
Date: Mon, 15 Jan 2024 09:18:19 GMT
ステータス: 処理完了
システム内更新日: 2024-01-18 03:59:15.873366
Title: SPIRAL: A superlinearly convergent incremental proximal algorithm for nonconvex finite sum minimization
Title（参考訳）: SPIRAL:非凸有限和最小化のための超線形収束インクリメンタル近似アルゴリズム
Authors: Pourya Behmandpoor, Puya Latafat, Andreas Themelis, Marc Moonen, and Panagiotis Patrinos
Abstract要約: SPIRAL は有限和問題に対する収束pRoximal algogomrithor である。軽微な仮定の下では顕著な収束がある。それは芸術の状況に競争力がある。
参考スコア（独自算出の注目度）: 11.15617238382324
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We introduce SPIRAL, a SuPerlinearly convergent Incremental pRoximal ALgorithm, for solving nonconvex regularized finite sum problems under a relative smoothness assumption. Each iteration of SPIRAL consists of an inner and an outer loop. It combines incremental gradient updates with a linesearch that has the remarkable property of never being triggered asymptotically, leading to superlinear convergence under mild assumptions at the limit point. Simulation results with L-BFGS directions on different convex, nonconvex, and non-Lipschitz differentiable problems show that our algorithm, as well as its adaptive variant, are competitive to the state of the art.
Abstract（参考訳）: 相対滑らか性仮定の下で、非凸正規化有限和問題を解くために、SuPerlinearly convergent Incremental pRoximal algorithm を導入する。 SPIRALの各イテレーションは内ループと外ループで構成されている。漸進的な勾配の更新と、漸近的に引き起こされないという顕著な性質を持つ直線探索を組み合わせることで、極限点における穏やかな仮定の下で超線型収束をもたらす。 L-BFGS方向の異なる凸、非凸、および非リプシッツ微分可能問題に対するシミュレーションの結果、我々のアルゴリズムは、適応的変種と同様に、最先端技術と競合することを示した。

関連論文リスト

Convergence and Complexity Guarantee for Inexact First-order Riemannian Optimization Algorithms [18.425648833592312]
tBMM は $O(epsilon-2)$ 内の $ilon$-定常点に収束することを示す。軽度反復の下では、全最適性ギャップが有界である場合、各反復においてサブプロブレムが解かれるときの結果は依然として保たれる。
論文参考訳（メタデータ） (2024-05-05T22:53:14Z)
Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文参考訳（メタデータ） (2023-10-20T12:45:12Z)
Smoothing ADMM for Sparse-Penalized Quantile Regression with Non-Convex Penalties [8.294148737585543]
本稿では,非二次絶対および非平滑収束ペナルティの存在下での凹凸および切断された量子レグレッションについて検討する。本稿では,スパース回帰に特化してSIADと呼ばれるペナルティ乗算器が増加する新しいループADMアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-09-04T21:48:51Z)
High-Probability Bounds for Stochastic Optimization and Variational Inequalities: the Case of Unbounded Variance [59.211456992422136]
制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
論文参考訳（メタデータ） (2023-02-02T10:37:23Z)
Fixed-Time Convergence for a Class of Nonconvex-Nonconcave Min-Max Problems [5.787117733071416]
min-max問題を解くための固定時間収束サドル点力学系を開発した。提案手法は他のどの状態法と比較しても高速に実現できる。
論文参考訳（メタデータ） (2022-07-26T12:25:05Z)
Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
論文参考訳（メタデータ） (2021-10-20T02:57:21Z)
Inequality Constrained Stochastic Nonlinear Optimization via Active-Set Sequential Quadratic Programming [17.9230793188835]
客観的・決定論的等式と不等式制約を用いた非線形最適化問題について検討する。本稿では,有理関数として微分可能な拡張ラグランジアンを用いて,能動型逐次適応型プログラミングアルゴリズムを提案する。アルゴリズムは、拡張ラグランジアンのパラメータを適応的に選択し、行探索を行い、ステップサイズを決定する。
論文参考訳（メタデータ） (2021-09-23T17:12:17Z)
Geom-SPIDER-EM: Faster Variance Reduced Stochastic Expectation Maximization for Nonconvex Finite-Sum Optimization [21.81837334970773]
本稿では,予測最大化(EM)アルゴリズムへのパス付き微分エスティマの拡張を提案する。 SPIDER-EM-IDERと同じ状態アート境界をサポートし,その結果を得た。
論文参考訳（メタデータ） (2020-11-24T21:20:53Z)
Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
定常点に収束する一般化外空間を提案する。このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
論文参考訳（メタデータ） (2020-10-31T21:35:42Z)
On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and Non-Asymptotic Concentration [115.1954841020189]
The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
論文参考訳（メタデータ） (2020-04-09T17:54:18Z)
Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。