論文の概要: Momentum with Variance Reduction for Nonconvex Composition Optimization
- arxiv url: http://arxiv.org/abs/2005.07755v1
- Date: Fri, 15 May 2020 19:29:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-02 22:53:42.318122
- Title: Momentum with Variance Reduction for Nonconvex Composition Optimization
- Title（参考訳）: 非凸合成最適化のための分散低減モーメント
- Authors: Ziyi Chen, Yi Zhou
- Abstract要約: 組成最適化は非機械学習で広く適用されている。
モーメントと分散低減技術を採用した様々な高度なアルゴリズムが開発されている。
我々のアルゴリズムは既存のアルゴリズムよりもはるかに早く収束する。
- 参考スコア（独自算出の注目度）: 9.657813709239335
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Composition optimization is widely-applied in nonconvex machine learning.
Various advanced stochastic algorithms that adopt momentum and variance
reduction techniques have been developed for composition optimization. However,
these algorithms do not fully exploit both techniques to accelerate the
convergence and are lack of convergence guarantee in nonconvex optimization.
This paper complements the existing literature by developing various momentum
schemes with SPIDER-based variance reduction for non-convex composition
optimization. In particular, our momentum design requires less number of
proximal mapping evaluations per-iteration than that required by the existing
Katyusha momentum. Furthermore, our algorithm achieves near-optimal sample
complexity results in both non-convex finite-sum and online composition
optimization and achieves a linear convergence rate under the gradient dominant
condition. Numerical experiments demonstrate that our algorithm converges
significantly faster than existing algorithms in nonconvex composition
optimization.
- Abstract（参考訳）: 合成最適化は非凸機械学習に広く応用されている。
合成最適化のために,モーメントと分散低減手法を取り入れた様々な高度な確率的アルゴリズムを開発した。
しかし、これらのアルゴリズムは収束を加速するために両方の手法を十分に活用しておらず、非凸最適化における収束保証が欠如している。
本稿では,非凸合成最適化のためのSPIDERに基づく分散化手法を考案し,既存の文献を補完する。
特に,我々の運動量設計では,既存の河東社運動量よりも,定位当たりの近位写像評価を少なくする必要がある。
さらに, このアルゴリズムは, 非凸有限サムとオンライン合成最適化の両方において, ほぼ最適サンプル複雑性を達成し, 勾配支配条件下での線形収束率を達成する。
数値実験により,本アルゴリズムは非凸合成最適化において既存のアルゴリズムよりもはるかに高速に収束することを示す。
関連論文リスト
- Provably Faster Algorithms for Bilevel Optimization via Without-Replacement Sampling [96.47086913559289]
勾配に基づくアルゴリズムはバイレベル最適化に広く用いられている。
本研究では,より高速な収束率を実現する非置換サンプリングに基づくアルゴリズムを提案する。
合成および実世界の両方のアプリケーションに対してアルゴリズムを検証する。
論文 参考訳（メタデータ） (2024-11-07T17:05:31Z) - Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。
微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文 参考訳（メタデータ） (2023-02-24T18:41:48Z) - Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。
これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
論文 参考訳（メタデータ） (2023-02-01T08:50:48Z) - Adaptive Stochastic Optimisation of Nonconvex Composite Objectives [2.1700203922407493]
一般化された複合ミラー降下アルゴリズムの一群を提案し,解析する。
適応的なステップサイズでは、提案アルゴリズムは問題の事前知識を必要とせずに収束する。
決定集合の低次元構造を高次元問題に活用する。
論文 参考訳（メタデータ） (2022-11-21T18:31:43Z) - A Fast and Convergent Proximal Algorithm for Regularized Nonconvex and
Nonsmooth Bi-level Optimization [26.68351521813062]
既存のバイレベルアルゴリズムは、非滑らかまたは超滑らかな正規化器を扱えない。
本稿では,包括的機械学習アプリケーションを高速化するために,暗黙差分法(AID)が有効であることを示す。
論文 参考訳（メタデータ） (2022-03-30T18:53:04Z) - Consistent Approximations in Composite Optimization [0.0]
我々は最適化問題の一貫した近似のためのフレームワークを開発する。
このフレームワークは幅広い最適化のために開発されている。
プログラム解析法は、拡張非線形プログラミングソリューションを例証する。
論文 参考訳（メタデータ） (2022-01-13T23:57:08Z) - Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。
また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
論文 参考訳（メタデータ） (2021-04-30T08:50:24Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳（メタデータ） (2020-10-15T18:09:48Z) - Distributed Proximal Splitting Algorithms with Rates and Acceleration [7.691755449724637]
解に対する関数値の最適値または距離の新しいレートで、線形および線形収束結果を導出する。
本稿では,これらのアルゴリズムの分散変種を提案する。
論文 参考訳（メタデータ） (2020-10-02T12:35:09Z) - Proximal Gradient Algorithm with Momentum and Flexible Parameter Restart
for Nonconvex Optimization [73.38702974136102]
アルゴリズムの高速化のために,パラメータ再起動方式が提案されている。
本論文では,非滑らかな問題を解くアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-02-26T16:06:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。