論文の概要: Stochastic Momentum Methods for Non-smooth Non-Convex Finite-Sum Coupled Compositional Optimization

• arxiv url: http://arxiv.org/abs/2506.02504v1
• Date: Tue, 03 Jun 2025 06:31:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.373179
• Title: Stochastic Momentum Methods for Non-smooth Non-Convex Finite-Sum Coupled Compositional Optimization
• Title（参考訳）: 非滑らかな非凸有限-サム結合合成最適化のための確率的モーメント法
• Authors: Xingyu Chen, Bokun Wang, Ming Yang, Quanqi Hu, Qihang Lin, Tianbao Yang,
• Abstract要約: 我々は、(ほぼ)$レベルのKKTソリューションを見つけるために、$O(/epsilon)$の最先端の複雑さを新たに提案する。 O(/epsilon)$ の(ほぼ) $ レベルの KKT ソリューションを見つけるための技術的複雑さを適用することで、(ほぼ) $ レベルの KKT ソリューションを見つけるための $O(/epsilon)$ の最先端の複雑さを新たに達成する。
• 参考スコア（独自算出の注目度）: 64.99236464953032
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Finite-sum Coupled Compositional Optimization (FCCO), characterized by its coupled compositional objective structure, emerges as an important optimization paradigm for addressing a wide range of machine learning problems. In this paper, we focus on a challenging class of non-convex non-smooth FCCO, where the outer functions are non-smooth weakly convex or convex and the inner functions are smooth or weakly convex. Existing state-of-the-art result face two key limitations: (1) a high iteration complexity of $O(1/\epsilon^6)$ under the assumption that the stochastic inner functions are Lipschitz continuous in expectation; (2) reliance on vanilla SGD-type updates, which are not suitable for deep learning applications. Our main contributions are two fold: (i) We propose stochastic momentum methods tailored for non-smooth FCCO that come with provable convergence guarantees; (ii) We establish a new state-of-the-art iteration complexity of $O(1/\epsilon^5)$. Moreover, we apply our algorithms to multiple inequality constrained non-convex optimization problems involving smooth or weakly convex functional inequality constraints. By optimizing a smoothed hinge penalty based formulation, we achieve a new state-of-the-art complexity of $O(1/\epsilon^5)$ for finding an (nearly) $\epsilon$-level KKT solution. Experiments on three tasks demonstrate the effectiveness of the proposed algorithms.
• Abstract（参考訳）: 有限サム結合合成最適化(FCCO)は、その複合構成目的構造を特徴とし、幅広い機械学習問題に対処するための重要な最適化パラダイムとして出現する。 本稿では,非滑らかな非滑らかなFCCOの挑戦的なクラスに着目し,外部関数は非滑らかな凸あるいは凸であり,内部関数は滑らかあるいは弱凸である。 1) 確率的内部関数が期待通りにリプシッツ連続であるという仮定の下での高繰り返しの複雑さ(1/\epsilon^6)$; 2) ディープラーニングアプリケーションには適さないバニラSGD型更新に依存する。 私たちの主な貢献は2つあります。 i)証明可能な収束保証を伴う非滑らかなFCCOに適した確率運動量法を提案する。 (ii)$O(1/\epsilon^5)$の新しい最先端の反復複雑性を確立する。 さらに,複数の不等式制約付き非凸最適化問題に対して,スムーズあるいは弱凸関数不等式制約を含むアルゴリズムを適用した。 スムーズなヒンジペナルティに基づく定式化を最適化することにより、(ほぼ)$\epsilon$-level KKTの解を見つけるために、$O(1/\epsilon^5)$の新しい最先端の複雑さを実現する。 3つのタスクの実験により提案アルゴリズムの有効性が示された。

関連論文リスト

• Non-Smooth Weakly-Convex Finite-sum Coupled Compositional Optimization [42.861002114813864]
  本稿では,新しい合成最適化問題である$linebf n$on-underline underlinebf sakly underlinebf c$ompositional $underlineunderlineについて検討する。
  論文  参考訳（メタデータ） (2023-10-05T01:01:09Z)
• Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation Constrained Optimization [88.0031283949404]
  多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。 提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-19T14:48:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。