論文の概要: Stochastic Momentum Methods for Non-smooth Non-Convex Finite-Sum Coupled Compositional Optimization

• arxiv url: http://arxiv.org/abs/2506.02504v1
• Date: Tue, 03 Jun 2025 06:31:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.373179
• Title: Stochastic Momentum Methods for Non-smooth Non-Convex Finite-Sum Coupled Compositional Optimization
• Title（参考訳）: 非滑らかな非凸有限-サム結合合成最適化のための確率的モーメント法
• Authors: Xingyu Chen, Bokun Wang, Ming Yang, Quanqi Hu, Qihang Lin, Tianbao Yang,
• Abstract要約: 我々は、(ほぼ)$レベルのKKTソリューションを見つけるために、$O(/epsilon)$の最先端の複雑さを新たに提案する。 O(/epsilon)$ の(ほぼ) $ レベルの KKT ソリューションを見つけるための技術的複雑さを適用することで、(ほぼ) $ レベルの KKT ソリューションを見つけるための $O(/epsilon)$ の最先端の複雑さを新たに達成する。
• 参考スコア（独自算出の注目度）: 64.99236464953032
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Finite-sum Coupled Compositional Optimization (FCCO), characterized by its coupled compositional objective structure, emerges as an important optimization paradigm for addressing a wide range of machine learning problems. In this paper, we focus on a challenging class of non-convex non-smooth FCCO, where the outer functions are non-smooth weakly convex or convex and the inner functions are smooth or weakly convex. Existing state-of-the-art result face two key limitations: (1) a high iteration complexity of $O(1/\epsilon^6)$ under the assumption that the stochastic inner functions are Lipschitz continuous in expectation; (2) reliance on vanilla SGD-type updates, which are not suitable for deep learning applications. Our main contributions are two fold: (i) We propose stochastic momentum methods tailored for non-smooth FCCO that come with provable convergence guarantees; (ii) We establish a new state-of-the-art iteration complexity of $O(1/\epsilon^5)$. Moreover, we apply our algorithms to multiple inequality constrained non-convex optimization problems involving smooth or weakly convex functional inequality constraints. By optimizing a smoothed hinge penalty based formulation, we achieve a new state-of-the-art complexity of $O(1/\epsilon^5)$ for finding an (nearly) $\epsilon$-level KKT solution. Experiments on three tasks demonstrate the effectiveness of the proposed algorithms.
• Abstract（参考訳）: 有限サム結合合成最適化(FCCO)は、その複合構成目的構造を特徴とし、幅広い機械学習問題に対処するための重要な最適化パラダイムとして出現する。 本稿では,非滑らかな非滑らかなFCCOの挑戦的なクラスに着目し,外部関数は非滑らかな凸あるいは凸であり,内部関数は滑らかあるいは弱凸である。 1) 確率的内部関数が期待通りにリプシッツ連続であるという仮定の下での高繰り返しの複雑さ(1/\epsilon^6)$; 2) ディープラーニングアプリケーションには適さないバニラSGD型更新に依存する。 私たちの主な貢献は2つあります。 i)証明可能な収束保証を伴う非滑らかなFCCOに適した確率運動量法を提案する。 (ii)$O(1/\epsilon^5)$の新しい最先端の反復複雑性を確立する。 さらに,複数の不等式制約付き非凸最適化問題に対して,スムーズあるいは弱凸関数不等式制約を含むアルゴリズムを適用した。 スムーズなヒンジペナルティに基づく定式化を最適化することにより、(ほぼ)$\epsilon$-level KKTの解を見つけるために、$O(1/\epsilon^5)$の新しい最先端の複雑さを実現する。 3つのタスクの実験により提案アルゴリズムの有効性が示された。

関連論文リスト

• A Near-Optimal Single-Loop Stochastic Algorithm for Convex Finite-Sum Coupled Compositional Optimization [53.14532968909759]
  ALEXRと呼ばれる,効率的な単ループプリマル・デュアルブロック座標アルゴリズムを提案する。 本研究では, ALEXR の凸面および強凸面の収束速度を滑らか性および非滑らか性条件下で確立する。 CFCCO の ROC 曲線の下での GDRO および部分領域の実験結果から,提案アルゴリズムの有望な性能を示す。
  論文  参考訳（メタデータ） (2023-12-04T19:00:07Z)
• Non-Smooth Weakly-Convex Finite-sum Coupled Compositional Optimization [42.861002114813864]
  本稿では,新しい合成最適化問題である$linebf n$on-underline underlinebf sakly underlinebf c$ompositional $underlineunderlineについて検討する。
  論文  参考訳（メタデータ） (2023-10-05T01:01:09Z)
• Stochastic Nested Compositional Bi-level Optimization for Robust Feature Learning [11.236838268731804]
  ネストされた二段階最適化問題を解くアルゴリズムを開発し,解析する。 提案アルゴリズムは,行列複雑性やミニバッチに依存しない。
  論文  参考訳（メタデータ） (2023-07-11T15:52:04Z)
• Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation Constrained Optimization [88.0031283949404]
  多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。 提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-19T14:48:54Z)
• Nonsmooth Nonconvex-Nonconcave Minimax Optimization: Primal-Dual Balancing and Iteration Complexity Analysis [23.80683445944524]
  PLDAの新たな解析手法を導入し,その鍵となるのは,新たに開発された非滑らかかつ二重なエラー反復である。 PLDA が $thetain [0,12]$ のとき、緩やかな仮定の下で最適な $mathcalO()$ を達成する。
  論文  参考訳（メタデータ） (2022-09-22T07:12:48Z)
• Gradient-Free Methods for Deterministic and Stochastic Nonsmooth Nonconvex Optimization [94.19177623349947]
  非滑らかな非最適化問題は、機械学習とビジネス製造に現れる。 2つのコア課題は、有限収束を保証する効率的な方法の開発を妨げる。 GFMとSGFMの2相版も提案され, 改良された大規模評価結果が得られた。
  論文  参考訳（メタデータ） (2022-09-12T06:53:24Z)
• Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
  制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。 新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。 これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
  論文  参考訳（メタデータ） (2021-10-20T02:57:21Z)
• Randomized Stochastic Variance-Reduced Methods for Stochastic Bilevel Optimization [62.87181271021217]
  機械学習に多くの応用がある非SBO問題を考察する。 本稿では,非SBO問題に対する高速ランダム化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-05T18:28:42Z)
• Optimal Algorithms for Convex Nested Stochastic Composite Optimization [13.200502573462712]
  凸ネスト複合最適化 (NSCO) は、強化学習およびリスク-逆最適化におけるその応用に多大な注目を集めている。 現在の NSCO アルゴリズムは、ネスト構造を持たない単純な合成最適化問題よりも、桁違いに、オラクルの複雑さが悪化している。 我々は、滑らかで構造化された非滑らかで一般の非滑らかな層関数からなる任意の構成から構成した凸 NSCO 問題に対する順序最適化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-11-19T19:22:58Z)
• Stochastic Recursive Variance Reduction for Efficient Smooth Non-Convex Compositional Optimization [20.410012564838933]
  構成最適化は、強化学習における価値関数の評価やポートフォリオ管理など、多くの重要な機械学習タスクで発生する。 本稿では, 一般的なスムーズな非帰納的設定における一般的な構成最適化について検討する。
  論文  参考訳（メタデータ） (2019-12-31T18:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。