論文の概要: Single-loop Algorithms for Stochastic Non-convex Optimization with Weakly-Convex Constraints

• arxiv url: http://arxiv.org/abs/2504.15243v1
• Date: Mon, 21 Apr 2025 17:15:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-29 15:38:19.389864
• Title: Single-loop Algorithms for Stochastic Non-convex Optimization with Weakly-Convex Constraints
• Title（参考訳）: 弱凸制約を用いた確率的非凸最適化のためのシングルループアルゴリズム
• Authors: Ming Yang, Gang Li, Quanqi Hu, Qihang Lin, Tianbao Yang,
• Abstract要約: 本稿では、目的関数と制約関数の両方が弱凸である問題の重要な部分集合について検討する。 既存の手法では、収束速度の遅さや二重ループ設計への依存など、しばしば制限に直面している。 これらの課題を克服するために,新しい単一ループペナルティに基づくアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 49.76332265680669
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Constrained optimization with multiple functional inequality constraints has significant applications in machine learning. This paper examines a crucial subset of such problems where both the objective and constraint functions are weakly convex. Existing methods often face limitations, including slow convergence rates or reliance on double-loop algorithmic designs. To overcome these challenges, we introduce a novel single-loop penalty-based stochastic algorithm. Following the classical exact penalty method, our approach employs a {\bf hinge-based penalty}, which permits the use of a constant penalty parameter, enabling us to achieve a {\bf state-of-the-art complexity} for finding an approximate Karush-Kuhn-Tucker (KKT) solution. We further extend our algorithm to address finite-sum coupled compositional objectives, which are prevalent in artificial intelligence applications, establishing improved complexity over existing approaches. Finally, we validate our method through experiments on fair learning with receiver operating characteristic (ROC) fairness constraints and continual learning with non-forgetting constraints.
• Abstract（参考訳）: 複数の機能的不等式制約を持つ制約付き最適化は、機械学習において重要な応用である。 本稿では、目的関数と制約関数の両方が弱凸であるような問題の重要な部分集合について検討する。 既存の手法では、収束速度の遅さや二重ループアルゴリズムの設計への依存など、しばしば制限に直面している。 これらの課題を克服するために,単ループペナルティに基づく確率的アルゴリズムを提案する。 古典的な厳密なペナルティ法に従うと、我々のアプローチでは、定数ペナルティパラメータの使用を許し、近似的なKKT(Karush-Kuhn-Tucker)解を見つけるために、{bf state-of-the-art complexity}を達成することができる。 さらに、人工知能アプリケーションで広く使われている有限サム結合構成目的に対処するために、我々のアルゴリズムを拡張し、既存のアプローチよりも改善された複雑さを確立します。 最後に,受信者動作特性(ROC)の公正性制約を用いたフェアラーニング実験と,非フォッゲッティング制約による連続学習により,本手法の有効性を検証した。

関連論文リスト

• A single-loop SPIDER-type stochastic subgradient method for expectation-constrained nonconvex nonsmooth optimization [17.25924791071807]
  複雑な制約に対する新しい種類の下次アルゴリズムを提案する。 提案手法は, 2-of-the-artアルゴリズムよりもはるかに高速であることを示す。
  論文  参考訳（メタデータ） (2025-01-31T15:18:52Z)
• A Double Tracking Method for Optimization with Decentralized Generalized Orthogonality Constraints [4.6796315389639815]
  分散最適化問題は分散制約の存在下では解決できない。 目的関数の勾配と制約写像のヤコビアンを同時に追跡する新しいアルゴリズムを導入する。 合成と実世界の両方のデータセットに数値的な結果を示す。
  論文  参考訳（メタデータ） (2024-09-08T06:57:35Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• Optimal Algorithms for Stochastic Complementary Composite Minimization [55.26935605535377]
  統計学と機械学習における正規化技術に触発され,補完的な複合化の最小化について検討した。 予測と高い確率で、新しい過剰なリスク境界を提供する。 我々のアルゴリズムはほぼ最適であり、このクラスの問題に対して、新しいより低い複雑性境界によって証明する。
  論文  参考訳（メタデータ） (2022-11-03T12:40:24Z)
• Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
  制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。 新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。 これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
  論文  参考訳（メタデータ） (2021-10-20T02:57:21Z)
• Zeroth and First Order Stochastic Frank-Wolfe Algorithms for Constrained Optimization [13.170519806372075]
  2組の制約を持つ凸最適化の問題は、半定値プログラミングの文脈で頻繁に発生する。 最初の制約セットへのプロジェクションは困難であるため、プロジェクションフリーなアルゴリズムを探索する必要がある。 提案アルゴリズムの有効性は, スパース行列推定, 半定緩和によるクラスタリング, および一様スペースカット問題の適用性について検証した。
  論文  参考訳（メタデータ） (2021-07-14T08:01:30Z)
• A Feasible Level Proximal Point Method for Nonconvex Sparse Constrained Optimization [25.73397307080647]
  本稿では,汎用凸あるいは非汎用機械目標の新しいモデルを提案する。 本稿では,各サブプロブレムの点レベルを徐々に緩和した制約を解くアルゴリズムを提案する。 我々は,新しい数値スケール問題の有効性を実証する。
  論文  参考訳（メタデータ） (2020-10-23T05:24:05Z)
• Combining Deep Learning and Optimization for Security-Constrained Optimal Power Flow [94.24763814458686]
  セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。 SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。 本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T12:38:21Z)
• Conditional gradient methods for stochastically constrained convex minimization [54.53786593679331]
  構造凸最適化問題に対する条件勾配に基づく2つの新しい解法を提案する。 私たちのフレームワークの最も重要な特徴は、各イテレーションで制約のサブセットだけが処理されることです。 提案アルゴリズムは, 条件勾配のステップとともに, 分散の低減と平滑化に頼り, 厳密な収束保証を伴っている。
  論文  参考訳（メタデータ） (2020-07-07T21:26:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。