論文の概要: Primal-Dual Methods for Nonsmooth Nonconvex Optimization with Orthogonality Constraints

• arxiv url: http://arxiv.org/abs/2604.04130v1
• Date: Sun, 05 Apr 2026 14:27:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:18.935096
• Title: Primal-Dual Methods for Nonsmooth Nonconvex Optimization with Orthogonality Constraints
• Title（参考訳）: 直交性制約をもつ非滑らかな非凸最適化のための原始双対法
• Authors: Linglingzhi Zhu, Wentao Ding, Shangyuan Liu, Anthony Man-Cho So,
• Abstract要約: 非線形および非最適化問題に特化して設計した線形化平滑化ラグランジアン法を提案する。 標準の Kurdyka-LojasiewiczKL 特性の呼び出しにより,提案アルゴリズムの逐次収束を示す。 平滑な制約問題と非滑らかな制約問題の両方の数値実験により、提案手法の計算効率とスケーラビリティが最先端のアルゴリズムと比較して優れていることを示した。
• 参考スコア（独自算出の注目度）: 18.943465155749003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in data science have significantly elevated the importance of orthogonally constrained optimization problems. The Riemannian approach has become a popular technique for addressing these problems due to the advantageous computational and analytical properties of the Stiefel manifold. Nonetheless, the interplay of nonsmoothness alongside orthogonality constraints introduces substantial challenges to current Riemannian methods, including scalability, parallelizability, complicated subproblems, and cumulative numerical errors that threaten feasibility. In this paper, we take a retraction-free primal-dual approach and propose a linearized smoothing augmented Lagrangian method specifically designed for nonsmooth and nonconvex optimization with orthogonality constraints. Our proposed method is single-loop and free of subproblem solving. We establish its iteration complexity of $O(ε^{-3})$ for finding $ε$-KKT points, matching the best-known results in the Riemannian optimization literature. Additionally, by invoking the standard Kurdyka-Lojasiewicz (KL) property, we demonstrate asymptotic sequential convergence of the proposed algorithm. Numerical experiments on both smooth and nonsmooth orthogonal constrained problems demonstrate the superior computational efficiency and scalability of the proposed method compared with state-of-the-art algorithms.
• Abstract（参考訳）: データサイエンスの最近の進歩は、直交制約付き最適化問題の重要性を著しく高めている。 リーマンのアプローチは、スティーフェル多様体の有利な計算および解析的性質のためにこれらの問題に対処する一般的な手法となっている。 それにもかかわらず、直交制約を伴う非滑らか性の相互作用は、拡張性、並列化性、複雑なサブプロブレム、実現可能性の脅かす累積数値誤差など、現在のリーマン法に重大な課題をもたらす。 本稿では,非滑らかで非凸な最適化と直交制約を考慮した線形化したラグランジアン法を提案する。 提案手法は単ループであり,サブプロブレムの解法は不要である。 我々は、その反復複雑性を$O(ε^{-3})$ の $ε$-KKT 点を求めるために確立し、リーマン最適化の文献でよく知られた結果と一致する。 さらに、標準クルディカ・ロジャシエヴィチ(KL)特性の呼び出しにより、提案アルゴリズムの漸近的収束を示す。 スムーズかつ非スムーズな直交制約問題に関する数値実験により,提案手法の計算効率とスケーラビリティを最先端のアルゴリズムと比較した。

関連論文リスト

• Online Inference of Constrained Optimization: Primal-Dual Optimality and Sequential Quadratic Programming [55.848340925419286]
  等式制約と不等式制約を持つ2次最適化問題の解に対するオンライン統計的推測について検討した。 これらの問題を解決するための逐次プログラミング(SSQP)手法を開発し、目的の近似と制約の線形近似を逐次実行することでステップ方向を計算する。 本手法は,Hjek と Le Cam の意味での最適原始双対制限行列を用いて局所正規性を示す。
  論文  参考訳（メタデータ） (2025-11-27T06:16:17Z)
• Zeroth-Order Methods for Stochastic Nonconvex Nonsmooth Composite Optimization [51.63258496873442]
  合成最適化問題に関するこれまでの研究は、滑らか性の主要な部分、あるいはこれら2つの近似滑らか性点をそれぞれ除外した機械学習の例を必要とする。 本研究では,この問題に対する2つの新しいアルゴリズムを提案する。 これらのアルゴリズムは数値実験により有効であることを示す。
  論文  参考訳（メタデータ） (2025-10-06T02:35:42Z)
• Efficient Optimization with Orthogonality Constraint: a Randomized Riemannian Submanifold Method [10.239769272138995]
  機械学習における課題を解決するための新しい手法を提案する。 ランダムな部分多様体を更新するための2つの戦略を導入する。 我々は、我々のアプローチが様々な問題にどのように一般化されるかを示す。
  論文  参考訳（メタデータ） (2025-05-18T11:46:44Z)
• Riemannian Optimization on the Oblique Manifold for Sparse Simplex Constraints via Multiplicative Updates [0.0]
  スパース単純性制約による低ランク最適化問題は、非負性、疎性、一対一条件を満たさなければならない変数を含む。 本稿では,これらの問題に効率的に対処するための新しい多様体最適化手法を提案する。
  論文  参考訳（メタデータ） (2025-03-31T13:31:05Z)
• Infeasible Deterministic, Stochastic, and Variance-Reduction Algorithms for Optimization under Orthogonality Constraints [9.301728976515255]
  本稿では,着陸アルゴリズムの実用化と理論的展開について述べる。 まず、この方法はスティーフェル多様体に拡張される。 また、コスト関数が多くの関数の平均である場合の分散還元アルゴリズムについても検討する。
  論文  参考訳（メタデータ） (2023-03-29T07:36:54Z)
• Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
  本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。 微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
  論文  参考訳（メタデータ） (2023-02-24T18:41:48Z)
• Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
  制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。 新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。 これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
  論文  参考訳（メタデータ） (2021-10-20T02:57:21Z)
• Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
  近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
  論文  参考訳（メタデータ） (2020-12-11T08:28:51Z)
• Conditional gradient methods for stochastically constrained convex minimization [54.53786593679331]
  構造凸最適化問題に対する条件勾配に基づく2つの新しい解法を提案する。 私たちのフレームワークの最も重要な特徴は、各イテレーションで制約のサブセットだけが処理されることです。 提案アルゴリズムは, 条件勾配のステップとともに, 分散の低減と平滑化に頼り, 厳密な収束保証を伴っている。
  論文  参考訳（メタデータ） (2020-07-07T21:26:35Z)
• Adaptive First-and Zeroth-order Methods for Weakly Convex Stochastic Optimization Problems [12.010310883787911]
  我々は、弱凸(おそらく非滑らかな)最適化問題の重要なクラスを解くための、適応的な段階的な新しい手法の族を解析する。 実験結果から,提案アルゴリズムが0次勾配降下と設計変動を経験的に上回ることを示す。
  論文  参考訳（メタデータ） (2020-05-19T07:44:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。