論文の概要: Local Linear Convergence of Infeasible Optimization with Orthogonal Constraints

• arxiv url: http://arxiv.org/abs/2412.05689v1
• Date: Sat, 07 Dec 2024 16:02:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:52:54.248139
• Title: Local Linear Convergence of Infeasible Optimization with Orthogonal Constraints
• Title（参考訳）: 直交制約による不実現可能最適化の局所線形収束
• Authors: Youbang Sun, Shixiang Chen, Alfredo Garcia, Shahin Shahrampour,
• Abstract要約: 効率的な代替手段として、不可能なリトラクションに基づくアプローチが提案された。 本稿では,ニューラルネットワークPL条件のみを用いたスムーズな非自由成分分析のための新しいランディングアルゴリズムを確立する。 数値実験により、ランディングアルゴリズムは、計算オーバーヘッドを大幅に削減した最先端のリトラクションベース手法と同等に動作することを示した。
• 参考スコア（独自算出の注目度）: 12.414718831844041
• License:
• Abstract: Many classical and modern machine learning algorithms require solving optimization tasks under orthogonality constraints. Solving these tasks with feasible methods requires a gradient descent update followed by a retraction operation on the Stiefel manifold, which can be computationally expensive. Recently, an infeasible retraction-free approach, termed the landing algorithm, was proposed as an efficient alternative. Motivated by the common occurrence of orthogonality constraints in tasks such as principle component analysis and training of deep neural networks, this paper studies the landing algorithm and establishes a novel linear convergence rate for smooth non-convex functions using only a local Riemannian P{\L} condition. Numerical experiments demonstrate that the landing algorithm performs on par with the state-of-the-art retraction-based methods with substantially reduced computational overhead.
• Abstract（参考訳）: 多くの古典的および近代的な機械学習アルゴリズムは、直交制約の下で最適化タスクを解く必要がある。 これらのタスクを実現可能な方法で解くには、勾配降下更新と、Stiefel多様体上のリトラクション演算が必要であり、計算コストがかかる。 近年, 効率的な代替手段として, 着地アルゴリズム(Lond Algorithm) と呼ばれる非実用的引き抜きフリーアプローチが提案されている。 深層ニューラルネットワークの原理的成分分析や訓練などのタスクにおける直交制約の共通発生を動機として, 着地アルゴリズムを考察し, 局所リーマン P{\L} 条件のみを用いて, 滑らかな非凸関数に対する線形収束率を新たに確立する。 数値実験により、ランディングアルゴリズムは、計算オーバーヘッドを大幅に削減した最先端のリトラクションベース手法と同等に動作することを示した。

関連論文リスト

• A Penalty-Based Guardrail Algorithm for Non-Decreasing Optimization with Inequality Constraints [1.5498250598583487]
  伝統的な数学的プログラミングの解法は制約付き最小化問題を解くのに長い計算時間を必要とする。 ペナルティに基づくガードレールアルゴリズム(PGA)を提案する。
  論文  参考訳（メタデータ） (2024-05-03T10:37:34Z)
• Infeasible Deterministic, Stochastic, and Variance-Reduction Algorithms for Optimization under Orthogonality Constraints [9.301728976515255]
  本稿では,着陸アルゴリズムの実用化と理論的展開について述べる。 まず、この方法はスティーフェル多様体に拡張される。 また、コスト関数が多くの関数の平均である場合の分散還元アルゴリズムについても検討する。
  論文  参考訳（メタデータ） (2023-03-29T07:36:54Z)
• Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
  本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。 微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
  論文  参考訳（メタデータ） (2023-02-24T18:41:48Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• A Variance-Reduced Stochastic Gradient Tracking Algorithm for Decentralized Optimization with Orthogonality Constraints [7.028225540638832]
  直交制約付き分散最適化のための新しいアルゴリズムを提案する。 VRSGTは、サンプリングと通信の複雑さを同時に低減する直交制約付き分散最適化のための最初のアルゴリズムである。 数値実験では、VRGTSは現実の自律的なサンプルにおいて有望な性能を持つ。
  論文  参考訳（メタデータ） (2022-08-29T14:46:44Z)
• The Neural Network shifted-Proper Orthogonal Decomposition: a Machine Learning Approach for Non-linear Reduction of Hyperbolic Equations [0.0]
  本研究では,統計的学習フレームワークにおいて,正しい前処理変換を自動的に検出する問題にアプローチする。 純粋にデータ駆動方式により、線形部分空間操作の既存のアプローチを未知の対流場を持つ非線形双曲問題に一般化することができる。 提案アルゴリズムは、その性能をベンチマークするために単純なテストケースに対して検証され、その後、多相シミュレーションに成功している。
  論文  参考訳（メタデータ） (2021-08-14T15:13:35Z)
• On Constraints in First-Order Optimization: A View from Non-Smooth Dynamical Systems [99.59934203759754]
  本稿では,スムーズな制約付き最適化のための一階法について紹介する。 提案手法の2つの特徴は、実現可能な集合全体の投影や最適化が避けられることである。 結果として得られるアルゴリズムの手順は、制約が非線形であっても簡単に実装できる。
  論文  参考訳（メタデータ） (2021-07-17T11:45:13Z)
• Conditional gradient methods for stochastically constrained convex minimization [54.53786593679331]
  構造凸最適化問題に対する条件勾配に基づく2つの新しい解法を提案する。 私たちのフレームワークの最も重要な特徴は、各イテレーションで制約のサブセットだけが処理されることです。 提案アルゴリズムは, 条件勾配のステップとともに, 分散の低減と平滑化に頼り, 厳密な収束保証を伴っている。
  論文  参考訳（メタデータ） (2020-07-07T21:26:35Z)
• IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
  本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。 提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。 加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
  論文  参考訳（メタデータ） (2020-06-11T18:49:06Z)
• Second-Order Guarantees in Centralized, Federated and Decentralized Nonconvex Optimization [64.26238893241322]
  単純なアルゴリズムは、多くの文脈において優れた経験的結果をもたらすことが示されている。 いくつかの研究は、非最適化問題を研究するための厳密な分析的正当化を追求している。 これらの分析における重要な洞察は、摂動が局所的な降下アルゴリズムを許容する上で重要な役割を担っていることである。
  論文  参考訳（メタデータ） (2020-03-31T16:54:22Z)
• A Novel Learnable Gradient Descent Type Algorithm for Non-convex Non-smooth Inverse Problems [3.888272676868008]
  本稿では,汎用アーキテクチャとニューラルネットワークを用いた逆問題の解法を提案する。 提案したネットワークは, 画像問題に対して, 効率と結果の点で, 状態再構成法よりも優れていた。
  論文  参考訳（メタデータ） (2020-03-15T03:44:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。