論文の概要: Retraction-Free Decentralized Non-convex Optimization with Orthogonal Constraints

• arxiv url: http://arxiv.org/abs/2405.11590v2
• Date: Sat, 07 Dec 2024 16:06:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:47:40.299260
• Title: Retraction-Free Decentralized Non-convex Optimization with Orthogonal Constraints
• Title（参考訳）: 直交制約を考慮したリトラクション自由分散非凸最適化
• Authors: Youbang Sun, Shixiang Chen, Alfredo Garcia, Shahin Shahrampour,
• Abstract要約: 提案手法は,textbfDecentralized textbfRetraction-textbfFree textbfGradient textbfTracking (DRFGT) と呼ばれる,リトラクションフリーランディングアルゴリズムの最初の分散バージョンを提案する。 実験により、DRFGTは計算オーバーヘッドを大幅に削減した最先端のリトラクションベースの手法と同等に動作することが示された。
• 参考スコア（独自算出の注目度）: 12.414718831844041
• License:
• Abstract: In this paper, we investigate decentralized non-convex optimization with orthogonal constraints. Conventional algorithms for this setting require either manifold retractions or other types of projection to ensure feasibility, both of which involve costly linear algebra operations (e.g., SVD or matrix inversion). On the other hand, infeasible methods are able to provide similar performance with higher computational efficiency. Inspired by this, we propose the first decentralized version of the retraction-free landing algorithm, called \textbf{D}ecentralized \textbf{R}etraction-\textbf{F}ree \textbf{G}radient \textbf{T}racking (DRFGT). We theoretically prove that DRFGT enjoys the ergodic convergence rate of $\mathcal{O}(1/K)$, matching the convergence rate of centralized, retraction-based methods. We further establish that under a local Riemannian P{\L} condition, DRFGT achieves a much faster linear convergence rate. Numerical experiments demonstrate that DRFGT performs on par with the state-of-the-art retraction-based methods with substantially reduced computational overhead.
• Abstract（参考訳）: 本稿では,直交制約を用いた分散非凸最適化について検討する。 この設定の従来のアルゴリズムは、高コストな線型代数演算(例えば SVD や行列反転)を含む実効性を確保するために、多様体の取り消しまたは他の種類の射影を必要とする。 一方、実現不可能な手法は、高い計算効率で同様の性能を提供できる。 そこで本研究では,リトラクションフリーランディングアルゴリズムの最初の分散バージョンである \textbf{D}ecentralized \textbf{R}etraction-\textbf{F}ree \textbf{G}radient \textbf{T}racking (DRFGT)を提案する。 理論的には、DRFGTは、集中的リトラクション法(英語版)の収束率と一致する$\mathcal{O}(1/K)$のエルゴード収束率を享受する。 さらに、局所リーマン P{\L} 条件の下では、DRFGT はより高速な線形収束速度を達成する。 数値実験により, DRFGTは計算オーバーヘッドを大幅に低減した最先端のリトラクション法と同等に動作することを示した。

関連論文リスト

• Deep Inertia $L_p$ Half-Quadratic Splitting Unrolling Network for Sparse View CT Reconstruction [20.632166806596278]
  スパース・ビュー・コンピュート・トモグラフィー (CT) 再構成は, 効果的な正則化技術を必要とする, 難解な逆問題を引き起こす。 L_p$-norm正規化(英語版)を用いてスパーシリティを誘導し、慣性ステップを導入し、慣性$L_p$-norm半四分法分割アルゴリズムの開発に繋がる。 提案アルゴリズムは既存の手法を超越し、特にスキャンされたビューや複雑なノイズ条件が少ない。
  論文  参考訳（メタデータ） (2024-08-13T03:32:59Z)
• Decentralized Sum-of-Nonconvex Optimization [42.04181488477227]
  我々は、平均的な非合意数である保証関数(sum-of-non function)の最適化問題を考察する。 本稿では,勾配,速度追跡,マルチコンセンサスといった手法を用いて,高速化された分散化1次アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-04T05:48:45Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Low-Rank Tensor Completion via Novel Sparsity-Inducing Regularizers [30.920908325825668]
  低ランクテンソル完備化問題において、l1-ノルムを緩和するため、非ランクサロゲート/正則化器が提案されている。 これらの正則化器は核ランク復元に適用され,乗算器法に基づく効率的なアルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2023-10-10T01:00:13Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• A Variance-Reduced Stochastic Gradient Tracking Algorithm for Decentralized Optimization with Orthogonality Constraints [7.028225540638832]
  直交制約付き分散最適化のための新しいアルゴリズムを提案する。 VRSGTは、サンプリングと通信の複雑さを同時に低減する直交制約付き分散最適化のための最初のアルゴリズムである。 数値実験では、VRGTSは現実の自律的なサンプルにおいて有望な性能を持つ。
  論文  参考訳（メタデータ） (2022-08-29T14:46:44Z)
• Fully-Connected Tensor Network Decomposition for Robust Tensor Completion Problem [9.580645211308557]
  本稿では,RTC問題に対する$textbfFCTN$-based $textbfr$obust $textbfc$onvex Optimization Model (RC-FCTN)を提案する。 制約付き最適化モデルRC-FCTNの解法として,乗算器の交互方向法(ADMM)を提案する。 RNC-FCTNを解くために,PAMに基づくアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-10-17T08:12:50Z)
• Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
  通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。 我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。 我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
  論文  参考訳（メタデータ） (2021-06-08T15:54:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。