論文の概要: Global Convergence of Decentralized Retraction-Free Optimization on the Stiefel Manifold

• arxiv url: http://arxiv.org/abs/2405.11590v1
• Date: Sun, 19 May 2024 15:50:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 15:12:36.311510
• Title: Global Convergence of Decentralized Retraction-Free Optimization on the Stiefel Manifold
• Title（参考訳）: スティフェル多様体上の分散リトラクションフリー最適化のグローバル収束性
• Authors: Youbang Sun, Shixiang Chen, Alfredo Garcia, Shahin Shahrampour,
• Abstract要約: そこで, DRFGT は, 対応する DRFGT 法に基づいて, 勾配のリトラクションを行うことを示す。 また、DRFGTはエージェントのネットワーク上でリトラクションを行うことができる。
• 参考スコア（独自算出の注目度）: 12.414718831844041
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many classical and modern machine learning algorithms require solving optimization tasks under orthogonal constraints. Solving these tasks often require calculating retraction-based gradient descent updates on the corresponding Riemannian manifold, which can be computationally expensive. Recently Ablin et al. proposed an infeasible retraction-free algorithm, which is significantly more efficient. In this paper, we study the decentralized non-convex optimization task over a network of agents on the Stiefel manifold with retraction-free updates. We propose \textbf{D}ecentralized \textbf{R}etraction-\textbf{F}ree \textbf{G}radient \textbf{T}racking (DRFGT) algorithm, and show that DRFGT exhibits ergodic $\mathcal{O}(1/K)$ convergence rate, the same rate of convergence as the centralized, retraction-based methods. We also provide numerical experiments demonstrating that DRFGT performs on par with the state-of-the-art retraction based methods with substantially reduced computational overhead.
• Abstract（参考訳）: 多くの古典的および近代的な機械学習アルゴリズムは、直交制約の下で最適化タスクを解く必要がある。 これらのタスクを解くには、計算コストのかかる対応するリーマン多様体上のリトラクションベースの勾配降下更新を計算する必要がある。 最近、Ablinらは、はるかに効率のよい非実現不可能なリトラクションフリーアルゴリズムを提案した。 本稿では,Stiefel多様体上のエージェントネットワーク上の分散非凸最適化タスクについて,リトラクションフリー更新を用いて検討する。 本稿では, DRFGT が ergodic $\mathcal{O}(1/K)$ convergence rate を示すことを示す。 また, DRFGTが計算オーバーヘッドを大幅に低減した最先端リトラクション法と同等に動作することを示す数値実験を行った。

関連論文リスト

• Deep Inertia $L_p$ Half-Quadratic Splitting Unrolling Network for Sparse View CT Reconstruction [20.632166806596278]
  スパース・ビュー・コンピュート・トモグラフィー (CT) 再構成は, 効果的な正則化技術を必要とする, 難解な逆問題を引き起こす。 L_p$-norm正規化(英語版)を用いてスパーシリティを誘導し、慣性ステップを導入し、慣性$L_p$-norm半四分法分割アルゴリズムの開発に繋がる。 提案アルゴリズムは既存の手法を超越し、特にスキャンされたビューや複雑なノイズ条件が少ない。
  論文  参考訳（メタデータ） (2024-08-13T03:32:59Z)
• Decentralized Sum-of-Nonconvex Optimization [42.04181488477227]
  我々は、平均的な非合意数である保証関数(sum-of-non function)の最適化問題を考察する。 本稿では,勾配,速度追跡,マルチコンセンサスといった手法を用いて,高速化された分散化1次アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-04T05:48:45Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Low-Rank Tensor Completion via Novel Sparsity-Inducing Regularizers [30.920908325825668]
  低ランクテンソル完備化問題において、l1-ノルムを緩和するため、非ランクサロゲート/正則化器が提案されている。 これらの正則化器は核ランク復元に適用され,乗算器法に基づく効率的なアルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2023-10-10T01:00:13Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• A Variance-Reduced Stochastic Gradient Tracking Algorithm for Decentralized Optimization with Orthogonality Constraints [7.028225540638832]
  直交制約付き分散最適化のための新しいアルゴリズムを提案する。 VRSGTは、サンプリングと通信の複雑さを同時に低減する直交制約付き分散最適化のための最初のアルゴリズムである。 数値実験では、VRGTSは現実の自律的なサンプルにおいて有望な性能を持つ。
  論文  参考訳（メタデータ） (2022-08-29T14:46:44Z)
• Fully-Connected Tensor Network Decomposition for Robust Tensor Completion Problem [9.580645211308557]
  本稿では,RTC問題に対する$textbfFCTN$-based $textbfr$obust $textbfc$onvex Optimization Model (RC-FCTN)を提案する。 制約付き最適化モデルRC-FCTNの解法として,乗算器の交互方向法(ADMM)を提案する。 RNC-FCTNを解くために,PAMに基づくアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-10-17T08:12:50Z)
• Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
  通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。 我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。 我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
  論文  参考訳（メタデータ） (2021-06-08T15:54:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。