論文の概要: Global Convergence of Decentralized Retraction-Free Optimization on the Stiefel Manifold

• arxiv url: http://arxiv.org/abs/2405.11590v1
• Date: Sun, 19 May 2024 15:50:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 15:12:36.311510
• Title: Global Convergence of Decentralized Retraction-Free Optimization on the Stiefel Manifold
• Title（参考訳）: スティフェル多様体上の分散リトラクションフリー最適化のグローバル収束性
• Authors: Youbang Sun, Shixiang Chen, Alfredo Garcia, Shahin Shahrampour,
• Abstract要約: そこで, DRFGT は, 対応する DRFGT 法に基づいて, 勾配のリトラクションを行うことを示す。 また、DRFGTはエージェントのネットワーク上でリトラクションを行うことができる。
• 参考スコア（独自算出の注目度）: 12.414718831844041
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many classical and modern machine learning algorithms require solving optimization tasks under orthogonal constraints. Solving these tasks often require calculating retraction-based gradient descent updates on the corresponding Riemannian manifold, which can be computationally expensive. Recently Ablin et al. proposed an infeasible retraction-free algorithm, which is significantly more efficient. In this paper, we study the decentralized non-convex optimization task over a network of agents on the Stiefel manifold with retraction-free updates. We propose \textbf{D}ecentralized \textbf{R}etraction-\textbf{F}ree \textbf{G}radient \textbf{T}racking (DRFGT) algorithm, and show that DRFGT exhibits ergodic $\mathcal{O}(1/K)$ convergence rate, the same rate of convergence as the centralized, retraction-based methods. We also provide numerical experiments demonstrating that DRFGT performs on par with the state-of-the-art retraction based methods with substantially reduced computational overhead.
• Abstract（参考訳）: 多くの古典的および近代的な機械学習アルゴリズムは、直交制約の下で最適化タスクを解く必要がある。 これらのタスクを解くには、計算コストのかかる対応するリーマン多様体上のリトラクションベースの勾配降下更新を計算する必要がある。 最近、Ablinらは、はるかに効率のよい非実現不可能なリトラクションフリーアルゴリズムを提案した。 本稿では,Stiefel多様体上のエージェントネットワーク上の分散非凸最適化タスクについて,リトラクションフリー更新を用いて検討する。 本稿では, DRFGT が ergodic $\mathcal{O}(1/K)$ convergence rate を示すことを示す。 また, DRFGTが計算オーバーヘッドを大幅に低減した最先端リトラクション法と同等に動作することを示す数値実験を行った。

関連論文リスト

• Decentralized Sum-of-Nonconvex Optimization [42.04181488477227]
  我々は、平均的な非合意数である保証関数(sum-of-non function)の最適化問題を考察する。 本稿では,勾配,速度追跡,マルチコンセンサスといった手法を用いて,高速化された分散化1次アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-04T05:48:45Z)
• Energy-Guided Continuous Entropic Barycenter Estimation for General Costs [95.33926437521046]
  任意のOTコスト関数に対して連続的エントロピーOT(EOT)バリセンタを近似する新しいアルゴリズムを提案する。 本手法は、弱いOTに基づくEOT問題の二重再構成に基づいている。
  論文  参考訳（メタデータ） (2023-10-02T11:24:36Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Decentralized Riemannian Algorithm for Nonconvex Minimax Problems [82.50374560598493]
  ニューラルネットワークのためのミニマックスアルゴリズムは、多くの問題を解決するために開発された。 本稿では,2種類のミニマックスアルゴリズムを提案する。 そこで我々は, DRSGDAを提案し, 本手法が勾配を達成することを証明した。
  論文  参考訳（メタデータ） (2023-02-08T01:42:45Z)
• Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
  我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。 我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
  論文  参考訳（メタデータ） (2022-10-14T01:42:05Z)
• Decentralized Stochastic Proximal Gradient Descent with Variance Reduction over Time-varying Networks [30.231314171218994]
  分散学習において、ノードのネットワークは、通常、その局所的な目的の有限サムである全体的な目的関数を最小化するために協力する。 そこで本研究では,分散縮小手法を利用して分散学習を高速化する新しいアルゴリズムDPSVRGを提案する。
  論文  参考訳（メタデータ） (2021-12-20T08:23:36Z)
• Fully-Connected Tensor Network Decomposition for Robust Tensor Completion Problem [9.580645211308557]
  本稿では,RTC問題に対する$textbfFCTN$-based $textbfr$obust $textbfc$onvex Optimization Model (RC-FCTN)を提案する。 制約付き最適化モデルRC-FCTNの解法として,乗算器の交互方向法(ADMM)を提案する。 RNC-FCTNを解くために,PAMに基づくアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-10-17T08:12:50Z)
• On Accelerating Distributed Convex Optimizations [0.0]
  本稿では,分散マルチエージェント凸最適化問題について検討する。 提案アルゴリズムは, 従来の勾配偏光法よりも収束率を向上し, 線形収束することを示す。 実ロジスティック回帰問題の解法として,従来の分散アルゴリズムと比較して,アルゴリズムの性能が優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-19T13:19:54Z)
• Asynchronous Distributed Reinforcement Learning for LQR Control via Zeroth-Order Block Coordinate Descent [7.6860514640178]
  分散強化学習のための新しいゼロ階最適化アルゴリズムを提案する。 これにより、各エージェントはコンセンサスプロトコルを使わずに、コスト評価を独立してローカル勾配を推定できる。
  論文  参考訳（メタデータ） (2021-07-26T18:11:07Z)
• Distributed stochastic optimization with large delays [59.95552973784946]
  大規模最適化問題を解決する最も広く使われている手法の1つは、分散非同期勾配勾配(DASGD)である。 DASGDは同じ遅延仮定の下で大域的最適実装モデルに収束することを示す。
  論文  参考訳（メタデータ） (2021-07-06T21:59:49Z)
• Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
  通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。 我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。 我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
  論文  参考訳（メタデータ） (2021-06-08T15:54:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。