論文の概要: DCatalyst: A Unified Accelerated Framework for Decentralized Optimization
- arxiv url: http://arxiv.org/abs/2501.18114v1
- Date: Thu, 30 Jan 2025 03:32:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-31 15:13:57.028143
- Title: DCatalyst: A Unified Accelerated Framework for Decentralized Optimization
- Title（参考訳）: DCatalyst: 分散最適化のための統一的な加速フレームワーク
- Authors: Tianyu Cao, Xiaokai Chen, Gesualdo Scutari,
- Abstract要約: 中央サーバを持たないグラフとしてモデル化されたエージェントネットワーク上での分散最適化について検討する。
我々はNesterovアクセラレーションを分散最適化アルゴリズムに統合した統合ブラックボックスフレームワークDCatalystを紹介する。
- 参考スコア（独自算出の注目度）: 10.925931212031692
- License:
- Abstract: We study decentralized optimization over a network of agents, modeled as graphs, with no central server. The goal is to minimize $f+r$, where $f$ represents a (strongly) convex function averaging the local agents' losses, and $r$ is a convex, extended-value function. We introduce DCatalyst, a unified black-box framework that integrates Nesterov acceleration into decentralized optimization algorithms. %, enhancing their performance. At its core, DCatalyst operates as an \textit{inexact}, \textit{momentum-accelerated} proximal method (forming the outer loop) that seamlessly incorporates any selected decentralized algorithm (as the inner loop). We demonstrate that DCatalyst achieves optimal communication and computational complexity (up to log-factors) across various decentralized algorithms and problem instances. Notably, it extends acceleration capabilities to problem classes previously lacking accelerated solution methods, thereby broadening the effectiveness of decentralized methods. On the technical side, our framework introduce the {\it inexact estimating sequences}--a novel extension of the well-known Nesterov's estimating sequences, tailored for the minimization of composite losses in decentralized settings. This method adeptly handles consensus errors and inexact solutions of agents' subproblems, challenges not addressed by existing models.
- Abstract（参考訳）: 中央サーバを持たないグラフとしてモデル化されたエージェントネットワーク上での分散最適化について検討する。
目的は$f+r$を最小化することであり、$f$は(強く)局所エージェントの損失を平均化する凸関数を表し、$r$は凸で拡張値関数である。
我々はNesterovアクセラレーションを分散最適化アルゴリズムに統合した統合ブラックボックスフレームワークDCatalystを紹介する。
%, 性能が向上した。
DCatalystのコアは、選択した分散アルゴリズム(内ループ)をシームレスに組み込む、 \textit{inexact}, \textit{momentum-accelerated} proximal method(外ループを形成する)として動作する。
我々は,DCatalystが様々な分散アルゴリズムや問題インスタンスにまたがる最適な通信と計算複雑性(ログファクタまで)を実現することを実証した。
特に、前述した高速化解法を欠いた問題クラスに加速能力を拡張し、分散化手法の有効性を拡大する。
技術面では、このフレームワークはNesterov氏の推定シーケンスの新たな拡張であり、分散環境での複合的損失の最小化を目的としている。
この手法は、既存のモデルでは対処できない課題であるエージェントのサブプロブレムのコンセンサスエラーや不正確な解を適切に処理する。
関連論文リスト
- Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。
DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。
実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
論文 参考訳（メタデータ） (2024-10-09T06:17:16Z) - Lower Bounds and Optimal Algorithms for Non-Smooth Convex Decentralized Optimization over Time-Varying Networks [57.24087627267086]
通信ネットワークのノード間で分散的に格納された凸関数の総和を最小化するタスクについて検討する。
この問題を解決するのに必要な分散通信数と(サブ)漸進計算の下位境界が確立されている。
我々は,これらの下界に適合する最初の最適アルゴリズムを開発し,既存の最先端技術と比較して理論性能を著しく向上させる。
論文 参考訳（メタデータ） (2024-05-28T10:28:45Z) - Retraction-Free Decentralized Non-convex Optimization with Orthogonal Constraints [12.414718831844041]
提案手法は,textbfDecentralized textbfRetraction-textbfFree textbfGradient textbfTracking (DRFGT) と呼ばれる,リトラクションフリーランディングアルゴリズムの最初の分散バージョンを提案する。
実験により、DRFGTは計算オーバーヘッドを大幅に削減した最先端のリトラクションベースの手法と同等に動作することが示された。
論文 参考訳（メタデータ） (2024-05-19T15:50:57Z) - Stability and Generalization of the Decentralized Stochastic Gradient
Descent Ascent Algorithm [80.94861441583275]
本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。
本研究は,D-SGDAの一般化における各因子の影響を解析した。
また、最適凸凹設定を得るために一般化とバランスをとる。
論文 参考訳（メタデータ） (2023-10-31T11:27:01Z) - Achieving Linear Speedup in Decentralized Stochastic Compositional
Minimax Optimization [22.988563731766586]
合成ミニマックス問題は、多くの新興機械学習モデルをカバーするため、近年注目を集めている。
本研究は,分散化合成ミニマックス問題に対して,標準ゴシップ通信方式では線形高速化が達成できないことを示す。
本研究では,インナーレベル関数におけるコンセンサス誤差を低減するために,モーメント勾配アルゴリズムを用いた新たな分散合成降下法を開発した。
論文 参考訳（メタデータ） (2023-07-25T11:51:20Z) - Can Decentralized Stochastic Minimax Optimization Algorithms Converge
Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。
本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-04-24T02:19:39Z) - On Accelerating Distributed Convex Optimizations [0.0]
本稿では,分散マルチエージェント凸最適化問題について検討する。
提案アルゴリズムは, 従来の勾配偏光法よりも収束率を向上し, 線形収束することを示す。
実ロジスティック回帰問題の解法として,従来の分散アルゴリズムと比較して,アルゴリズムの性能が優れていることを示す。
論文 参考訳（メタデータ） (2021-08-19T13:19:54Z) - Optimization on manifolds: A symplectic approach [127.54402681305629]
本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。
我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
論文 参考訳（メタデータ） (2021-07-23T13:43:34Z) - A Decentralized Adaptive Momentum Method for Solving a Class of Min-Max
Optimization Problems [9.653157073271021]
我々は、min-max最適化問題を解決するために、分散適応運動量 (ADAM) 型アルゴリズムを開発した。
我々は、(確率的な)一階のナッシュ平衡点を求めるための提案アルゴリズムの非漸近収束率を求める。
論文 参考訳（メタデータ） (2021-06-10T22:32:01Z) - Decentralized Statistical Inference with Unrolled Graph Neural Networks [26.025935320024665]
分散最適化アルゴリズムをグラフニューラルネットワーク(GNN)にアンロールする学習ベースフレームワークを提案する。
エンドツーエンドトレーニングによるリカバリエラーを最小限にすることで、この学習ベースのフレームワークは、モデルのミスマッチ問題を解決する。
コンバージェンス解析により,学習したモデルパラメータがコンバージェンスを加速し,リカバリエラーを広範囲に低減できることが明らかとなった。
論文 参考訳（メタデータ） (2021-04-04T07:52:34Z) - Second-Order Guarantees in Centralized, Federated and Decentralized
Nonconvex Optimization [64.26238893241322]
単純なアルゴリズムは、多くの文脈において優れた経験的結果をもたらすことが示されている。
いくつかの研究は、非最適化問題を研究するための厳密な分析的正当化を追求している。
これらの分析における重要な洞察は、摂動が局所的な降下アルゴリズムを許容する上で重要な役割を担っていることである。
論文 参考訳（メタデータ） (2020-03-31T16:54:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。