論文の概要: Accelerating Decentralized Optimization via Overlapping Local Steps

• arxiv url: http://arxiv.org/abs/2601.01493v1
• Date: Sun, 04 Jan 2026 11:40:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-06 16:25:22.441325
• Title: Accelerating Decentralized Optimization via Overlapping Local Steps
• Title（参考訳）: 重複する局所ステップによる分散最適化の高速化
• Authors: Yijie Zhou, Shi Pu,
• Abstract要約: 本稿では,理論的な保証を犠牲にすることなく分散計算を高速化する新しい手法を提案する。 OLDSGD は局部分散 SGDOLDD と同じイテレーションを維持しつつ,通信遅延の異なるレベルにおいて,各項目の収束性を改善していることを示す。
• 参考スコア（独自算出の注目度）: 6.713278402701195
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralized optimization has emerged as a critical paradigm for distributed learning, enabling scalable training while preserving data privacy through peer-to-peer collaboration. However, existing methods often suffer from communication bottlenecks due to frequent synchronization between nodes. We present Overlapping Local Decentralized SGD (OLDSGD), a novel approach to accelerate decentralized training by computation-communication overlapping, significantly reducing network idle time. With a deliberately designed update, OLDSGD preserves the same average update as Local SGD while avoiding communication-induced stalls. Theoretically, we establish non-asymptotic convergence rates for smooth non-convex objectives, showing that OLDSGD retains the same iteration complexity as standard Local Decentralized SGD while improving per-iteration runtime. Empirical results demonstrate OLDSGD's consistent improvements in wall-clock time convergence under different levels of communication delays. With minimal modifications to existing frameworks, OLDSGD offers a practical solution for faster decentralized learning without sacrificing theoretical guarantees.
• Abstract（参考訳）: 分散学習の重要なパラダイムとして分散最適化が登場し、ピアツーピアコラボレーションを通じてデータのプライバシを保持しながら、スケーラブルなトレーニングを可能にしている。 しかし、既存の手法はノード間の頻繁な同期によって通信ボトルネックに悩まされることが多い。 計算通信オーバーラップによる分散学習を高速化する新たな手法であるOverlapping Local Decentralized SGD(OLDSGD)を提案する。 意図的に設計されたアップデートでは、OLDSGDはローカルSGDと同じ平均更新を保持し、通信によるストールを回避する。 理論的には、スムーズな非凸目的に対する非漸近収束率を確立し、OLDSGDが標準のローカル分散SGDと同じイテレーション複雑性を維持しつつ、イテレーション当たりのランタイムを改善していることを示す。 実験により,OLDSGDのウォールクロック時間収束における一貫した改善が,通信遅延のレベルによって示された。 既存のフレームワークに最小限の変更を加えることで、OLDSGDは理論的な保証を犠牲にすることなく、より高速な分散学習のための実用的なソリューションを提供する。

関連論文リスト

• Asynchronous Decentralized SGD under Non-Convexity: A Block-Coordinate Descent Framework [5.001721812806788]
  本稿では, ADSGD (Asynchronous Decentralized Gradient Descent) の精度向上モデルを提案する。 単純さ、メモリと通信の効率、通信と計算の遅延に対するレジリエンスにより、ADSGDは現実世界の分散学習タスクに適している。
  論文  参考訳（メタデータ） (2025-05-15T14:06:38Z)
• Towards Communication-efficient Federated Learning via Sparse and Aligned Adaptive Optimization [90.08459757321405]
  Federated Adam (FedAdam) アルゴリズムはアップリンク通信オーバーヘッドの3倍の増大に悩まされている。 我々はFedAdam-SSMと呼ばれる新しいスパースなFedAdamアルゴリズムを提案する。 我々は,FedAdam-SSMが訓練したモデルと集中型Adamの差異を最小化することにより,スペーシフィケーションエラーによる学習性能劣化を軽減するためにSSMを最適化する。
  論文  参考訳（メタデータ） (2024-05-28T07:56:49Z)
• Adjacent Leader Decentralized Stochastic Gradient Descent [9.851963228675876]
  この研究は、分散ディープラーニング最適化フレームワークに焦点を当てている。 我々は、隣接型リーダー分散グラディエントディフレッシュ(AL-DSGD)を提案する。 実験により、AL-DSGDは分散化された最先端技術の収束を加速することが示された。
  論文  参考訳（メタデータ） (2024-05-18T20:24:11Z)
• Shadowheart SGD: Distributed Asynchronous SGD with Optimal Time Complexity Under Arbitrary Computation and Communication Heterogeneity [85.92481138826949]
  我々は,従来の集中型手法の時間的複雑さを確実に改善する新しい手法であるShadowheart SGDを開発した。 また、サーバからワーカーへのブロードキャストが無視できない双方向設定も検討し、対応する方法を開発した。
  論文  参考訳（メタデータ） (2024-02-07T12:15:56Z)
• Accelerating Parallel Stochastic Gradient Descent via Non-blocking Mini-batches [3.736244431175932]
  ノンブロッキングSGDは異種環境におけるストラグラー問題に対処することができる。 非ブロッキングSGDは、異種環境において同じトレーニング損失に達するのに最大2倍の時間を要する。
  論文  参考訳（メタデータ） (2022-11-02T05:25:01Z)
• Escaping Saddle Points with Bias-Variance Reduced Local Perturbed SGD for Communication Efficient Nonconvex Distributed Learning [58.79085525115987]
  ローカル手法は通信時間を短縮する有望なアプローチの1つである。 局所的データセットが局所的損失の滑らかさよりも小さい場合,通信の複雑さは非局所的手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-12T15:12:17Z)
• A(DP)$^2$SGD: Asynchronous Decentralized Parallel Stochastic Gradient Descent with Differential Privacy [15.038697541988746]
  一般的な分散学習戦略はフェデレーション学習であり、グローバルモデルを格納する中央サーバと、対応するデータでモデルパラメータを更新するローカルコンピューティングノードのセットがある。 本稿では,ADPSGDの通信効率を保ち,悪意のある参加者による推論を防止する,非同期分散並列SGDフレームワークの差分プライベート版A(DP)$2$SGDを提案する。
  論文  参考訳（メタデータ） (2020-08-21T00:56:22Z)
• Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
  コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。 非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。 また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
  論文  参考訳（メタデータ） (2020-04-11T03:50:59Z)
• A Unified Theory of Decentralized SGD with Changing Topology and Local Updates [70.9701218475002]
  分散通信方式の統一収束解析を導入する。 いくつかの応用に対して普遍収束率を導出する。 私たちの証明は弱い仮定に依存している。
  論文  参考訳（メタデータ） (2020-03-23T17:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。