論文の概要: DeCo-SGD: Joint Optimization of Delay Staleness and Gradient Compression Ratio for Distributed SGD

• arxiv url: http://arxiv.org/abs/2507.17346v1
• Date: Wed, 23 Jul 2025 09:22:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-24 22:33:14.937002
• Title: DeCo-SGD: Joint Optimization of Delay Staleness and Gradient Compression Ratio for Distributed SGD
• Title（参考訳）: DeCo-SGD:分散SGDにおける遅延定常性と勾配圧縮比の併用最適化
• Authors: Rongwei Lu, Jingyan Jiang, Chunyang Li, Haotian Dong, Xingguang Wei, Delin Cai, Zhi Wang,
• Abstract要約: エンドツーエンドのレイテンシと低帯域幅ネットワークにおける分散機械学習は、大幅なスループット低下を経験する。 既存のアプローチでは、低帯域幅と高レイテンシを緩和するために、勾配圧縮と遅延集約を用いるのが一般的である。 実時間ネットワーク条件に基づいて圧縮率と安定度を動的に調整するDeCoSGDを提案する。
• 参考スコア（独自算出の注目度）: 5.618337879898599
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed machine learning in high end-to-end latency and low, varying bandwidth network environments undergoes severe throughput degradation. Due to its low communication requirements, distributed SGD (D-SGD) remains the mainstream optimizer in such challenging networks, but it still suffers from significant throughput reduction. To mitigate these limitations, existing approaches typically employ gradient compression and delayed aggregation to alleviate low bandwidth and high latency, respectively. To address both challenges simultaneously, these strategies are often combined, introducing a complex three-way trade-off among compression ratio, staleness (delayed synchronization steps), and model convergence rate. To achieve the balance under varying bandwidth conditions, an adaptive policy is required to dynamically adjust these parameters. Unfortunately, existing works rely on static heuristic strategies due to the lack of theoretical guidance, which prevents them from achieving this goal. This study fills in this theoretical gap by introducing a new theoretical tool, decomposing the joint optimization problem into a traditional convergence rate analysis with multiple analyzable noise terms. We are the first to reveal that staleness exponentially amplifies the negative impact of gradient compression on training performance, filling a critical gap in understanding how compressed and delayed gradients affect training. Furthermore, by integrating the convergence rate with a network-aware time minimization condition, we propose DeCo-SGD, which dynamically adjusts the compression ratio and staleness based on the real-time network condition and training task. DeCo-SGD achieves up to 5.07 and 1.37 speed-ups over D-SGD and static strategy in high-latency and low, varying bandwidth networks, respectively.
• Abstract（参考訳）: 高エンドツーエンドのレイテンシと低帯域幅のネットワーク環境における分散機械学習は、大幅なスループット低下を経験する。 通信要求が低かったため、分散SGD (D-SGD) はこのような挑戦的なネットワークでは依然として主要な最適化方法となっているが、スループットの大幅な低下に悩まされている。 これらの制限を緩和するために、既存のアプローチでは、それぞれ低帯域幅と高レイテンシを緩和するために、勾配圧縮と遅延集約を用いるのが一般的である。 両課題を同時に解決するために、これらの戦略は、圧縮比、安定度(遅延同期ステップ)、モデル収束率の間の複雑な3方向のトレードオフを導入し、しばしば組み合わせられる。 帯域幅の異なる条件下でのバランスを達成するためには、これらのパラメータを動的に調整する適応ポリシーが必要である。 残念ながら、既存の研究は理論的なガイダンスがないため静的ヒューリスティック戦略に依存しており、この目標を達成するのを妨げている。 本研究は, この理論的ギャップを補うために, 結合最適化問題を複数の解析可能な雑音項を持つ従来の収束速度解析に分解する理論的ツールを導入する。 定常性はトレーニング性能に対する勾配圧縮の負の影響を指数関数的に増幅し、圧縮された勾配と遅延した勾配がトレーニングにどのように影響するかを理解する上で重要なギャップを埋める。 さらに,コンバージェンス率をネットワーク対応の時間最小化条件と統合することにより,リアルタイムネットワーク条件とトレーニングタスクに基づいて圧縮率と安定度を動的に調整するDeCo-SGDを提案する。 DeCo-SGDはD-SGDよりも最大5.07と1.37のスピードアップを達成する。

関連論文リスト

• Network Sparsity Unlocks the Scaling Potential of Deep Reinforcement Learning [57.3885832382455]
  静的ネットワークの疎結合を単独で導入することで,最先端アーキテクチャの高密度化を超えて,さらなるスケーリング可能性を実現することができることを示す。 解析の結果,高密度DRLネットワークをネーティブにスケールアップするのとは対照的に,疎ネットワークは高いパラメータ効率とネットワーク表現性を両立させることがわかった。
  論文  参考訳（メタデータ） (2025-06-20T17:54:24Z)
• Accelerated Distributed Optimization with Compression and Error Feedback [22.94016026311574]
  ADEFはネステロフ加速、収縮圧縮、エラーフィードバック、勾配差圧縮を統合している。 我々は,ADEFが分散最適化のための圧縮圧縮による最初の加速収束率を達成することを証明した。
  論文  参考訳（メタデータ） (2025-03-11T13:40:34Z)
• Bandwidth-Aware and Overlap-Weighted Compression for Communication-Efficient Federated Learning [29.727339562140653]
  フェデレーション平均化(FedAvg)におけるスパシフィケーションなどの現在のデータ圧縮手法は、フェデレーション学習(FL)のコミュニケーション効率を効果的に向上させる。 これらの手法は、異種帯域幅と非IIDデータによるストラグラー問題やモデル性能の低下といった課題に直面する。 非IIDデータに関連する問題を軽減しつつ,通信効率の向上を目的としたFLのための帯域幅対応圧縮フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-27T02:28:27Z)
• Joint Model Pruning and Resource Allocation for Wireless Time-triggered Federated Learning [31.628735588144096]
  タイムトリガー付きフェデレーション学習は、一定時間間隔に基づいてユーザーを階層に編成する。 無線時間トリガーシステムにモデルプルーニングを適用し、プルーニング比と帯域幅割り当ての最適化に関する問題を共同研究する。 提案するTT-Pruneは,モデルプルーニングを伴わない非同期多層FLと比較して,通信コストを40%削減することを示した。
  論文  参考訳（メタデータ） (2024-08-03T12:19:23Z)
• Communication-Efficient Distributed Learning with Local Immediate Error Compensation [95.6828475028581]
  本稿では,局所的即時誤差補償SGD (LIEC-SGD) 最適化アルゴリズムを提案する。 LIEC-SGDは、コンバージェンスレートまたは通信コストのいずれにおいても、以前の研究よりも優れている。
  論文  参考訳（メタデータ） (2024-02-19T05:59:09Z)
• Quantize Once, Train Fast: Allreduce-Compatible Compression with Provable Guarantees [53.950234267704]
  我々は、全リデュース勾配互換量子化法であるGlobal-QSGDを紹介する。 ベースライン量子化法で最大3.51%の分散トレーニングを高速化することを示す。
  論文  参考訳（メタデータ） (2023-05-29T21:32:15Z)
• Compressed Regression over Adaptive Networks [58.79251288443156]
  分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。 エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
  論文  参考訳（メタデータ） (2023-04-07T13:41:08Z)
• Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks [44.37047471448793]
  本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。 そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。 提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2023-03-26T16:09:48Z)
• Reducing Computational Complexity of Neural Networks in Optical Channel Equalization: From Concepts to Implementation [1.6987798749419218]
  本稿では,従来のディジタルバックプロパゲーション(DBP)イコライザよりも実装が簡単で,性能も優れたNNベースのイコライザを設計できることを示す。 NNに基づく等化器は、完全電子色分散補償ブロックと同程度の複雑さを維持しつつ、優れた性能を達成することができる。
  論文  参考訳（メタデータ） (2022-08-26T21:00:05Z)
• Heavy Tails in SGD and Compressibility of Overparametrized Neural Networks [9.554646174100123]
  本研究では, 勾配降下学習アルゴリズムの力学が圧縮性ネットワークの獲得に重要な役割を担っていることを示す。 我々は,ネットワークが「$ell_p$-compressible」であることが保証され,ネットワークサイズが大きくなるにつれて,異なるプルーニング手法の圧縮誤差が任意に小さくなることを示す。
  論文  参考訳（メタデータ） (2021-06-07T17:02:59Z)
• An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
  Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
  論文  参考訳（メタデータ） (2021-01-26T13:06:00Z)
• Structured Sparsification with Joint Optimization of Group Convolution and Channel Shuffle [117.95823660228537]
  本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。 提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。 また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
  論文  参考訳（メタデータ） (2020-02-19T12:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。