論文の概要: Greedy Low-Rank Gradient Compression for Distributed Learning with Convergence Guarantees

• arxiv url: http://arxiv.org/abs/2507.08784v1
• Date: Fri, 11 Jul 2025 17:46:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-14 18:03:54.451526
• Title: Greedy Low-Rank Gradient Compression for Distributed Learning with Convergence Guarantees
• Title（参考訳）: 収束保証を用いた分散学習のためのGreedy Low-Rank Gradient Compression
• Authors: Chuyan Chen, Yutong He, Pengrui Li, Weichen Jia, Kun Yuan,
• Abstract要約: 本稿では,厳密な収束保証付き分散学習のための第1次Greedy Low-Rank圧縮アルゴリズムを提案する。 我々は、GreedyLoreがMSGDやAdamのような標準の下で$mathcalO(sigma/sqrtNT + 1/T)$の収束率を達成することを証明した。
• 参考スコア（独自算出の注目度）: 13.806112971330482
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed optimization is pivotal for large-scale signal processing and machine learning, yet communication overhead remains a major bottleneck. Low-rank gradient compression, in which the transmitted gradients are approximated by low-rank matrices to reduce communication, offers a promising remedy. Existing methods typically adopt either randomized or greedy compression strategies: randomized approaches project gradients onto randomly chosen subspaces, introducing high variance and degrading empirical performance; greedy methods select the most informative subspaces, achieving strong empirical results but lacking convergence guarantees. To address this gap, we propose GreedyLore--the first Greedy Low-Rank gradient compression algorithm for distributed learning with rigorous convergence guarantees. GreedyLore incorporates error feedback to correct the bias introduced by greedy compression and introduces a semi-lazy subspace update that ensures the compression operator remains contractive throughout all iterations. With these techniques, we prove that GreedyLore achieves a convergence rate of $\mathcal{O}(\sigma/\sqrt{NT} + 1/T)$ under standard optimizers such as MSGD and Adam--marking the first linear speedup convergence rate for low-rank gradient compression. Extensive experiments are conducted to validate our theoretical findings.
• Abstract（参考訳）: 大規模信号処理と機械学習では分散最適化が重要であるが、通信オーバーヘッドは依然として大きなボトルネックである。 低ランク勾配圧縮では、送信された勾配を低ランク行列で近似し、通信を減少させる。 ランダム化は、ランダムに選択された部分空間にプロジェクト勾配にアプローチし、高いばらつきを導入し、経験的性能を低下させる。 このギャップに対処するために、厳密な収束保証付き分散学習のための最初のグリーディローランク勾配圧縮アルゴリズムであるGreedyLoreを提案する。 GreedyLoreは、greedy圧縮によって導入されたバイアスを修正するためにエラーフィードバックを組み込んでおり、圧縮オペレータがすべてのイテレーションを通して収縮し続けることを保証する半遅延のサブスペース更新を導入している。 これらの手法により、GreedyLoreはMSGDやAdamのような標準最適化器の下で$\mathcal{O}(\sigma/\sqrt{NT} + 1/T)$の収束率を達成し、低ランク勾配圧縮のための最初の線形スピードアップ収束率を示す。 我々の理論的な結果を検証するために大規模な実験を行った。

関連論文リスト

• Revisiting Convergence: Shuffling Complexity Beyond Lipschitz Smoothness [50.78508362183774]
  シャッフル型勾配法はその単純さと迅速な経験的性能のために実践的に好まれる。 リプシッツ条件は一般的な機械学習スキームでは満たされないことが多い。
  論文  参考訳（メタデータ） (2025-07-11T15:36:48Z)
• Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
  パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。 平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
  論文  参考訳（メタデータ） (2024-05-17T21:17:27Z)
• Lower Bounds and Accelerated Algorithms in Distributed Stochastic Optimization with Communication Compression [39.65082601416051]
  通信圧縮は通信オーバーヘッドを軽減するための重要な戦略である。 軽度条件下での圧縮のほぼ最適アルゴリズムであるNEOLITHICを提案する。
  論文  参考訳（メタデータ） (2023-05-12T17:02:43Z)
• $z$-SignFedAvg: A Unified Stochastic Sign-based Compression for Federated Learning [14.363110221372274]
  フェデレートラーニング(FL)は、将来性のあるプライバシ保護型分散ラーニングパラダイムである。 FLは、大規模な機械学習モデルをトレーニングする際に、高い通信コストに悩まされる。 信号ベース圧縮のための一般対称雑音分布を用いた新しい雑音摂動方式を提案する。
  論文  参考訳（メタデータ） (2023-02-06T06:54:49Z)
• Federated Optimization Algorithms with Random Reshuffling and Gradient Compression [2.7554288121906296]
  勾配圧縮法と非置換サンプリング法を初めて解析する。 制御イテレートを用いて勾配量子化から生じる分散を減少させる方法を示す。 既存のアルゴリズムを改善するいくつかの設定について概説する。
  論文  参考訳（メタデータ） (2022-06-14T17:36:47Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• Communication-Efficient Federated Learning via Quantized Compressed Sensing [82.10695943017907]
  提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。 勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。 圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
  論文  参考訳（メタデータ） (2021-11-30T02:13:54Z)
• BROADCAST: Reducing Both Stochastic and Compression Noise to Robustify Communication-Efficient Federated Learning [24.016538592246377]
  ローカル勾配を収集するためにワーカーとマスターノード間のコミュニケーションは、大規模学習システムにおける重要なボトルネックである。 本研究では、ビザンチン労働者からの攻撃が任意に悪意を持つことができる圧縮によるビザンチン・ロバスト連合学習の問題を調査する。 そこで本研究では, 雑音と圧縮ノイズを共同で低減し, ビザンチンロバスト性を改善することを提案する。
  論文  参考訳（メタデータ） (2021-04-14T08:16:03Z)
• Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
  圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。 原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。 underline Decentralized with compression, LEAD。
  論文  参考訳（メタデータ） (2020-07-01T04:35:00Z)
• On Biased Compression for Distributed Learning [55.89300593805943]
  バイアス圧縮機が単一ノードと分散設定の両方において線形収束率をもたらすことを初めて示す。 理論的保証と実用性能を期待できる新しいバイアス圧縮機を提案する。
  論文  参考訳（メタデータ） (2020-02-27T19:52:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。