論文の概要: Efficient Distributed Training through Gradient Compression with Sparsification and Quantization Techniques

• arxiv url: http://arxiv.org/abs/2502.07634v1
• Date: Sat, 07 Dec 2024 22:55:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-02 08:18:13.967371
• Title: Efficient Distributed Training through Gradient Compression with Sparsification and Quantization Techniques
• Title（参考訳）: スパシフィケーションと量子化技術を用いたグラディエント圧縮による効率的な分散トレーニング
• Authors: Shruti Singh, Shantanu Kumar,
• Abstract要約: 50倍の圧縮でトップkとDGCを使用するとパフォーマンスが向上し、ベースラインに比べてパープレキシティが最大0.06削減される。 通信時間は全ての圧縮法で減少し、トップkとDGCは高い圧縮比で無視できるレベルまで通信を減少させる。
• 参考スコア（独自算出の注目度）: 3.6481248057068174
• License:
• Abstract: This study investigates the impact of gradient compression on distributed training performance, focusing on sparsification and quantization techniques, including top-k, DGC, and QSGD. In baseline experiments, random-k compression results in severe performance degradation, highlighting its inefficacy. In contrast, using top-k and DGC at 50 times compression yields performance improvements, reducing perplexity by up to 0.06 compared to baseline. Experiments across 1, 2, and 4 workers demonstrate that conservative sparsification can have a regularizing effect, especially for smaller models, while compression ratios above 5000 times impair performance, particularly for DGC. Communication times are reduced across all compression methods, with top-k and DGC decreasing communication to negligible levels at high compression ratios. However, increased computation times offset this efficiency for top-k due to sorting demands, making it less scalable than DGC or QSGD. In convergence tests, sparsification techniques show accelerated convergence, requiring fewer epochs than the baseline, which has implications for computational savings. Although precision trade-offs emerge, floating point errors are mitigated by compression. This study's findings underscore the need to tune hyperparameters specifically for each compression technique to achieve optimal model performance, especially in distributed training systems.
• Abstract（参考訳）: 本研究では,勾配圧縮が分散トレーニング性能に及ぼす影響について検討し,トップk,DGC,QSGDなどのスペーシフィケーションおよび量子化技術に着目した。 ベースライン実験では、ランダムk圧縮はパフォーマンスを著しく低下させ、その非効率性を強調している。 対照的に、トップkとDGCを50倍の圧縮で使用すると性能が向上し、ベースラインに比べてパープレキシティが最大0.06まで低下する。 1, 2, 4人の労働者を対象とした実験では、保守的なスパーシフィケーションは、特により小さなモデルで、特にDGCでは5000倍以上の圧縮率で、正規化効果があることが示された。 通信時間は全ての圧縮法で減少し、トップkとDGCは高い圧縮比で無視できるレベルまで通信を減少させる。 しかし、計算時間の増加は、ソート要求のためにトップkでこの効率をオフセットし、DGCやQSGDよりもスケーラビリティが低い。 収束試験では、スペーシフィケーション技術は収束を加速し、ベースラインよりもエポックを少なくする。 精度のトレードオフが発生するが、浮動小数点誤差は圧縮によって軽減される。 本研究の結果は、特に分散トレーニングシステムにおいて、最適なモデル性能を達成するために、各圧縮技術に特化してハイパーパラメータをチューニングする必要性を浮き彫りにした。

関連論文リスト

• LoCo: Low-Bit Communication Adaptor for Large-scale Model Training [63.040522637816906]
  低ビット通信は、しばしば圧縮情報損失によってトレーニング品質が低下する。 本稿では,ローカルGPUノードを補償するLoCo(Lo-bit Communication Adaptor)を提案する。 実験結果から,Megatron-LMやPyTorchs FSDPといった大規模トレーニングモデルフレームワークの移動により,LoCoは圧縮通信効率を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-07-05T13:01:36Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• DiffRate : Differentiable Compression Rate for Efficient Vision Transformers [98.33906104846386]
  Token圧縮は、プルーニング(ドロップ)やトークンのマージによって、大規模な視覚変換器(ViTなど)を高速化することを目的としている。 DiffRate(ディフレート)は、先行技術にはないいくつかの魅力的な特性を持つ新しいトークン圧縮手法である。
  論文  参考訳（メタデータ） (2023-05-29T10:15:19Z)
• L-GreCo: Layerwise-Adaptive Gradient Compression for Efficient and Accurate Deep Learning [24.712888488317816]
  トレーニング中にモデルの層をまたいだ圧縮の度合いを動的に適用するためのフレームワークを提供する。 我々のフレームワークはL-GreCoと呼ばれ、モデル層に対する最適圧縮パラメータを自動的に選択する適応アルゴリズムに基づいている。
  論文  参考訳（メタデータ） (2022-10-31T14:37:41Z)
• Quantization for Distributed Optimization [0.0]
  本稿では,バニラSGDの性能を維持しながら通信オーバヘッドを大幅に低減する全リデュース勾配対応圧縮方式を提案する。 我々の圧縮手法は、現在ディープラーニングフレームワークによって提供されている工法よりも優れています。
  論文  参考訳（メタデータ） (2021-09-26T05:16:12Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• Compressed Communication for Distributed Training: Adaptive Methods and System [13.244482588437972]
  通信オーバーヘッドは、分散機械学習システムのスケーラビリティを著しく妨げます。 近年,通信オーバーヘッドを低減するために勾配圧縮を使うことへの関心が高まっている。 本稿では, グラデーション圧縮を用いた新しい適応勾配法を提案する。
  論文  参考訳（メタデータ） (2021-05-17T13:41:47Z)
• ScaleCom: Scalable Sparsified Gradient Compression for Communication-Efficient Distributed Training [74.43625662170284]
  最先端プラットフォーム上でのDeep Neural Networks(DNN)の大規模分散トレーニングは,通信の厳しい制約が期待できる。 本稿では,学習者間の勾配分布の類似性を活用した新しい圧縮手法を提案する。 実験により,scalecomのオーバーヘッドは小さく,勾配トラフィックを直接低減し,高い圧縮率(65～400倍)と優れたスケーラビリティ(64名までの学習者,8～12倍のバッチサイズ)を提供する。
  論文  参考訳（メタデータ） (2021-04-21T02:22:10Z)
• An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
  Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
  論文  参考訳（メタデータ） (2021-01-26T13:06:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。