論文の概要: Sign Bit is Enough: A Learning Synchronization Framework for Multi-hop
All-reduce with Ultimate Compression
- arxiv url: http://arxiv.org/abs/2204.06787v1
- Date: Thu, 14 Apr 2022 06:54:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-15 23:57:09.182449
- Title: Sign Bit is Enough: A Learning Synchronization Framework for Multi-hop
All-reduce with Ultimate Compression
- Title(参考訳): Sign Bitは十分すぎる: 究極の圧縮を伴うマルチホップオールリデュースのための学習同期フレームワーク
- Authors: Feijie Wu, Shiqi He, Song Guo, Zhihao Qu, Haozhao Wang, Weihua Zhuang,
Jie Zhang
- Abstract要約: 我々は,符号ビット圧縮に基づく学習同期フレームワークMarsitを実装した。
最大35%のトレーニング時間を短縮し、圧縮なしでトレーニングと同じ精度を維持する。
- 参考スコア(独自算出の注目度): 17.692238652162203
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Traditional one-bit compressed stochastic gradient descent can not be
directly employed in multi-hop all-reduce, a widely adopted distributed
training paradigm in network-intensive high-performance computing systems such
as public clouds. According to our theoretical findings, due to the cascading
compression, the training process has considerable deterioration on the
convergence performance. To overcome this limitation, we implement a sign-bit
compression-based learning synchronization framework, Marsit. It prevents
cascading compression via an elaborate bit-wise operation for unbiased sign
aggregation and its specific global compensation mechanism for mitigating
compression deviation. The proposed framework retains the same theoretical
convergence rate as non-compression mechanisms. Experimental results
demonstrate that Marsit reduces up to 35% training time while preserving the
same accuracy as training without compression.
- Abstract(参考訳): 従来の1ビット圧縮確率勾配勾配は、パブリッククラウドのようなネットワーク集約型高性能コンピューティングシステムにおいて広く採用されている分散トレーニングパラダイムであるマルチホップオールリデュースでは直接利用できない。
理論的な結果から,カスケード圧縮により,トレーニングプロセスは収束性能を著しく低下させることがわかった。
この制限を克服するために,符号ビット圧縮に基づく学習同期フレームワークであるMarsitを実装した。
符号アグリゲーションのための精巧なビットワイド演算によるカスケード圧縮を防止し、圧縮偏差を緩和するための具体的なグローバル補償機構を提供する。
提案手法は,非圧縮機構と同じ理論的収束率を有する。
実験の結果、Marsitはトレーニング時間を最大35%削減し、圧縮のないトレーニングと同じ精度で保存できることがわかった。
関連論文リスト
- Differential error feedback for communication-efficient decentralized learning [48.924131251745266]
本稿では,差分量子化と誤りフィードバックをブレンドする分散通信効率学習手法を提案する。
その結果,平均二乗誤差と平均ビットレートの両面において通信効率が安定であることが示唆された。
その結果、小さなステップサイズで有限ビットの場合には、圧縮がない場合に達成可能な性能が得られることが判明した。
論文 参考訳(メタデータ) (2024-06-26T15:11:26Z) - Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。
グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。
実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
論文 参考訳(メタデータ) (2024-01-15T15:54:54Z) - DynaQuant: Compressing Deep Learning Training Checkpoints via Dynamic
Quantization [5.931507399723096]
最先端のアプローチには、モデル品質(精度)と圧縮比のトレードオフを引き起こす、損失のあるモデル圧縮機構が含まれる。
モデル重みの圧縮に対する感度がトレーニング中に変化し、異なる重みが異なる量子化レベルから恩恵を受けることを重要視する。
本稿では,非一様量子化,最適な量子化構成を動的に見つける効率的な探索機構,および量子化対応デルタ圧縮機構を提案する。
論文 参考訳(メタデータ) (2023-06-20T18:00:31Z) - Practical Network Acceleration with Tiny Sets [38.742142493108744]
ネットワーク圧縮は、ディープニューラルネットワークの推論を加速するのに有効である。
しかし、精度の低下から回復するためには、トレーニングデータをすべて微調整する必要があることが多い。
そこで本研究では, PRACTISEという手法を用いて, トレーニング画像の小さなセットでネットワークを高速化する手法を提案する。
論文 参考訳(メタデータ) (2022-02-16T05:04:38Z) - Optimal Rate Adaption in Federated Learning with Compressed
Communications [28.16239232265479]
フェデレートラーニングは高い通信オーバーヘッドを引き起こし、モデル更新の圧縮によって大幅に軽減される。
ネットワーク環境における 圧縮とモデルの精度のトレードオフは 未だ不明です
各繰り返しの圧縮を戦略的に調整することで最終モデルの精度を最大化する枠組みを提案する。
論文 参考訳(メタデータ) (2021-12-13T14:26:15Z) - Compressed Communication for Distributed Training: Adaptive Methods and
System [13.244482588437972]
通信オーバーヘッドは、分散機械学習システムのスケーラビリティを著しく妨げます。
近年,通信オーバーヘッドを低減するために勾配圧縮を使うことへの関心が高まっている。
本稿では, グラデーション圧縮を用いた新しい適応勾配法を提案する。
論文 参考訳(メタデータ) (2021-05-17T13:41:47Z) - ScaleCom: Scalable Sparsified Gradient Compression for
Communication-Efficient Distributed Training [74.43625662170284]
最先端プラットフォーム上でのDeep Neural Networks(DNN)の大規模分散トレーニングは,通信の厳しい制約が期待できる。
本稿では,学習者間の勾配分布の類似性を活用した新しい圧縮手法を提案する。
実験により,scalecomのオーバーヘッドは小さく,勾配トラフィックを直接低減し,高い圧縮率(65~400倍)と優れたスケーラビリティ(64名までの学習者,8~12倍のバッチサイズ)を提供する。
論文 参考訳(メタデータ) (2021-04-21T02:22:10Z) - An Efficient Statistical-based Gradient Compression Technique for
Distributed Training Systems [77.88178159830905]
Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。
SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
論文 参考訳(メタデータ) (2021-01-26T13:06:00Z) - PowerGossip: Practical Low-Rank Communication Compression in
Decentralized Deep Learning [62.440827696638664]
本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。
中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
論文 参考訳(メタデータ) (2020-08-04T09:14:52Z) - Structured Sparsification with Joint Optimization of Group Convolution
and Channel Shuffle [117.95823660228537]
本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。
提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。
また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
論文 参考訳(メタデータ) (2020-02-19T12:03:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。