論文の概要: How to Attain Communication-Efficient DNN Training? Convert, Compress,
Correct
- arxiv url: http://arxiv.org/abs/2204.08211v1
- Date: Mon, 18 Apr 2022 08:22:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-19 20:43:33.666282
- Title: How to Attain Communication-Efficient DNN Training? Convert, Compress,
Correct
- Title(参考訳): コミュニケーション効率の良いDNNトレーニングを実現するには?
変換、圧縮、正しい
- Authors: Zhong-Jing Chen, Eduin E. Hernandez, Yu-Chih Huang and Stefano Rini
- Abstract要約: $mathsfCO_3$は、通信効率の高いDeep Neural Network(DNN)トレーニングのためのアルゴリズムである。
$mathsfCO_3$は、リモートユーザからサーバにローカル勾配を送信する際の通信負荷を低減する3つの処理適用ステップから名付けられた。
数値シミュレーションにより,$mathsfCO_3$の性能が検証され,通信ペイロードの低減により精度が向上し,安定性が向上した。
- 参考スコア(独自算出の注目度): 19.440030100380632
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we introduce $\mathsf{CO}_3$, an algorithm for
communication-efficiency federated Deep Neural Network (DNN)
training.$\mathsf{CO}_3$ takes its name from three processing applied steps
which reduce the communication load when transmitting the local gradients from
the remote users to the Parameter Server.Namely:(i) gradient quantization
through floating-point conversion, (ii) lossless compression of the quantized
gradient, and (iii) quantization error correction.We carefully design each of
the steps above so as to minimize the loss in the distributed DNN training when
the communication overhead is fixed.In particular, in the design of steps (i)
and (ii), we adopt the assumption that DNN gradients are distributed according
to a generalized normal distribution.This assumption is validated numerically
in the paper. For step (iii), we utilize an error feedback with memory decay
mechanism to correct the quantization error introduced in step (i). We argue
that this coefficient, similarly to the learning rate, can be optimally tuned
to improve convergence. The performance of $\mathsf{CO}_3$ is validated through
numerical simulations and is shown having better accuracy and improved
stability at a reduced communication payload.
- Abstract(参考訳): 本稿では,dnn( communication-efficiency federated deep neural network)トレーニングのためのアルゴリズムである$\mathsf{co}_3$を提案する。
$\mathsf{co}_3$ という名前は、リモートユーザからパラメータサーバにローカル勾配を送信する際の通信負荷を減らす3つの処理によるものである。
(i)浮動小数点変換による勾配量子化
(ii)定量勾配の損失のない圧縮、
(iii) 量子化誤差補正。我々は、通信オーバーヘッドが固定された場合の分散dnnトレーニングの損失を最小限に抑えるために、上記各ステップを慎重に設計する。特に、ステップの設計において
(i)および
(II) DNN勾配が一般化正規分布に従って分布するという仮定を採用し, 本仮定を本論文で数値的に検証する。
ステップ
(iii)ステップで導入された量子化誤差を補正するために,メモリ減衰機構を用いた誤差フィードバックを用いる。
(i)。
この係数は、学習率と同様、収束を改善するために最適に調整できると論じる。
数値シミュレーションにより,$\mathsf{CO}_3$の性能が検証され,通信ペイロードの低減により精度が向上し,安定性が向上した。
関連論文リスト
- Adaptive Top-K in SGD for Communication-Efficient Distributed Learning [14.867068493072885]
本稿では,SGDフレームワークにおける新しい適応Top-Kを提案する。
MNIST と CIFAR-10 データセットの数値結果から,SGD における適応型 Top-K アルゴリズムは,最先端の手法に比べてはるかに優れた収束率が得られることが示された。
論文 参考訳(メタデータ) (2022-10-24T18:33:35Z) - Green, Quantized Federated Learning over Wireless Networks: An
Energy-Efficient Design [68.86220939532373]
有限精度レベルは、固定精度フォーマットで重みとアクティベーションを定量化する量子ニューラルネットワーク(QNN)を使用して取得される。
提案するFLフレームワークは,ベースラインFLアルゴリズムと比較して,収束までのエネルギー消費量を最大70%削減することができる。
論文 参考訳(メタデータ) (2022-07-19T16:37:24Z) - Convert, compress, correct: Three steps toward communication-efficient
DNN training [19.440030100380632]
本稿では,通信効率の分散Deep Neural Network (DNN) トレーニングのための新しいアルゴリズムである$mathsfCO_3$を紹介する。
$mathsfCO_3$は、ネットワーク勾配の3つの処理ステップを含む、共同トレーニング/通信プロトコルである。
勾配処理におけるこれらの3つのステップの相互作用は、厳密で高性能なスキームを生み出すために注意深くバランスをとる。
論文 参考訳(メタデータ) (2022-03-17T02:47:13Z) - Optimizing the Communication-Accuracy Trade-off in Federated Learning
with Rate-Distortion Theory [1.5771347525430772]
連合学習における重要なボトルネックは、クライアントデバイスから中央サーバにモデル更新を送信する際のネットワーク通信コストである。
本手法は,その経験的分布を考慮し,量子化された更新を適切な普遍コードで符号化する。
量子化は誤差をもたらすので、平均的な全勾配と歪みにおける所望のトレードオフを最適化することで量子化レベルを選択する。
論文 参考訳(メタデータ) (2022-01-07T20:17:33Z) - Communication-Efficient Federated Learning via Quantized Compressed
Sensing [82.10695943017907]
提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。
勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。
圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
論文 参考訳(メタデータ) (2021-11-30T02:13:54Z) - Mixed Precision Low-bit Quantization of Neural Network Language Models
for Speech Recognition [67.95996816744251]
長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。
現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。
本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
論文 参考訳(メタデータ) (2021-11-29T12:24:02Z) - DQ-SGD: Dynamic Quantization in SGD for Communication-Efficient
Distributed Learning [22.83609192604322]
本稿では,各勾配降下ステップの量子化スキームを動的に調整する動的量子化SGD(DQ-SGD)フレームワークを提案する。
我々の量子化方式は、他の最先端の勾配量子化手法よりも、通信コストと学習性能のトレードオフが優れていることを示す。
論文 参考訳(メタデータ) (2021-07-30T12:22:31Z) - Cogradient Descent for Dependable Learning [64.02052988844301]
双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。
CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。
また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
論文 参考訳(メタデータ) (2021-06-20T04:28:20Z) - Adaptive Quantization of Model Updates for Communication-Efficient
Federated Learning [75.45968495410047]
クライアントノードと中央集約サーバ間のモデル更新の通信は、連合学習において大きなボトルネックとなる。
グラディエント量子化(Gradient Quantization)は、各モデル更新間の通信に必要なビット数を削減する効果的な方法である。
通信効率と低エラーフロアを実現することを目的としたAdaFLと呼ばれる適応量子化戦略を提案する。
論文 参考訳(メタデータ) (2021-02-08T19:14:21Z) - Optimal Gradient Quantization Condition for Communication-Efficient
Distributed Training [99.42912552638168]
勾配の通信は、コンピュータビジョンアプリケーションで複数のデバイスでディープニューラルネットワークをトレーニングするのに費用がかかる。
本研究は,textbfANY勾配分布に対する二値および多値勾配量子化の最適条件を導出する。
最適条件に基づいて, 偏差BinGradと非偏差ORQの2値勾配量子化と多値勾配量子化の2つの新しい量子化手法を開発した。
論文 参考訳(メタデータ) (2020-02-25T18:28:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。