論文の概要: How to Attain Communication-Efficient DNN Training? Convert, Compress, Correct

• arxiv url: http://arxiv.org/abs/2204.08211v1
• Date: Mon, 18 Apr 2022 08:22:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-19 20:43:33.666282
• Title: How to Attain Communication-Efficient DNN Training? Convert, Compress, Correct
• Title（参考訳）: コミュニケーション効率の良いDNNトレーニングを実現するには? 変換、圧縮、正しい
• Authors: Zhong-Jing Chen, Eduin E. Hernandez, Yu-Chih Huang and Stefano Rini
• Abstract要約: $mathsfCO_3$は、通信効率の高いDeep Neural Network(DNN)トレーニングのためのアルゴリズムである。 $mathsfCO_3$は、リモートユーザからサーバにローカル勾配を送信する際の通信負荷を低減する3つの処理適用ステップから名付けられた。 数値シミュレーションにより,$mathsfCO_3$の性能が検証され,通信ペイロードの低減により精度が向上し,安定性が向上した。
• 参考スコア（独自算出の注目度）: 19.440030100380632
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we introduce $\mathsf{CO}_3$, an algorithm for communication-efficiency federated Deep Neural Network (DNN) training.$\mathsf{CO}_3$ takes its name from three processing applied steps which reduce the communication load when transmitting the local gradients from the remote users to the Parameter Server.Namely:(i) gradient quantization through floating-point conversion, (ii) lossless compression of the quantized gradient, and (iii) quantization error correction.We carefully design each of the steps above so as to minimize the loss in the distributed DNN training when the communication overhead is fixed.In particular, in the design of steps (i) and (ii), we adopt the assumption that DNN gradients are distributed according to a generalized normal distribution.This assumption is validated numerically in the paper. For step (iii), we utilize an error feedback with memory decay mechanism to correct the quantization error introduced in step (i). We argue that this coefficient, similarly to the learning rate, can be optimally tuned to improve convergence. The performance of $\mathsf{CO}_3$ is validated through numerical simulations and is shown having better accuracy and improved stability at a reduced communication payload.
• Abstract（参考訳）: 本稿では,dnn( communication-efficiency federated deep neural network)トレーニングのためのアルゴリズムである$\mathsf{co}_3$を提案する。 $\mathsf{co}_3$ という名前は、リモートユーザからパラメータサーバにローカル勾配を送信する際の通信負荷を減らす3つの処理によるものである。 (i)浮動小数点変換による勾配量子化 (ii)定量勾配の損失のない圧縮、 (iii) 量子化誤差補正。我々は、通信オーバーヘッドが固定された場合の分散dnnトレーニングの損失を最小限に抑えるために、上記各ステップを慎重に設計する。特に、ステップの設計において (i)および (II) DNN勾配が一般化正規分布に従って分布するという仮定を採用し, 本仮定を本論文で数値的に検証する。 ステップ (iii)ステップで導入された量子化誤差を補正するために,メモリ減衰機構を用いた誤差フィードバックを用いる。 (i)。 この係数は、学習率と同様、収束を改善するために最適に調整できると論じる。 数値シミュレーションにより,$\mathsf{CO}_3$の性能が検証され,通信ペイロードの低減により精度が向上し,安定性が向上した。

関連論文リスト

• Rate-Constrained Quantization for Communication-Efficient Federated Learning [5.632231145349047]
  我々はtextbfrate-textbfconstrained textbffederated Learning (RC-FED) と呼ばれる新しい量子化FLフレームワークを開発した。 我々は、符号化された勾配の速度を目標閾値以下に保ちながら、量子化歪みを最小限に抑える共同最適化として、このスキームを定式化する。 RC-FEDの収束挙動を解析し,いくつかのデータセット上でのベースライン量子化FLスキームに対して優れた性能を示す。
  論文  参考訳（メタデータ） (2024-09-10T08:22:01Z)
• Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
  パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。 平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
  論文  参考訳（メタデータ） (2024-05-17T21:17:27Z)
• Adaptive Top-K in SGD for Communication-Efficient Distributed Learning [14.867068493072885]
  本稿では,SGDフレームワークにおける新しい適応Top-Kを提案する。 MNIST と CIFAR-10 データセットの数値結果から,SGD における適応型 Top-K アルゴリズムは,最先端の手法に比べてはるかに優れた収束率が得られることが示された。
  論文  参考訳（メタデータ） (2022-10-24T18:33:35Z)
• Green, Quantized Federated Learning over Wireless Networks: An Energy-Efficient Design [68.86220939532373]
  有限精度レベルは、固定精度フォーマットで重みとアクティベーションを定量化する量子ニューラルネットワーク(QNN)を使用して取得される。 提案するFLフレームワークは,ベースラインFLアルゴリズムと比較して,収束までのエネルギー消費量を最大70%削減することができる。
  論文  参考訳（メタデータ） (2022-07-19T16:37:24Z)
• Convert, compress, correct: Three steps toward communication-efficient DNN training [19.440030100380632]
  本稿では,通信効率の分散Deep Neural Network (DNN) トレーニングのための新しいアルゴリズムである$mathsfCO_3$を紹介する。 $mathsfCO_3$は、ネットワーク勾配の3つの処理ステップを含む、共同トレーニング/通信プロトコルである。 勾配処理におけるこれらの3つのステップの相互作用は、厳密で高性能なスキームを生み出すために注意深くバランスをとる。
  論文  参考訳（メタデータ） (2022-03-17T02:47:13Z)
• Communication-Efficient Federated Learning via Quantized Compressed Sensing [82.10695943017907]
  提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。 勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。 圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
  論文  参考訳（メタデータ） (2021-11-30T02:13:54Z)
• DQ-SGD: Dynamic Quantization in SGD for Communication-Efficient Distributed Learning [22.83609192604322]
  本稿では,各勾配降下ステップの量子化スキームを動的に調整する動的量子化SGD(DQ-SGD)フレームワークを提案する。 我々の量子化方式は、他の最先端の勾配量子化手法よりも、通信コストと学習性能のトレードオフが優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-30T12:22:31Z)
• Cogradient Descent for Dependable Learning [64.02052988844301]
  双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。 CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。 また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
  論文  参考訳（メタデータ） (2021-06-20T04:28:20Z)
• Adaptive Quantization of Model Updates for Communication-Efficient Federated Learning [75.45968495410047]
  クライアントノードと中央集約サーバ間のモデル更新の通信は、連合学習において大きなボトルネックとなる。 グラディエント量子化(Gradient Quantization)は、各モデル更新間の通信に必要なビット数を削減する効果的な方法である。 通信効率と低エラーフロアを実現することを目的としたAdaFLと呼ばれる適応量子化戦略を提案する。
  論文  参考訳（メタデータ） (2021-02-08T19:14:21Z)
• Optimal Gradient Quantization Condition for Communication-Efficient Distributed Training [99.42912552638168]
  勾配の通信は、コンピュータビジョンアプリケーションで複数のデバイスでディープニューラルネットワークをトレーニングするのに費用がかかる。 本研究は,textbfANY勾配分布に対する二値および多値勾配量子化の最適条件を導出する。 最適条件に基づいて, 偏差BinGradと非偏差ORQの2値勾配量子化と多値勾配量子化の2つの新しい量子化手法を開発した。
  論文  参考訳（メタデータ） (2020-02-25T18:28:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。