論文の概要: How to Attain Communication-Efficient DNN Training? Convert, Compress, Correct

• arxiv url: http://arxiv.org/abs/2204.08211v2
• Date: Thu, 1 Jun 2023 12:28:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-03 02:00:54.067312
• Title: How to Attain Communication-Efficient DNN Training? Convert, Compress, Correct
• Title（参考訳）: コミュニケーション効率の良いDNNトレーニングを実現するには? 変換、圧縮、正しい
• Authors: Zhong-Jing Chen, Eduin E. Hernandez, Yu-Chih Huang and Stefano Rini
• Abstract要約: 本稿では,通信効率の高いDeep Neural Network (DNN) トレーニングのためのアルゴリズムであるCO3を紹介する。 CO3は、リモートユーザからサーバにローカルDNN勾配を送信する際の通信負荷を低減する3つの処理から名付けられた。
• 参考スコア（独自算出の注目度）: 19.440030100380632
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces CO3 -- an algorithm for communication-efficient federated Deep Neural Network (DNN) training. CO3 takes its name from three processing applied which reduce the communication load when transmitting the local DNN gradients from the remote users to the Parameter Server. Namely: (i) gradient quantization through floating-point conversion, (ii) lossless compression of the quantized gradient, and (iii) quantization error correction. We carefully design each of the steps above to assure good training performance under a constraint on the communication rate. In particular, in steps (i) and (ii), we adopt the assumption that DNN gradients are distributed according to a generalized normal distribution, which is validated numerically in the paper. For step (iii), we utilize an error feedback with memory decay mechanism to correct the quantization error introduced in step (i). We argue that the memory decay coefficient, similarly to the learning rate, can be optimally tuned to improve convergence. A rigorous convergence analysis of the proposed CO3 with SGD is provided. Moreover, with extensive simulations, we show that CO3 offers improved performance when compared with existing gradient compression schemes in the literature which employ sketching and non-uniform quantization of the local gradients.
• Abstract（参考訳）: 本稿では,通信効率の高いDeep Neural Network (DNN) トレーニングのためのアルゴリズムであるCO3を紹介する。 CO3は、リモートユーザからパラメータサーバにローカルDNN勾配を送信する際の通信負荷を低減する3つの処理から名付けられた。 通称。 (i)浮動小数点変換による勾配量子化 (ii)定量勾配の損失のない圧縮、 三 量子化誤差補正 上記の各ステップを慎重に設計し,コミュニケーション速度の制約下で良好なトレーニング性能を保証する。 特にステップでは (i)および (II) DNN勾配は一般化正規分布に従って分布しているという仮定を採用し、本論文で数値的に検証する。 ステップ (iii)ステップで導入された量子化誤差を補正するために,メモリ減衰機構を用いた誤差フィードバックを用いる。 (i)。 学習速度と同様に、記憶減衰係数は収束性を改善するために最適に調整できると主張する。 提案したCO3とSGDとの厳密な収束解析を行う。 さらに,CO3は,スケッチや局所勾配の非一様量子化を用いた文献において,既存の勾配圧縮方式と比較して性能が向上することを示した。

関連論文リスト

• Rate-Constrained Quantization for Communication-Efficient Federated Learning [5.632231145349047]
  我々はtextbfrate-textbfconstrained textbffederated Learning (RC-FED) と呼ばれる新しい量子化FLフレームワークを開発した。 我々は、符号化された勾配の速度を目標閾値以下に保ちながら、量子化歪みを最小限に抑える共同最適化として、このスキームを定式化する。 RC-FEDの収束挙動を解析し,いくつかのデータセット上でのベースライン量子化FLスキームに対して優れた性能を示す。
  論文  参考訳（メタデータ） (2024-09-10T08:22:01Z)
• Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
  パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。 平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
  論文  参考訳（メタデータ） (2024-05-17T21:17:27Z)
• Adaptive Top-K in SGD for Communication-Efficient Distributed Learning [14.867068493072885]
  本稿では,SGDフレームワークにおける新しい適応Top-Kを提案する。 MNIST と CIFAR-10 データセットの数値結果から,SGD における適応型 Top-K アルゴリズムは,最先端の手法に比べてはるかに優れた収束率が得られることが示された。
  論文  参考訳（メタデータ） (2022-10-24T18:33:35Z)
• Green, Quantized Federated Learning over Wireless Networks: An Energy-Efficient Design [68.86220939532373]
  有限精度レベルは、固定精度フォーマットで重みとアクティベーションを定量化する量子ニューラルネットワーク(QNN)を使用して取得される。 提案するFLフレームワークは,ベースラインFLアルゴリズムと比較して,収束までのエネルギー消費量を最大70%削減することができる。
  論文  参考訳（メタデータ） (2022-07-19T16:37:24Z)
• Convert, compress, correct: Three steps toward communication-efficient DNN training [19.440030100380632]
  本稿では,通信効率の分散Deep Neural Network (DNN) トレーニングのための新しいアルゴリズムである$mathsfCO_3$を紹介する。 $mathsfCO_3$は、ネットワーク勾配の3つの処理ステップを含む、共同トレーニング/通信プロトコルである。 勾配処理におけるこれらの3つのステップの相互作用は、厳密で高性能なスキームを生み出すために注意深くバランスをとる。
  論文  参考訳（メタデータ） (2022-03-17T02:47:13Z)
• Communication-Efficient Federated Learning via Quantized Compressed Sensing [82.10695943017907]
  提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。 勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。 圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
  論文  参考訳（メタデータ） (2021-11-30T02:13:54Z)
• DQ-SGD: Dynamic Quantization in SGD for Communication-Efficient Distributed Learning [22.83609192604322]
  本稿では,各勾配降下ステップの量子化スキームを動的に調整する動的量子化SGD(DQ-SGD)フレームワークを提案する。 我々の量子化方式は、他の最先端の勾配量子化手法よりも、通信コストと学習性能のトレードオフが優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-30T12:22:31Z)
• Cogradient Descent for Dependable Learning [64.02052988844301]
  双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。 CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。 また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
  論文  参考訳（メタデータ） (2021-06-20T04:28:20Z)
• Adaptive Quantization of Model Updates for Communication-Efficient Federated Learning [75.45968495410047]
  クライアントノードと中央集約サーバ間のモデル更新の通信は、連合学習において大きなボトルネックとなる。 グラディエント量子化(Gradient Quantization)は、各モデル更新間の通信に必要なビット数を削減する効果的な方法である。 通信効率と低エラーフロアを実現することを目的としたAdaFLと呼ばれる適応量子化戦略を提案する。
  論文  参考訳（メタデータ） (2021-02-08T19:14:21Z)
• Optimal Gradient Quantization Condition for Communication-Efficient Distributed Training [99.42912552638168]
  勾配の通信は、コンピュータビジョンアプリケーションで複数のデバイスでディープニューラルネットワークをトレーニングするのに費用がかかる。 本研究は,textbfANY勾配分布に対する二値および多値勾配量子化の最適条件を導出する。 最適条件に基づいて, 偏差BinGradと非偏差ORQの2値勾配量子化と多値勾配量子化の2つの新しい量子化手法を開発した。
  論文  参考訳（メタデータ） (2020-02-25T18:28:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。