論文の概要: Convert, compress, correct: Three steps toward communication-efficient
DNN training
- arxiv url: http://arxiv.org/abs/2203.09044v1
- Date: Thu, 17 Mar 2022 02:47:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-18 15:19:02.716993
- Title: Convert, compress, correct: Three steps toward communication-efficient
DNN training
- Title(参考訳): 変換, 圧縮, 正しい:通信効率のよいDNNトレーニングへの3つのステップ
- Authors: Zhong-Jing Chen, Eduin E. Hernandez, Yu-Chih Huang, Stefano Rini
- Abstract要約: 本稿では,通信効率の分散Deep Neural Network (DNN) トレーニングのための新しいアルゴリズムである$mathsfCO_3$を紹介する。
$mathsfCO_3$は、ネットワーク勾配の3つの処理ステップを含む、共同トレーニング/通信プロトコルである。
勾配処理におけるこれらの3つのステップの相互作用は、厳密で高性能なスキームを生み出すために注意深くバランスをとる。
- 参考スコア(独自算出の注目度): 19.440030100380632
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we introduce a novel algorithm, $\mathsf{CO}_3$, for
communication-efficiency distributed Deep Neural Network (DNN) training.
$\mathsf{CO}_3$ is a joint training/communication protocol, which encompasses
three processing steps for the network gradients: (i) quantization through
floating-point conversion, (ii) lossless compression, and (iii) error
correction. These three components are crucial in the implementation of
distributed DNN training over rate-constrained links. The interplay of these
three steps in processing the DNN gradients is carefully balanced to yield a
robust and high-performance scheme. The performance of the proposed scheme is
investigated through numerical evaluations over CIFAR-10.
- Abstract(参考訳): 本稿では,通信効率の分散Deep Neural Network (DNN) トレーニングのための新しいアルゴリズムである$\mathsf{CO}_3$を紹介する。
$\mathsf{CO}_3$は、ネットワーク勾配の3つの処理ステップを含む、共同トレーニング/通信プロトコルである。
(i)浮動小数点変換による量子化
(ii)無損失圧縮、及び
(iii)誤り訂正。
これらの3つのコンポーネントは、レート制約付きリンクよりも分散DNNトレーニングの実装において重要である。
DNN勾配処理におけるこれらの3つのステップの相互作用は、厳密で高性能なスキームを生み出すために注意深くバランスをとる。
CIFAR-10の数値評価により提案手法の性能を検討した。
関連論文リスト
- Accelerating Distributed Deep Learning using Lossless Homomorphic
Compression [17.654138014999326]
本稿では,ワーカレベルの圧縮とネットワーク内アグリゲーションを効果的に融合する新しい圧縮アルゴリズムを提案する。
集約のスループットが6.33$times$改善され、イテレーションごとのトレーニング速度が3.74$times$アップします。
論文 参考訳(メタデータ) (2024-02-12T09:57:47Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳(メタデータ) (2023-03-03T08:17:47Z) - A Low-Complexity Approach to Rate-Distortion Optimized Variable Bit-Rate
Compression for Split DNN Computing [5.3221129103999125]
分散コンピューティングは、DNNベースのAIワークロードを実装するための最近のパラダイムとして登場した。
本稿では,レート・精度・複雑さのトレードオフを最適化する上での課題に対処するアプローチを提案する。
我々のアプローチは、トレーニングと推論の両方において非常に軽量であり、非常に効果的であり、高い速度歪曲性能を実現する。
論文 参考訳(メタデータ) (2022-08-24T15:02:11Z) - How to Attain Communication-Efficient DNN Training? Convert, Compress,
Correct [19.440030100380632]
本稿では,通信効率の高いDeep Neural Network (DNN) トレーニングのためのアルゴリズムであるCO3を紹介する。
CO3は、リモートユーザからサーバにローカルDNN勾配を送信する際の通信負荷を低減する3つの処理から名付けられた。
論文 参考訳(メタデータ) (2022-04-18T08:22:55Z) - Navigating Local Minima in Quantized Spiking Neural Networks [3.1351527202068445]
深層学習(DL)アルゴリズムの超効率的な実装においては,スパイキングと量子ニューラルネットワーク(NN)が極めて重要になっている。
これらのネットワークは、ハードしきい値を適用する際の勾配信号の欠如により、エラーのバックプロパゲーションを使用してトレーニングする際の課題に直面している。
本稿では,コサインアニールLRスケジュールと重み非依存適応モーメント推定を併用したシステム評価を行った。
論文 参考訳(メタデータ) (2022-02-15T06:42:25Z) - Sub-bit Neural Networks: Learning to Compress and Accelerate Binary
Neural Networks [72.81092567651395]
Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。
SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。
ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
論文 参考訳(メタデータ) (2021-10-18T11:30:29Z) - Towards Efficient Graph Convolutional Networks for Point Cloud Handling [181.59146413326056]
ポイントクラウド上で学習するためのグラフ畳み込みネットワーク(GCN)の計算効率の向上を目指します。
一連の実験により、最適化されたネットワークは計算複雑性を減らし、メモリ消費を減らし、推論速度を加速した。
論文 参考訳(メタデータ) (2021-04-12T17:59:16Z) - Adaptive Quantization of Model Updates for Communication-Efficient
Federated Learning [75.45968495410047]
クライアントノードと中央集約サーバ間のモデル更新の通信は、連合学習において大きなボトルネックとなる。
グラディエント量子化(Gradient Quantization)は、各モデル更新間の通信に必要なビット数を削減する効果的な方法である。
通信効率と低エラーフロアを実現することを目的としたAdaFLと呼ばれる適応量子化戦略を提案する。
論文 参考訳(メタデータ) (2021-02-08T19:14:21Z) - Dynamic DNN Decomposition for Lossless Synergistic Inference [0.9549013615433989]
ディープニューラルネットワーク(DNN)は、今日のデータ処理アプリケーションで高性能を維持します。
精度損失のない相乗的推論のための動的DNN分解システムD3を提案する。
d3は最先端のdnn推論時間を最大3.4倍に上回り、バックボーンネットワーク通信のオーバーヘッドを3.68倍に削減する。
論文 参考訳(メタデータ) (2021-01-15T03:18:53Z) - FracTrain: Fractionally Squeezing Bit Savings Both Temporally and
Spatially for Efficient DNN Training [81.85361544720885]
アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。
FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
論文 参考訳(メタデータ) (2020-12-24T05:24:10Z) - Optimal Gradient Quantization Condition for Communication-Efficient
Distributed Training [99.42912552638168]
勾配の通信は、コンピュータビジョンアプリケーションで複数のデバイスでディープニューラルネットワークをトレーニングするのに費用がかかる。
本研究は,textbfANY勾配分布に対する二値および多値勾配量子化の最適条件を導出する。
最適条件に基づいて, 偏差BinGradと非偏差ORQの2値勾配量子化と多値勾配量子化の2つの新しい量子化手法を開発した。
論文 参考訳(メタデータ) (2020-02-25T18:28:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。