論文の概要: Low Precision Decentralized Distributed Training with Heterogeneous Data
- arxiv url: http://arxiv.org/abs/2111.09389v1
- Date: Wed, 17 Nov 2021 20:48:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-19 13:52:25.737386
- Title: Low Precision Decentralized Distributed Training with Heterogeneous Data
- Title（参考訳）: 異種データを用いた高精度分散分散学習
- Authors: Sai Aparna Aketi, Sangamesh Kodge, Kaushik Roy
- Abstract要約: トレーニングと推論の計算複雑性を低減することを目的とした,低精度分散トレーニングの収束性を示す。
実験によると、8ビットの分散トレーニングは、不均一なデータであっても、その完全精度と比較して、最小限の精度の損失がある。
- 参考スコア（独自算出の注目度）: 5.43185002439223
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Decentralized distributed learning is the key to enabling large-scale machine
learning (training) on the edge devices utilizing private user-generated local
data, without relying on the cloud. However, practical realization of such
on-device training is limited by the communication bottleneck, computation
complexity of training deep models and significant data distribution skew
across devices. Many feedback-based compression techniques have been proposed
in the literature to reduce the communication cost and a few works propose
algorithmic changes to aid the performance in the presence of skewed data
distribution by improving convergence rate. To the best of our knowledge, there
is no work in the literature that applies and shows compute efficient training
techniques such quantization, pruning etc., for peer-to-peer decentralized
learning setups. In this paper, we analyze and show the convergence of low
precision decentralized training that aims to reduce the computational
complexity of training and inference. Further, We study the effect of degree of
skew and communication compression on the low precision decentralized training
over various computer vision and Natural Language Processing (NLP) tasks. Our
experiments indicate that 8-bit decentralized training has minimal accuracy
loss compared to its full precision counterpart even with heterogeneous data.
However, when low precision training is accompanied by communication
compression through sparsification we observe 1-2% drop in accuracy. The
proposed low precision decentralized training decreases computational
complexity, memory usage, and communication cost by ~4x while trading off less
than a 1% accuracy for both IID and non-IID data. In particular, with higher
skew values, we observe an increase in accuracy (by ~0.5%) with low precision
training, indicating the regularization effect of the quantization.
- Abstract（参考訳）: 分散分散学習は、クラウドに頼ることなく、プライベートなユーザ生成ローカルデータを使用してエッジデバイス上で大規模機械学習(トレーニング)を可能にするための鍵である。
しかしながら、デバイス上でのトレーニングの実現には、通信のボトルネック、深層モデルのトレーニングの計算複雑性、デバイス間の大きなデータ分散が制限されている。
多くのフィードバックに基づく圧縮技術が,通信コスト削減のために文献で提案されており,コンバージェンス率の向上によるスキュードデータ配信の性能向上を支援するためのアルゴリズム的変更がいくつか提案されている。
我々の知識を最大限に活用するために、ピアツーピアの分散学習環境において、量子化やプルーニングなどの効率的な訓練手法を適用し、示す文献は存在しない。
本稿では,学習と推論の計算複雑性を低減することを目的とした,低精度分散トレーニングの収束度を解析し,示す。
さらに,様々なコンピュータビジョンと自然言語処理(NLP)タスクにおける,スキュー度と通信圧縮が低精度分散トレーニングに及ぼす影響について検討した。
実験の結果,8ビット分散トレーニングは不均一なデータであっても,完全精度よりも精度が低いことがわかった。
しかし,スペーシフィケーションによる通信圧縮を伴う低精度トレーニングでは,1～2%の精度低下が観察された。
提案した低精度分散トレーニングは、IIDおよび非IIDデータの1%未満の精度で処理しながら、計算複雑性、メモリ使用量、通信コストを約4倍に削減する。
特に, スクリュー値が高い場合には, 低精度トレーニングによる精度(~0.5%)の増加が観察され, 量子化の正則化効果が示唆された。
関連論文リスト
- KAKURENBO: Adaptively Hiding Samples in Deep Neural Network Training [2.8804804517897935]
深層ニューラルネットワークのトレーニングにおいて,最も重要でないサンプルを隠蔽する手法を提案する。
我々は,学習プロセス全体への貢献に基づいて,与えられたエポックを除外するサンプルを適応的に見つける。
本手法は, ベースラインと比較して, 最大22%の精度でトレーニング時間を短縮できる。
論文 参考訳（メタデータ） (2023-10-16T06:19:29Z) - Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。
提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
論文 参考訳（メタデータ） (2023-07-27T17:42:06Z) - Efficient Augmentation for Imbalanced Deep Learning [8.38844520504124]
本研究では、畳み込みニューラルネットワークの内部表現である不均衡画像データについて検討する。
モデルの特徴埋め込みとテストセットの一般化ギャップを測定し、マイノリティクラスではそのギャップが広いことを示す。
この洞察により、不均衡なデータのための効率的な3相CNNトレーニングフレームワークを設計できる。
論文 参考訳（メタデータ） (2022-07-13T09:43:17Z) - Efficient training of lightweight neural networks using Online
Self-Acquired Knowledge Distillation [51.66271681532262]
オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。
出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
論文 参考訳（メタデータ） (2021-08-26T14:01:04Z) - AC/DC: Alternating Compressed/DeCompressed Training of Deep Neural
Networks [78.62086125399831]
本稿では、ディープニューラルネットワーク(DNN)のAC/DCトレーニング(Alternating Compressed/DeCompressed)と呼ばれる一般的なアプローチを提案する。
AC/DCは、類似の計算予算で既存のスパーストレーニング方法よりも精度が高い。
AC/DCの重要な特性は、密度とスパースモデルのコトレーニングが可能であり、トレーニングプロセスの終了時に正確なスパース・ダンスモデルペアが得られることである。
論文 参考訳（メタデータ） (2021-06-23T13:23:00Z) - Data optimization for large batch distributed training of deep neural
networks [0.19336815376402716]
ディープニューラルネットワークの分散トレーニングの現在のプラクティスは、大規模運用における通信ボトルネックの課題に直面している。
本研究では,局所的ミニマの少ない損失環境を暗黙的に平滑化するために,機械学習を用いたデータ最適化手法を提案する。
当社のアプローチでは,機能学習において重要でないデータポイントをフィルタリングすることで,より大きなバッチサイズでのモデルのトレーニングを高速化し,精度の向上を実現しています。
論文 参考訳（メタデータ） (2020-12-16T21:22:02Z) - Predicting Training Time Without Training [120.92623395389255]
我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。
我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。
トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
論文 参考訳（メタデータ） (2020-08-28T04:29:54Z) - Step-Ahead Error Feedback for Distributed Training with Compressed
Gradient [99.42912552638168]
集中型分散トレーニングにおける局所的エラーフィードバックによって,新たな"段階的ミスマッチ"問題が発生することを示す。
本稿では, 厳密な理論的解析を施した2つの新しい手法, 1) 一歩前進, 2) 誤差平均化を提案する。
論文 参考訳（メタデータ） (2020-08-13T11:21:07Z) - Enabling On-Device CNN Training by Self-Supervised Instance Filtering
and Error Map Pruning [17.272561332310303]
この研究は、トレーニング時の計算コストを削減し、デバイス上での畳み込みニューラルネットワーク(CNN)のトレーニングを可能にすることを目的としている。
CNNモデルは、通常高性能コンピュータ上で訓練され、訓練されたモデルのみがエッジデバイスにデプロイされる。
論文 参考訳（メタデータ） (2020-07-07T05:52:37Z) - Towards Efficient Scheduling of Federated Mobile Devices under
Computational and Statistical Heterogeneity [16.069182241512266]
本稿では,モバイルデバイス上での分散学習の実装について検討する。
チューニングノブとしてデータを使用し、異なるワークロードをスケジュールする2つの効率的な時間アルゴリズムを提案する。
一般的なベンチマークと比較すると,提案アルゴリズムはCIFAR10で2-100倍の高速化,2-7%の精度向上,収束率を100%以上達成している。
論文 参考訳（メタデータ） (2020-05-25T18:21:51Z) - Understanding the Effects of Data Parallelism and Sparsity on Neural
Network Training [126.49572353148262]
ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。
有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
論文 参考訳（メタデータ） (2020-03-25T10:49:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。