論文の概要: FracTrain: Fractionally Squeezing Bit Savings Both Temporally and
Spatially for Efficient DNN Training
- arxiv url: http://arxiv.org/abs/2012.13113v1
- Date: Thu, 24 Dec 2020 05:24:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-25 08:16:48.747246
- Title: FracTrain: Fractionally Squeezing Bit Savings Both Temporally and
Spatially for Efficient DNN Training
- Title（参考訳）: フラクトレイン:効率の良いdnnトレーニングのための時間的および空間的なビット節約
- Authors: Yonggan Fu, Haoran You, Yang Zhao, Yue Wang, Chaojian Li, Kailash
Gopalakrishnan, Zhangyang Wang, Yingyan Lin
- Abstract要約: アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。
FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
- 参考スコア（独自算出の注目度）: 81.85361544720885
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent breakthroughs in deep neural networks (DNNs) have fueled a tremendous
demand for intelligent edge devices featuring on-site learning, while the
practical realization of such systems remains a challenge due to the limited
resources available at the edge and the required massive training costs for
state-of-the-art (SOTA) DNNs. As reducing precision is one of the most
effective knobs for boosting training time/energy efficiency, there has been a
growing interest in low-precision DNN training. In this paper, we explore from
an orthogonal direction: how to fractionally squeeze out more training cost
savings from the most redundant bit level, progressively along the training
trajectory and dynamically per input. Specifically, we propose FracTrain that
integrates (i) progressive fractional quantization which gradually increases
the precision of activations, weights, and gradients that will not reach the
precision of SOTA static quantized DNN training until the final training stage,
and (ii) dynamic fractional quantization which assigns precisions to both the
activations and gradients of each layer in an input-adaptive manner, for only
"fractionally" updating layer parameters. Extensive simulations and ablation
studies (six models, four datasets, and three training settings including
standard, adaptation, and fine-tuning) validate the effectiveness of FracTrain
in reducing computational cost and hardware-quantified energy/latency of DNN
training while achieving a comparable or better (-0.12%~+1.87%) accuracy. For
example, when training ResNet-74 on CIFAR-10, FracTrain achieves 77.6% and
53.5% computational cost and training latency savings, respectively, compared
with the best SOTA baseline, while achieving a comparable (-0.07%) accuracy.
Our codes are available at: https://github.com/RICE-EIC/FracTrain.
- Abstract（参考訳）: 近年のディープニューラルネットワーク(DNN)のブレークスルーは、オンサイトラーニングを特徴とするインテリジェントエッジデバイスに対する大きな需要を押し上げている一方で、エッジで利用可能な限られたリソースと、最先端(SOTA)DNNに必要な膨大なトレーニングコストのために、そのようなシステムの実践的実現は依然として課題である。
精度の低下はトレーニング時間/エネルギー効率を高めるための最も効果的なノブの1つであり、低精度DNNトレーニングへの関心が高まっている。
本稿では,最も冗長なビットレベルから,トレーニング軌道に沿って段階的に,入力毎に動的に,より少ないトレーニングコストの削減方法を,直交方向から検討する。
具体的には、(i)somaの静的量子化dnnトレーニングの精度に到達しないアクティベーション、ウエイト、勾配の精度を最終訓練段階まで徐々に向上させるプログレッシブ分数量子化と、(ii)各レイヤのアクティベーションとグラデーションの両方に、入力順応的な方法で精度を割り当てる動的分数量子化とを統合したフラクトレムを提案する。
大規模なシミュレーションとアブレーション研究(6つのモデル、4つのデータセット、標準、適応、微調整を含む3つのトレーニング設定)は、FracTrainの有効性を検証し、計算コストとDNNトレーニングのハードウェア量子化エネルギー/遅延を低減し、同等以上の精度(-0.12%~+1.87%)を達成する。
例えば、CIFAR-10上でResNet-74をトレーニングする場合、FracTrainは最高のSOTAベースラインと比較して、それぞれ77.6%と53.5%の計算コストとトレーニング遅延の削減を達成した。
私たちのコードは、https://github.com/RICE-EIC/FracTrain.comで利用可能です。
関連論文リスト
- SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural
Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。
本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文 参考訳（メタデータ） (2023-02-01T04:22:59Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Block-Wise Dynamic-Precision Neural Network Training Acceleration via
Online Quantization Sensitivity Analytics [8.373265629267257]
ブロックワイドな動的精度ニューラルネットワークトレーニングフレームワークDYNASTYを提案する。
DYNASTYは、高速オンライン分析を通じて正確なデータ感度情報を提供し、適応ビット幅マップジェネレータによる安定したトレーニング収束を維持する。
8ビットの量子化ベースラインと比較して、DYNASTYは5.1タイムのスピードアップと4.7タイムのエネルギー消費削減を実現し、精度の低下やハードウェアのオーバーヘッドは無視できる。
論文 参考訳（メタデータ） (2022-10-31T03:54:16Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳（メタデータ） (2022-10-09T07:47:56Z) - LDP: Learnable Dynamic Precision for Efficient Deep Neural Network
Training and Inference [24.431074439663437]
Learnable Dynamic Precision (LDP) は、トレーニング中の時間的および空間的ダイナミックな精度スケジュールを自動的に学習するフレームワークである。
LDPは、訓練効率の点で、最先端(SOTA)の低精度DNN訓練技術より一貫して優れており、精度のトレードオフも達成している。
論文 参考訳（メタデータ） (2022-03-15T08:01:46Z) - Low-Precision Training in Logarithmic Number System using Multiplicative
Weight Update [49.948082497688404]
大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。
エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。
対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
論文 参考訳（メタデータ） (2021-06-26T00:32:17Z) - AC/DC: Alternating Compressed/DeCompressed Training of Deep Neural
Networks [78.62086125399831]
本稿では、ディープニューラルネットワーク(DNN)のAC/DCトレーニング(Alternating Compressed/DeCompressed)と呼ばれる一般的なアプローチを提案する。
AC/DCは、類似の計算予算で既存のスパーストレーニング方法よりも精度が高い。
AC/DCの重要な特性は、密度とスパースモデルのコトレーニングが可能であり、トレーニングプロセスの終了時に正確なスパース・ダンスモデルペアが得られることである。
論文 参考訳（メタデータ） (2021-06-23T13:23:00Z) - CPT: Efficient Deep Neural Network Training via Cyclic Precision [19.677029887330036]
低精度ディープニューラルネットワーク(DNN)トレーニングは、DNNのトレーニング時間/エネルギー効率を高めるための最も効果的なノブの1つであるため、大きな注目を集めている。
我々は、DNNの精度がDNNトレーニングの学習速度と類似している可能性を推察し、DNNトレーニングの時間/エネルギー効率をさらに高めるためのトレーニング軌道に沿った動的精度を提唱する。
論文 参考訳（メタデータ） (2021-01-25T02:56:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。