論文の概要: FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training

• arxiv url: http://arxiv.org/abs/2012.13113v2
• Date: Sat, 04 Jan 2025 03:47:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:03:30.843677
• Title: FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training
• Title（参考訳）: FracTrain: 効率的なDNNトレーニングのために一時的にも空間的にもビットセーブを高速に行う
• Authors: Yonggan Fu, Haoran You, Yang Zhao, Yue Wang, Chaojian Li, Kailash Gopalakrishnan, Zhangyang Wang, Yingyan Celine Lin,
• Abstract要約: 本稿では, アクティベーション, ウェイト, 勾配の精度を徐々に向上させる, プログレッシブ分数量子化を統合したFracTrainを提案する。 FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
• 参考スコア（独自算出の注目度）: 62.932299614630985
• License:
• Abstract: Recent breakthroughs in deep neural networks (DNNs) have fueled a tremendous demand for intelligent edge devices featuring on-site learning, while the practical realization of such systems remains a challenge due to the limited resources available at the edge and the required massive training costs for state-of-the-art (SOTA) DNNs. As reducing precision is one of the most effective knobs for boosting training time/energy efficiency, there has been a growing interest in low-precision DNN training. In this paper, we explore from an orthogonal direction: how to fractionally squeeze out more training cost savings from the most redundant bit level, progressively along the training trajectory and dynamically per input. Specifically, we propose FracTrain that integrates (i) progressive fractional quantization which gradually increases the precision of activations, weights, and gradients that will not reach the precision of SOTA static quantized DNN training until the final training stage, and (ii) dynamic fractional quantization which assigns precisions to both the activations and gradients of each layer in an input-adaptive manner, for only "fractionally" updating layer parameters. Extensive simulations and ablation studies (six models, four datasets, and three training settings including standard, adaptation, and fine-tuning) validate the effectiveness of FracTrain in reducing computational cost and hardware-quantified energy/latency of DNN training while achieving a comparable or better (-0.12%~+1.87%) accuracy. For example, when training ResNet-74 on CIFAR-10, FracTrain achieves 77.6% and 53.5% computational cost and training latency savings, respectively, compared with the best SOTA baseline, while achieving a comparable (-0.07%) accuracy. Our codes are available at: https://github.com/RICE-EIC/FracTrain.
• Abstract（参考訳）: 近年のディープニューラルネットワーク(DNN)のブレークスルーは、オンサイトラーニングを特徴とするインテリジェントエッジデバイスに対する大きな需要を押し上げている一方で、エッジで利用可能な限られたリソースと、最先端(SOTA)DNNに必要な膨大なトレーニングコストのために、そのようなシステムの実践的実現は依然として課題である。 精度の低下はトレーニング時間/エネルギー効率を高めるための最も効果的なノブの1つであり、低精度DNNトレーニングへの関心が高まっている。 本稿では,最も冗長なビットレベルからトレーニングコストを減らし,段階的にトレーニング軌道に沿って,入力毎に動的に削減する方法について,直交方向から検討する。 具体的には、統合するFracTrainを提案する。 i) 段階的分数量子化は、最終訓練段階までSOTA静的量子化DNNトレーニングの精度に達しないアクティベーション、ウェイト、勾配の精度を徐々に向上させ、 (II)動的分数量子化は、各層のアクティベーションと勾配の両方に精度を入力適応的に割り当てる。 大規模なシミュレーションとアブレーション研究(6つのモデル、4つのデータセット、標準、適応、微調整を含む3つのトレーニング設定)は、FracTrainの有効性を検証し、計算コストとDNNトレーニングのハードウェア量子化エネルギー/遅延を低減し、同等以上の精度(-0.12%~+1.87%)を達成する。 例えば、CIFAR-10上でResNet-74をトレーニングする場合、FracTrainは最高のSOTAベースラインと比較して、それぞれ77.6%と53.5%の計算コストとトレーニング遅延の削減を達成した。 私たちのコードは、https://github.com/RICE-EIC/FracTrain.comで利用可能です。

関連論文リスト

• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Block-Wise Dynamic-Precision Neural Network Training Acceleration via Online Quantization Sensitivity Analytics [8.373265629267257]
  ブロックワイドな動的精度ニューラルネットワークトレーニングフレームワークDYNASTYを提案する。 DYNASTYは、高速オンライン分析を通じて正確なデータ感度情報を提供し、適応ビット幅マップジェネレータによる安定したトレーニング収束を維持する。 8ビットの量子化ベースラインと比較して、DYNASTYは5.1タイムのスピードアップと4.7タイムのエネルギー消費削減を実現し、精度の低下やハードウェアのオーバーヘッドは無視できる。
  論文  参考訳（メタデータ） (2022-10-31T03:54:16Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• LDP: Learnable Dynamic Precision for Efficient Deep Neural Network Training and Inference [24.431074439663437]
  Learnable Dynamic Precision (LDP) は、トレーニング中の時間的および空間的ダイナミックな精度スケジュールを自動的に学習するフレームワークである。 LDPは、訓練効率の点で、最先端(SOTA)の低精度DNN訓練技術より一貫して優れており、精度のトレードオフも達成している。
  論文  参考訳（メタデータ） (2022-03-15T08:01:46Z)
• Low-Precision Training in Logarithmic Number System using Multiplicative Weight Update [49.948082497688404]
  大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。 エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。 対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
  論文  参考訳（メタデータ） (2021-06-26T00:32:17Z)
• AC/DC: Alternating Compressed/DeCompressed Training of Deep Neural Networks [78.62086125399831]
  本稿では、ディープニューラルネットワーク(DNN)のAC/DCトレーニング(Alternating Compressed/DeCompressed)と呼ばれる一般的なアプローチを提案する。 AC/DCは、類似の計算予算で既存のスパーストレーニング方法よりも精度が高い。 AC/DCの重要な特性は、密度とスパースモデルのコトレーニングが可能であり、トレーニングプロセスの終了時に正確なスパース・ダンスモデルペアが得られることである。
  論文  参考訳（メタデータ） (2021-06-23T13:23:00Z)
• CPT: Efficient Deep Neural Network Training via Cyclic Precision [19.677029887330036]
  低精度ディープニューラルネットワーク(DNN)トレーニングは、DNNのトレーニング時間/エネルギー効率を高めるための最も効果的なノブの1つであるため、大きな注目を集めている。 我々は、DNNの精度がDNNトレーニングの学習速度と類似している可能性を推察し、DNNトレーニングの時間/エネルギー効率をさらに高めるためのトレーニング軌道に沿った動的精度を提唱する。
  論文  参考訳（メタデータ） (2021-01-25T02:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。