論文の概要: LDP: Learnable Dynamic Precision for Efficient Deep Neural Network Training and Inference

• arxiv url: http://arxiv.org/abs/2203.07713v1
• Date: Tue, 15 Mar 2022 08:01:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-17 04:29:12.555152
• Title: LDP: Learnable Dynamic Precision for Efficient Deep Neural Network Training and Inference
• Title（参考訳）: LDP: ディープラーニング学習と推論のための学習可能な動的精度
• Authors: Zhongzhi Yu, Yonggan Fu, Shang Wu, Mengquan Li, Haoran You, Yingyan Lin
• Abstract要約: Learnable Dynamic Precision (LDP) は、トレーニング中の時間的および空間的ダイナミックな精度スケジュールを自動的に学習するフレームワークである。 LDPは、訓練効率の点で、最先端(SOTA)の低精度DNN訓練技術より一貫して優れており、精度のトレードオフも達成している。
• 参考スコア（独自算出の注目度）: 24.431074439663437
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Low precision deep neural network (DNN) training is one of the most effective techniques for boosting DNNs' training efficiency, as it trims down the training cost from the finest bit level. While existing works mostly fix the model precision during the whole training process, a few pioneering works have shown that dynamic precision schedules help DNNs converge to a better accuracy while leading to a lower training cost than their static precision training counterparts. However, existing dynamic low precision training methods rely on manually designed precision schedules to achieve advantageous efficiency and accuracy trade-offs, limiting their more comprehensive practical applications and achievable performance. To this end, we propose LDP, a Learnable Dynamic Precision DNN training framework that can automatically learn a temporally and spatially dynamic precision schedule during training towards optimal accuracy and efficiency trade-offs. It is worth noting that LDP-trained DNNs are by nature efficient during inference. Furthermore, we visualize the resulting temporal and spatial precision schedule and distribution of LDP trained DNNs on different tasks to better understand the corresponding DNNs' characteristics at different training stages and DNN layers both during and after training, drawing insights for promoting further innovations. Extensive experiments and ablation studies (seven networks, five datasets, and three tasks) show that the proposed LDP consistently outperforms state-of-the-art (SOTA) low precision DNN training techniques in terms of training efficiency and achieved accuracy trade-offs. For example, in addition to having the advantage of being automated, our LDP achieves a 0.31\% higher accuracy with a 39.1\% lower computational cost when training ResNet-20 on CIFAR-10 as compared with the best SOTA method.
• Abstract（参考訳）: 低精度深層ニューラルネットワーク(DNN)トレーニングは、最高のビットレベルからトレーニングコストを削減できるため、DNNのトレーニング効率を高める最も効果的なテクニックの1つである。 既存の作業はトレーニングプロセス全体においてモデルの精度を主に修正するが、いくつかの先駆的な研究により、動的精度のスケジュールはDNNがより正確な精度に収束するのに役立つ一方で、静的精度のトレーニングよりも低いトレーニングコストにつながることが示されている。 しかし、既存の動的低精度トレーニング手法は、効率と精度の面で有利なトレードオフを達成するために手動で設計した精度スケジュールに依存しており、より包括的な実用的応用と達成可能な性能を制限している。 この目的のために,学習可能な動的精度DNNトレーニングフレームワークであるLPPを提案し,学習中の時間的・空間的動的精度スケジュールを自動的に学習し,最適な精度と効率のトレードオフを実現する。 LDP訓練されたDNNは推論時に本質的に効率的であることに注意が必要だ。 さらに,学習段階の異なるDNNと学習前後のDNN層の特徴をよりよく理解し,さらなるイノベーションを促進するための洞察を導き出すため,異なるタスクにおける時間的・空間的精度のスケジュールとDNNの分布を可視化する。 7つのネットワーク、5つのデータセット、3つのタスクからなる大規模な実験とアブレーション研究により、提案されたLDPは、トレーニング効率の観点から、常に最先端(SOTA)のDNNトレーニング技術より優れており、精度のトレードオフが達成されていることが示された。 例えば、自動化の利点に加えて、私たちのLCPは、最高のSOTA法と比較して、CIFAR-10上でResNet-20をトレーニングする際に、39.1\%低い計算コストで0.31\%の精度を達成する。

関連論文リスト

• Better Schedules for Low Precision Training of Deep Neural Networks [13.88763215392452]
  周期的精度訓練(CPT)は、周期的スケジュールに従って、訓練を通しての精度を動的に調整する。 CPTはトレーニング効率が特に向上し、実際にDNNのパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2024-03-04T17:33:39Z)
• Enhancing Deep Neural Network Training Efficiency and Performance through Linear Prediction [0.0]
  ディープニューラルネットワーク(DNN)は、コンピュータビジョンや自然言語処理など、さまざまな分野で大きな成功を収めている。 本稿では,DNNの学習効率を最適化する手法を提案する。
  論文  参考訳（メタデータ） (2023-10-17T03:11:30Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• lpSpikeCon: Enabling Low-Precision Spiking Neural Network Processing for Efficient Unsupervised Continual Learning on Autonomous Agents [14.916996986290902]
  効率的な教師なし連続学習のための低精度SNN処理を可能にする新しい手法であるlpSpikeConを提案する。 我々のlpSpikeConは、教師なし連続学習によるオンライントレーニングを行うために、SNNモデルの重量記憶を8倍(すなわち、4ビットの重みを司法的に採用することで)削減することができる。
  論文  参考訳（メタデータ） (2022-05-24T18:08:16Z)
• Low-Precision Training in Logarithmic Number System using Multiplicative Weight Update [49.948082497688404]
  大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。 エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。 対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
  論文  参考訳（メタデータ） (2021-06-26T00:32:17Z)
• AC/DC: Alternating Compressed/DeCompressed Training of Deep Neural Networks [78.62086125399831]
  本稿では、ディープニューラルネットワーク(DNN)のAC/DCトレーニング(Alternating Compressed/DeCompressed)と呼ばれる一般的なアプローチを提案する。 AC/DCは、類似の計算予算で既存のスパーストレーニング方法よりも精度が高い。 AC/DCの重要な特性は、密度とスパースモデルのコトレーニングが可能であり、トレーニングプロセスの終了時に正確なスパース・ダンスモデルペアが得られることである。
  論文  参考訳（メタデータ） (2021-06-23T13:23:00Z)
• CPT: Efficient Deep Neural Network Training via Cyclic Precision [19.677029887330036]
  低精度ディープニューラルネットワーク(DNN)トレーニングは、DNNのトレーニング時間/エネルギー効率を高めるための最も効果的なノブの1つであるため、大きな注目を集めている。 我々は、DNNの精度がDNNトレーニングの学習速度と類似している可能性を推察し、DNNトレーニングの時間/エネルギー効率をさらに高めるためのトレーニング軌道に沿った動的精度を提唱する。
  論文  参考訳（メタデータ） (2021-01-25T02:56:18Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training [81.85361544720885]
  アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。 FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
  論文  参考訳（メタデータ） (2020-12-24T05:24:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。