論文の概要: CPT: Efficient Deep Neural Network Training via Cyclic Precision

• arxiv url: http://arxiv.org/abs/2101.09868v4
• Date: Sat, 04 Jan 2025 03:43:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:02:50.972859
• Title: CPT: Efficient Deep Neural Network Training via Cyclic Precision
• Title（参考訳）: CPT: サイクル精度による効率的なディープニューラルネットワークトレーニング
• Authors: Yonggan Fu, Han Guo, Meng Li, Xin Yang, Yining Ding, Vikas Chandra, Yingyan Celine Lin,
• Abstract要約: DNNの精度は、DNNトレーニング中の学習率と同じような効果がある可能性があると推測する。 本稿では,2つの境界値の精度を変化させるサイクル精度訓練(CPT)を提案する。
• 参考スコア（独自算出の注目度）: 24.218905131408288
• License:
• Abstract: Low-precision deep neural network (DNN) training has gained tremendous attention as reducing precision is one of the most effective knobs for boosting DNNs' training time/energy efficiency. In this paper, we attempt to explore low-precision training from a new perspective as inspired by recent findings in understanding DNN training: we conjecture that DNNs' precision might have a similar effect as the learning rate during DNN training, and advocate dynamic precision along the training trajectory for further boosting the time/energy efficiency of DNN training. Specifically, we propose Cyclic Precision Training (CPT) to cyclically vary the precision between two boundary values which can be identified using a simple precision range test within the first few training epochs. Extensive simulations and ablation studies on five datasets and eleven models demonstrate that CPT's effectiveness is consistent across various models/tasks (including classification and language modeling). Furthermore, through experiments and visualization we show that CPT helps to (1) converge to a wider minima with a lower generalization error and (2) reduce training variance which we believe opens up a new design knob for simultaneously improving the optimization and efficiency of DNN training. Our codes are available at: https://github.com/RICE-EIC/CPT.
• Abstract（参考訳）: 低精度ディープニューラルネットワーク(DNN)トレーニングは、DNNのトレーニング時間/エネルギー効率を高めるための最も効果的なノブの1つであるため、大きな注目を集めている。 本稿では,DNN訓練における学習速度とDNNの精度が類似している可能性を推察し,DNN訓練の時間/エネルギー効率をさらに高めるための訓練軌道に沿った動的精度を提唱する。 具体的には,2つの境界値間で周期的に精度を変化させるサイクル精度訓練(CPT)を提案する。 5つのデータセットと11のモデルに関する大規模なシミュレーションとアブレーション研究は、CPTの有効性が様々なモデル/タスク(分類と言語モデリングを含む)で一致していることを示した。 さらに,実験と可視化により,CPTは(1)より広い最小値に収束し,(2)DNNトレーニングの最適化と効率を同時に向上する新たな設計ノブを開放すると考えられるトレーニング分散を減少させることを示す。 私たちのコードは、https://github.com/RICE-EIC/CPTで公開されています。

関連論文リスト

• CycleBNN: Cyclic Precision Training in Binary Neural Networks [13.756549063691624]
  本稿では,バイナリニューラルネットワーク(BNN)について述べる。 BNNは計算オーバーヘッドとメモリフットプリントを大幅に削減し、完全な精度ネットワークを提供する。 しかし、エネルギー集約的なトレーニングの課題とパフォーマンスの低下は、永続的な問題である。 従来の研究とは異なり,本研究では,サイクロンBNNを導入して,BNNとサイクル精度トレーニングを統合した革新的な方法論を提案する。
  論文  参考訳（メタデータ） (2024-09-28T08:51:25Z)
• Better Schedules for Low Precision Training of Deep Neural Networks [13.88763215392452]
  周期的精度訓練(CPT)は、周期的スケジュールに従って、訓練を通しての精度を動的に調整する。 CPTはトレーニング効率が特に向上し、実際にDNNのパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2024-03-04T17:33:39Z)
• Enhancing Deep Neural Network Training Efficiency and Performance through Linear Prediction [0.0]
  ディープニューラルネットワーク(DNN)は、コンピュータビジョンや自然言語処理など、さまざまな分野で大きな成功を収めている。 本稿では,DNNの学習効率を最適化する手法を提案する。
  論文  参考訳（メタデータ） (2023-10-17T03:11:30Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• LDP: Learnable Dynamic Precision for Efficient Deep Neural Network Training and Inference [24.431074439663437]
  Learnable Dynamic Precision (LDP) は、トレーニング中の時間的および空間的ダイナミックな精度スケジュールを自動的に学習するフレームワークである。 LDPは、訓練効率の点で、最先端(SOTA)の低精度DNN訓練技術より一貫して優れており、精度のトレードオフも達成している。
  論文  参考訳（メタデータ） (2022-03-15T08:01:46Z)
• AC/DC: Alternating Compressed/DeCompressed Training of Deep Neural Networks [78.62086125399831]
  本稿では、ディープニューラルネットワーク(DNN)のAC/DCトレーニング(Alternating Compressed/DeCompressed)と呼ばれる一般的なアプローチを提案する。 AC/DCは、類似の計算予算で既存のスパーストレーニング方法よりも精度が高い。 AC/DCの重要な特性は、密度とスパースモデルのコトレーニングが可能であり、トレーニングプロセスの終了時に正確なスパース・ダンスモデルペアが得られることである。
  論文  参考訳（メタデータ） (2021-06-23T13:23:00Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training [81.85361544720885]
  アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。 FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
  論文  参考訳（メタデータ） (2020-12-24T05:24:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。