論文の概要: Towards Cheaper Inference in Deep Networks with Lower Bit-Width
Accumulators
- arxiv url: http://arxiv.org/abs/2401.14110v1
- Date: Thu, 25 Jan 2024 11:46:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-26 14:41:38.061345
- Title: Towards Cheaper Inference in Deep Networks with Lower Bit-Width
Accumulators
- Title(参考訳): 低ビット幅集積器を用いた深部ネットワークのチーパ推論に向けて
- Authors: Yaniv Blumenfeld, Itay Hubara, Daniel Soudry
- Abstract要約: 現在のハードウェアは依然として高精度なコア操作に依存している。
これは、これまでのところ、低精度のアキュムレータの使用が性能を著しく低下させたためである。
本稿では,12ドル(約1万2000円)の安価なアキュムレータを初めて活用するために,高品質DNNの訓練と微調整を行うための簡単な方法を提案する。
- 参考スコア(独自算出の注目度): 25.100092698906437
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The majority of the research on the quantization of Deep Neural Networks
(DNNs) is focused on reducing the precision of tensors visible by high-level
frameworks (e.g., weights, activations, and gradients). However, current
hardware still relies on high-accuracy core operations. Most significant is the
operation of accumulating products. This high-precision accumulation operation
is gradually becoming the main computational bottleneck. This is because, so
far, the usage of low-precision accumulators led to a significant degradation
in performance. In this work, we present a simple method to train and fine-tune
high-end DNNs, to allow, for the first time, utilization of cheaper, $12$-bits
accumulators, with no significant degradation in accuracy. Lastly, we show that
as we decrease the accumulation precision further, using fine-grained gradient
approximations can improve the DNN accuracy.
- Abstract(参考訳): ディープニューラルネットワーク(DNN)の量子化に関する研究の大部分は、高レベルのフレームワーク(ウェイト、アクティベーション、勾配など)で見えるテンソルの精度の低減に重点を置いている。
しかし、現在のハードウェアは高い精度のコア操作に依存している。
最も重要なものは蓄積品の運用である。
この高精度累積演算は、徐々に主要な計算ボトルネックになりつつある。
これは、これまで低精度アキュムレータの使用が性能を著しく低下させたためである。
そこで本研究では,より安価で12ドルビットのアキュムレータを初めて利用し,精度を低下させることなく,高精度なdnnを訓練し,微調整する簡単な手法を提案する。
最後に,蓄積精度をさらに下げるにつれて,粒度勾配近似を用いることでDNNの精度が向上することを示した。
関連論文リスト
- DNA-TEQ: An Adaptive Exponential Quantization of Tensors for DNN
Inference [0.2724035499453557]
量子化は、ストレージと計算の複雑さを減らすためにディープニューラルネットワーク(DNN)で一般的に使用される。
そこで本研究では,DNNテンソルを指数関数的に定量化するDNA-TEQを提案する。
論文 参考訳(メタデータ) (2023-06-28T15:21:27Z) - Training Integer-Only Deep Recurrent Neural Networks [3.1829446824051195]
精度の高い整数専用リカレントニューラルネットワーク(iRNN)を得るための量子化学習法を提案する。
本手法は, 層正規化, 注意, アクティベーション関数の適応的片方向線形(PWL)近似をサポートする。
提案手法により,RNNベースの言語モデルでエッジデバイス上で実行可能である。
論文 参考訳(メタデータ) (2022-12-22T15:22:36Z) - LightNorm: Area and Energy-Efficient Batch Normalization Hardware for
On-Device DNN Training [0.31806743741013654]
我々はLightNormという名前の非常に効率的なバッチ正規化とそのハードウェアモジュールを提案する。
より詳しくは、i)低ビット精度、i)レンジバッチ正規化、iii)ブロック浮動小数点の3つの近似手法を融合する。
論文 参考訳(メタデータ) (2022-11-04T18:08:57Z) - Low-Precision Training in Logarithmic Number System using Multiplicative
Weight Update [49.948082497688404]
大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。
エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。
対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
論文 参考訳(メタデータ) (2021-06-26T00:32:17Z) - FTBNN: Rethinking Non-linearity for 1-bit CNNs and Going Beyond [23.5996182207431]
本稿では,二項化畳み込み過程が,その誤差を最小限に抑えるために線形性を増大させ,BNNの識別能力を損なうことを示す。
我々は、その矛盾を修正するために、適切な非線形モジュールを再検討し、調整することで、最先端のパフォーマンスを実現する強力なベースラインに繋がる。
論文 参考訳(メタデータ) (2020-10-19T08:11:48Z) - AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。
我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
論文 参考訳(メタデータ) (2020-07-14T09:07:29Z) - Bit Error Robustness for Energy-Efficient DNN Accelerators [93.58572811484022]
本稿では、ロバストな固定点量子化、重み切り、ランダムビット誤り訓練(RandBET)の組み合わせにより、ランダムビット誤りに対するロバスト性を向上することを示す。
これは低電圧動作と低精度量子化の両方から高エネルギーの節約につながる。
論文 参考訳(メタデータ) (2020-06-24T18:23:10Z) - Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality
Regularization and Singular Value Sparsification [53.50708351813565]
各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。
SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
論文 参考訳(メタデータ) (2020-04-20T02:40:43Z) - Gradient Centralization: A New Optimization Technique for Deep Neural
Networks [74.935141515523]
勾配集中(GC)は、勾配ベクトルをゼロ平均とする集中化によって、勾配を直接操作する。
GCは、制約された損失関数を持つ射影勾配降下法とみなすことができる。
GCは実装が非常に簡単で、1行のコードだけで既存のグラデーションベースのDNNに簡単に組み込める。
論文 参考訳(メタデータ) (2020-04-03T10:25:00Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳(メタデータ) (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。