論文の概要: VS-Quant: Per-vector Scaled Quantization for Accurate Low-Precision Neural Network Inference

• arxiv url: http://arxiv.org/abs/2102.04503v1
• Date: Mon, 8 Feb 2021 19:56:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-10 15:00:50.696999
• Title: VS-Quant: Per-vector Scaled Quantization for Accurate Low-Precision Neural Network Inference
• Title（参考訳）: VS-Quant: Per-vector Scaled Quantization for Accurate Low-Precision Neural Network Inference
• Authors: Steve Dai, Rangharajan Venkatesan, Haoxing Ren, Brian Zimmer, William J. Dally, Brucek Khailany
• Abstract要約: 量子化は、訓練されたモデルの浮動小数点重みとアクティベーションをスケールファクターを用いて低ビット幅整数値にマッピングする。 過剰な量子化、過度に精度を低下させると、精度が低下する。 ベクトル単位のスケールファクタは、2レベル量子化スキームを使用する場合、低ビット幅の整数で実装できる。
• 参考スコア（独自算出の注目度）: 7.886868529510128
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantization enables efficient acceleration of deep neural networks by reducing model memory footprint and exploiting low-cost integer math hardware units. Quantization maps floating-point weights and activations in a trained model to low-bitwidth integer values using scale factors. Excessive quantization, reducing precision too aggressively, results in accuracy degradation. When scale factors are shared at a coarse granularity across many dimensions of each tensor, effective precision of individual elements within the tensor are limited. To reduce quantization-related accuracy loss, we propose using a separate scale factor for each small vector of ($\approx$16-64) elements within a single dimension of a tensor. To achieve an efficient hardware implementation, the per-vector scale factors can be implemented with low-bitwidth integers when calibrated using a two-level quantization scheme. We find that per-vector scaling consistently achieves better inference accuracy at low precision compared to conventional scaling techniques for popular neural networks without requiring retraining. We also modify a deep learning accelerator hardware design to study the area and energy overheads of per-vector scaling support. Our evaluation demonstrates that per-vector scaled quantization with 4-bit weights and activations achieves 37% area saving and 24% energy saving while maintaining over 75% accuracy for ResNet50 on ImageNet. 4-bit weights and 8-bit activations achieve near-full-precision accuracy for both BERT-base and BERT-large on SQuAD while reducing area by 26% compared to an 8-bit baseline.
• Abstract（参考訳）: 量子化は、モデルメモリフットプリントを削減し、低コストの整数演算ハードウェアユニットを活用することにより、ディープニューラルネットワークの効率的な加速を可能にする。 量子化は、訓練されたモデルの浮動小数点重みとアクティベーションをスケールファクターを用いて低ビット幅整数値にマッピングする。 過剰な量子化、過度の精度の低下は、精度の低下をもたらす。 各テンソルの多くの次元にわたる粗粒度でスケール因子が共有されると、テンソル内の個々の要素の有効精度が制限される。 量子化関連精度損失を低減するために,テンソルの1次元内にある($16-64)要素の小さなベクトル毎に,別のスケール係数を用いることを提案する。 効率的なハードウェア実装を実現するために、2レベル量子化スキームを用いて校正する場合、ベクトルごとのスケール係数を低ビット幅整数で実装することができる。 一般的なニューラルネットワークでは,再訓練を必要とせず,従来のスケーリング手法と比較して,ベクトル単位のスケーリングが一貫して低精度で推論精度を向上できることが明らかになった。 また、深層学習アクセラレータハードウェアの設計を変更して、ベクトルごとのスケーリングサポートの領域とエネルギーオーバーヘッドを調査します。 評価の結果,4ビットの重みとアクティベーションによるベクトルごとの量子化は,ResNet50の75%以上の精度を維持しつつ,37%の省エネと24%の省エネを実現していることがわかった。 4ビットの重みと8ビットのアクティベーションは,SQuADではBERTベースとBERTラージの両方でほぼ精度が向上し,SQuADでは8ビットベースラインと比較して面積が26%削減された。

関連論文リスト

• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• Convolutional Neural Networks Quantization with Attention [1.0312968200748118]
  二重段Squeeze-and-Threshold法(二重段ST)を提案する。 注意機構を使ってネットワークを定量化し、最先端の結果を得る。
  論文  参考訳（メタデータ） (2022-09-30T08:48:31Z)
• Edge Inference with Fully Differentiable Quantized Mixed Precision Neural Networks [2.343854374666833]
  パラメータと演算をビット精度の低いものに量子化することで、ニューラルネットワークの推論にかなりのメモリとエネルギーを節約できる。 本稿では,エッジ計算を対象とする混合精度畳み込みニューラルネットワーク(CNN)の量子化手法を提案する。
  論文  参考訳（メタデータ） (2022-06-15T18:11:37Z)
• n-hot: Efficient bit-level sparsity for powers-of-two neural network quantization [0.0]
  パワーオブツー(PoT)量子化は、リソース制約ハードウェア上でのディープニューラルネットワークのビット演算数を減少させる。 PoT量子化は、表現能力が限られているため、深刻な精度低下を引き起こす。 メモリ効率の高い方法で精度とコストを両立した効率的なPoT量子化方式を提案する。
  論文  参考訳（メタデータ） (2021-03-22T10:13:12Z)
• Direct Quantization for Training Highly Accurate Low Bit-width Deep Neural Networks [73.29587731448345]
  本稿では,低ビット幅重みとアクティベーションで深部畳み込みニューラルネットワークを訓練する2つの新しい手法を提案する。 まず、ビット幅の少ない重みを得るため、既存の方法の多くは、全精度ネットワーク重みで量子化することにより量子化重みを得る。 第二に、低ビット幅のアクティベーションを得るために、既存の作品はすべてのチャネルを等しく考慮する。
  論文  参考訳（メタデータ） (2020-12-26T15:21:18Z)
• HAWQV3: Dyadic Neural Network Quantization [73.11579145354801]
  現在の低精度量子化アルゴリズムは、浮動小数点から量子化された整数値への変換の隠れコストを持つことが多い。 HAWQV3は、新しい混合精度整数のみの量子化フレームワークである。
  論文  参考訳（メタデータ） (2020-11-20T23:51:43Z)
• Searching for Low-Bit Weights in Quantized Neural Networks [129.8319019563356]
  低ビットの重みとアクティベーションを持つ量子ニューラルネットワークは、AIアクセラレータを開発する上で魅力的なものだ。 本稿では、任意の量子化ニューラルネットワークにおける離散重みを探索可能な変数とみなし、差分法を用いて正確に探索する。
  論文  参考訳（メタデータ） (2020-09-18T09:13:26Z)
• Weight Equalizing Shift Scaler-Coupled Post-training Quantization [0.5936318628878774]
  トレーニング後、レイヤワイドの量子化が望ましいのは、再トレーニングが不要で、ハードウェアフレンドリーであるからである。 ニューラルネットワークモデルがチャネルあたりのウェイト範囲に大きな違いがある場合、精度の低下が発生します。 本研究では,4ビットのバイナリシフトでチャネルごとの重み範囲を再スケーリングする,新しい重み等化シフトスケーラを提案する。
  論文  参考訳（メタデータ） (2020-08-13T09:19:57Z)
• AQD: Towards Accurate Quantized Object Detection [110.82620400761735]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 AQDは、超低ビット方式の完全精度と比較して、同等またはそれ以上の性能を実現していることを示す。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。