論文の概要: Quantized Neural Network Inference with Precision Batching

• arxiv url: http://arxiv.org/abs/2003.00822v1
• Date: Wed, 26 Feb 2020 19:34:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 15:01:03.854295
• Title: Quantized Neural Network Inference with Precision Batching
• Title（参考訳）: 精度バッチを用いた量子ニューラルネットワーク推論
• Authors: Maximilian Lam, Zachary Yedidia, Colby Banbury, Vijay Janapa Reddi
• Abstract要約: 精度はニューラルネットワークを個々のビット層に分解し、高速な1ビット演算を用いて蓄積する。 精度は、全精度ベースラインの1%エラーマージン内において、GPU上のエンドツーエンドの8倍の精度が得られる。 さまざまなアプリケーションにおいて、Precisionは、完全な精度ベースラインの1%エラーマージン内において、GPU上のエンド・ツー・エンドの8倍の値を得る。
• 参考スコア（独自算出の注目度）: 4.519884877213097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present PrecisionBatching, a quantized inference algorithm for speeding up neural network execution on traditional hardware platforms at low bitwidths without the need for retraining or recalibration. PrecisionBatching decomposes a neural network into individual bitlayers and accumulates them using fast 1-bit operations while maintaining activations in full precision. PrecisionBatching not only facilitates quantized inference at low bitwidths (< 8 bits) without the need for retraining/recalibration, but also 1) enables traditional hardware platforms the ability to realize inference speedups at a finer granularity of quantization (e.g: 1-16 bit execution) and 2) allows accuracy and speedup tradeoffs at runtime by exposing the number of bitlayers to accumulate as a tunable parameter. Across a variety of applications (MNIST, language modeling, natural language inference) and neural network architectures (fully connected, RNN, LSTM), PrecisionBatching yields end-to-end speedups of over 8x on a GPU within a < 1% error margin of the full precision baseline, outperforming traditional 8-bit quantized inference by over 1.5x-2x at the same error tolerance.
• Abstract（参考訳）: 従来のハードウェアプラットフォーム上での低ビット幅でのニューラルネットワーク実行を、リトレーニングやリカレーションを必要とせずに高速化する量子推論アルゴリズムであるPrecisionBatchingを提案する。 precisionbatchingはニューラルネットワークを個々のビット層に分解し、完全な精度でアクティベーションを維持しながら、高速な1ビット操作で蓄積する。 精度バッチは低ビット幅(8ビット)での量子化推論を促進するだけでなく、再トレーニング/再校正も不要である 1) 従来のハードウェアプラットフォームは、量子化の細かい粒度(1-16ビットの実行など)で推論のスピードアップを実現することができる。 2) 調整可能なパラメータとして蓄積するビット層の数を明らかにすることで、実行時の精度と速度のトレードオフを可能にする。 さまざまなアプリケーション(MNIST、言語モデリング、自然言語推論)とニューラルネットワークアーキテクチャ(十分に接続されたRNN、LSTM)において、PrecisionBatchingは同じエラー耐性で従来の8ビット量子化推論を1.5x-2x以上上回る、完全な精度ベースラインの1%のエラーマージン内において、GPU上の8倍以上のエンドツーエンドのスピードアップが得られる。

関連論文リスト

• DeepGEMM: Accelerated Ultra Low-Precision Inference on CPU Architectures using Lookup Tables [49.965024476651706]
  DeepGEMMはSIMDハードウェア上で超高精度畳み込みニューラルネットワークを実行するためのルックアップテーブルベースのアプローチである。 実装は、x86プラットフォーム上で、対応する8ビット整数カーネルを最大1.74倍の性能で上回る。
  論文  参考訳（メタデータ） (2023-04-18T15:13:10Z)
• DyBit: Dynamic Bit-Precision Numbers for Efficient Quantized Neural Network Inference [28.912023025671868]
  この作業は、DyBitと呼ばれる可変長エンコーディングを持つ適応データ表現をターゲットにしている。 また,予測精度と高速化をトレードオフする混合精度加速器を備えたハードウェア対応量子化フレームワークを提案する。 実験の結果、DyBitによる推論精度は4ビット量子化の最先端よりも1.997%高いことがわかった。
  論文  参考訳（メタデータ） (2023-02-24T08:46:01Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• 8-bit Optimizers via Block-wise Quantization [57.25800395197516]
  ステートフルズは、例えば過去の値の指数的滑らかな和(運動量付きSGD)や2乗和(アダム)など、時間の経過とともに統計を維持している。 この状態は、通常の勾配降下よりも最適化を加速するために使用することができるが、そうでなければモデルパラメータに割り当てられる可能性のあるメモリを使用する。 本稿では,32ビットの勾配状態を用いた場合の性能レベルを維持しながら,8ビット統計を用いた第1次勾配法を開発する。
  論文  参考訳（メタデータ） (2021-10-06T15:43:20Z)
• OMPQ: Orthogonal Mixed Precision Quantization [64.59700856607017]
  混合精度量子化は、ハードウェアの多重ビット幅演算を利用して、ネットワーク量子化の全ポテンシャルを解き放つ。 本稿では、整数プログラミングの損失と高い相関関係にあるネットワーク性の概念であるプロキシメトリックを最適化することを提案する。 このアプローチは、量子化精度にほとんど妥協することなく、検索時間と必要なデータ量を桁違いに削減する。
  論文  参考訳（メタデータ） (2021-09-16T10:59:33Z)
• VS-Quant: Per-vector Scaled Quantization for Accurate Low-Precision Neural Network Inference [7.886868529510128]
  量子化は、訓練されたモデルの浮動小数点重みとアクティベーションをスケールファクターを用いて低ビット幅整数値にマッピングする。 過剰な量子化、過度に精度を低下させると、精度が低下する。 ベクトル単位のスケールファクタは、2レベル量子化スキームを使用する場合、低ビット幅の整数で実装できる。
  論文  参考訳（メタデータ） (2021-02-08T19:56:04Z)
• On the quantization of recurrent neural networks [9.549757800469196]
  ニューラルネットワークの量子化は、標準ニューラルネットワーク公式の高精度計算の近似として定義することができる。 本稿では,Long Short-Term Memory (LSTM) ニューラルネットワークトポロジに対する整数のみの量子化戦略を提案する。
  論文  参考訳（メタデータ） (2021-01-14T04:25:08Z)
• HAWQV3: Dyadic Neural Network Quantization [73.11579145354801]
  現在の低精度量子化アルゴリズムは、浮動小数点から量子化された整数値への変換の隠れコストを持つことが多い。 HAWQV3は、新しい混合精度整数のみの量子化フレームワークである。
  論文  参考訳（メタデータ） (2020-11-20T23:51:43Z)
• Fast Implementation of 4-bit Convolutional Neural Networks for Mobile Devices [0.8362190332905524]
  量子化ニューラルネットワークにおける4ビット行列乗算の効率的な実装について述べる。 また、MIDV-500データセット上でOCR認識のための4ビット量子化ニューラルネットワークを実演する。 その結果、4ビット量子化はモバイルデバイスに完全に適合し、十分な精度と推論時間が得られることがわかった。
  論文  参考訳（メタデータ） (2020-09-14T14:48:40Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)
• Shifted and Squeezed 8-bit Floating Point format for Low-Precision Training of Deep Neural Networks [13.929168096016957]
  本研究では,8ビット浮動小数点(FP8)数を用いたディープニューラルネットワークのトレーニング手法を提案する。 ビット精度の低減により、有効メモリが大きくなり、計算速度が向上する。 提案手法は,従来の8ビット精度訓練法と異なり,代表モデルに対して最初から動作可能であることを示す。
  論文  参考訳（メタデータ） (2020-01-16T06:38:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。