論文の概要: MixQuant: Mixed Precision Quantization with a Bit-width Optimization
Search
- arxiv url: http://arxiv.org/abs/2309.17341v1
- Date: Fri, 29 Sep 2023 15:49:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-02 12:54:03.425061
- Title: MixQuant: Mixed Precision Quantization with a Bit-width Optimization
Search
- Title（参考訳）: MixQuant: ビット幅最適化による混合精度量子化
- Authors: Eliska Kloberdanz and Wei Le
- Abstract要約: 量子化は、効率的なディープニューラルネットワーク(DNN)を作成する技術である
ラウンドオフ誤差に基づいて各層重みに対する最適な量子化ビット幅を求める検索アルゴリズムであるMixQuantを提案する。
我々は、MixQuantと最先端の量子化手法BRECQを組み合わせることで、BRECQ単独よりも優れた量子化モデル精度が得られることを示す。
- 参考スコア（独自算出の注目度）: 7.564770908909927
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Quantization is a technique for creating efficient Deep Neural Networks
(DNNs), which involves performing computations and storing tensors at lower
bit-widths than f32 floating point precision. Quantization reduces model size
and inference latency, and therefore allows for DNNs to be deployed on
platforms with constrained computational resources and real-time systems.
However, quantization can lead to numerical instability caused by roundoff
error which leads to inaccurate computations and therefore, a decrease in
quantized model accuracy. Similarly to prior works, which have shown that both
biases and activations are more sensitive to quantization and are best kept in
full precision or quantized with higher bit-widths, we show that some weights
are more sensitive than others which should be reflected on their quantization
bit-width. To that end we propose MixQuant, a search algorithm that finds the
optimal custom quantization bit-width for each layer weight based on roundoff
error and can be combined with any quantization method as a form of
pre-processing optimization. We show that combining MixQuant with BRECQ, a
state-of-the-art quantization method, yields better quantized model accuracy
than BRECQ alone. Additionally, we combine MixQuant with vanilla asymmetric
quantization to show that MixQuant has the potential to optimize the
performance of any quantization technique.
- Abstract（参考訳）: 量子化は、f32浮動小数点精度よりも低いビット幅で計算を実行しテンソルを格納する効率的なディープニューラルネットワーク(DNN)を作成する技術である。
量子化はモデルサイズと推論遅延を低減し、DNNを制約された計算リソースとリアルタイムシステムを持つプラットフォームにデプロイすることを可能にする。
しかし、量子化はラウンドオフ誤差による数値不安定を招き、不正確な計算につながるため、量子化モデルの精度は低下する。
従来の研究と同様に、バイアスとアクティベーションの両方が量子化に敏感であり、完全精度で保たれたり、高いビット幅で量子化されたりすることが示されているが、いくつかの重みは量子化ビット幅に反映されるべき他のものよりも敏感であることを示す。
そこで我々は,ラウンドオフ誤差に基づいて各層重みに対する最適な量子化ビット幅を求める検索アルゴリズムであるMixQuantを提案し,前処理最適化の形式として任意の量子化手法と組み合わせることができる。
我々は、MixQuantと最先端の量子化手法BRECQを組み合わせることで、BRECQ単独よりも優れた量子化モデル精度が得られることを示す。
さらに,mixquantとバニラ非対称量子化を組み合わせることにより,mixquantが任意の量子化手法の性能を最適化する可能性を示す。
関連論文リスト
- On-Chip Hardware-Aware Quantization for Mixed Precision Neural Networks [52.97107229149988]
エッジデバイス上でハードウェア対応の混合精度量子化を行うOn-Chipハードウェア・アウェア量子化フレームワークを提案する。
このパイプラインは、量子化プロセスが量子化演算子の実際のハードウェア効率を知覚することを可能にする。
精度測定のために,マルチチップシナリオにおける演算子の精度への影響を効果的に推定するMask-Guided Quantization Estimation技術を提案する。
論文 参考訳（メタデータ） (2023-09-05T04:39:34Z) - Quantized Neural Networks for Low-Precision Accumulation with Guaranteed
Overflow Avoidance [68.8204255655161]
本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。
本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
論文 参考訳（メタデータ） (2023-01-31T02:46:57Z) - Mixed Precision Low-bit Quantization of Neural Network Language Models
for Speech Recognition [67.95996816744251]
長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。
現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。
本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
論文 参考訳（メタデータ） (2021-11-29T12:24:02Z) - Mixed Precision of Quantization of Transformer Language Models for
Speech Recognition [67.95996816744251]
トランスフォーマーが表現する最先端のニューラルネットワークモデルは、実用アプリケーションにとってますます複雑で高価なものになりつつある。
現在の低ビット量子化法は、均一な精度に基づいており、量子化エラーに対するシステムの異なる部分での様々な性能感度を考慮できない。
最適局所精度設定は2つの手法を用いて自動的に学習される。
Penn Treebank (PTB)とSwitchboard corpusによるLF-MMI TDNNシステムの試験を行った。
論文 参考訳（メタデータ） (2021-11-29T09:57:00Z) - Cluster-Promoting Quantization with Bit-Drop for Minimizing Network
Quantization Loss [61.26793005355441]
クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。
DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。
本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
論文 参考訳（メタデータ） (2021-09-05T15:15:07Z) - Q-Rater: Non-Convex Optimization for Post-Training Uniform Quantization [9.062897838978955]
様々な訓練後の量子一様化法は通常凸最適化に基づいている。
提案手法は,特に低量子化の場合,高いモデル精度を示す。
論文 参考訳（メタデータ） (2021-05-05T05:14:22Z) - One Model for All Quantization: A Quantized Network Supporting Hot-Swap
Bit-Width Adjustment [36.75157407486302]
多様なビット幅をサポートする全量子化のためのモデルを訓練する手法を提案する。
重みの多様性を高めるためにウェーブレット分解と再構成を用いる。
同じ精度で訓練された専用モデルに匹敵する精度が得られる。
論文 参考訳（メタデータ） (2021-05-04T08:10:50Z) - BSQ: Exploring Bit-Level Sparsity for Mixed-Precision Neural Network
Quantization [32.770842274996774]
混合精度量子化は、ディープニューラルネットワークの性能と圧縮率の最適なトレードオフを実現できる可能性がある。
従来の方法は、小さな手作業で設計された検索空間のみを調べるか、面倒なニューラルネットワークアーキテクチャ検索を使用して広大な検索空間を探索する。
本研究では、ビットレベルスパーシティを誘導する新たな角度から、混合精度量子化に取り組むためのビットレベルスパーシティ量子化(BSQ)を提案する。
論文 参考訳（メタデータ） (2021-02-20T22:37:41Z) - DAQ: Distribution-Aware Quantization for Deep Image Super-Resolution
Networks [49.191062785007006]
画像超解像のための深い畳み込みニューラルネットワークの定量化は、計算コストを大幅に削減する。
既存の作業は、4ビット以下の超低精度の厳しい性能低下に苦しむか、または性能を回復するために重い微調整プロセスを必要とします。
高精度なトレーニングフリー量子化を実現する新しい分散認識量子化方式(DAQ)を提案する。
論文 参考訳（メタデータ） (2020-12-21T10:19:42Z) - FracBits: Mixed Precision Quantization via Fractional Bit-Widths [29.72454879490227]
混合精度量子化は、複数のビット幅での算術演算をサポートするカスタマイズハードウェアで好適である。
本稿では,目標計算制約下での混合精度モデルに基づく学習に基づく新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-04T06:09:09Z) - Post-training Quantization with Multiple Points: Mixed Precision without
Mixed Precision [20.081543082708688]
低ビット数の複数ベクトルの線形結合を用いて全精度重みベクトルを近似する多点量子化法を提案する。
提案手法は,ImageNet分類における最先端の手法よりも優れており,PASCAL VOCオブジェクト検出のようなより困難なタスクに一般化可能であることを示す。
論文 参考訳（メタデータ） (2020-02-20T22:37:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。