論文の概要: Q-ASR: Integer-only Zero-shot Quantization for Efficient Speech
Recognition
- arxiv url: http://arxiv.org/abs/2103.16827v1
- Date: Wed, 31 Mar 2021 06:05:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-01 14:24:48.735233
- Title: Q-ASR: Integer-only Zero-shot Quantization for Efficient Speech
Recognition
- Title(参考訳): Q-ASR:効率的な音声認識のための整数のみゼロショット量子化
- Authors: Sehoon Kim, Amir Gholami, Zhewei Yao, Anirudda Nrusimha, Bohan Zhai,
Tianren Gao, Michael W. Mahoney, Kurt Keutzer
- Abstract要約: ASRモデルに対する整数のみのゼロショット量子化スキームであるQ-ASRを提案する。
全精度ベースラインモデルと比較すると,wrの変化は無視できる。
Q-ASRは、WER劣化が少ない4倍以上の圧縮率を示します。
- 参考スコア(独自算出の注目度): 65.7040645560855
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: End-to-end neural network models achieve improved performance on various
automatic speech recognition (ASR) tasks. However, these models perform poorly
on edge hardware due to large memory and computation requirements. While
quantizing model weights and/or activations to low-precision can be a promising
solution, previous research on quantizing ASR models is limited. Most
quantization approaches use floating-point arithmetic during inference; and
thus they cannot fully exploit integer processing units, which use less power
than their floating-point counterparts. Moreover, they require
training/validation data during quantization for finetuning or calibration;
however, this data may not be available due to security/privacy concerns. To
address these limitations, we propose Q-ASR, an integer-only, zero-shot
quantization scheme for ASR models. In particular, we generate synthetic data
whose runtime statistics resemble the real data, and we use it to calibrate
models during quantization. We then apply Q-ASR to quantize QuartzNet-15x5 and
JasperDR-10x5 without any training data, and we show negligible WER change as
compared to the full-precision baseline models. For INT8-only quantization, we
observe a very modest WER degradation of up to 0.29%, while we achieve up to
2.44x speedup on a T4 GPU. Furthermore, Q-ASR exhibits a large compression rate
of more than 4x with small WER degradation.
- Abstract(参考訳): エンドツーエンドのニューラルネットワークモデルは、様々な自動音声認識(ASR)タスクの性能を向上させる。
しかし、これらのモデルは大きなメモリと計算要求のためにエッジハードウェアでは性能が良くない。
モデル重みの定量化や低精度化へのアクティベーションは有望な解決策であるが、asrモデルの定量化に関するこれまでの研究は限られている。
ほとんどの量子化アプローチでは、推論中に浮動小数点演算を用いるため、浮動小数点演算よりも消費電力が少ない整数処理ユニットを十分に活用することはできない。
さらに、微調整や校正のために量子化中のトレーニング/バリデーションデータを必要とするが、セキュリティ/プライバシの懸念により、このデータは利用できない可能性がある。
これらの制約に対処するため、ASRモデルに対する整数のみのゼロショット量子化スキームであるQ-ASRを提案する。
特に,実行時統計が実データに類似した合成データを生成し,量子化時のモデルのキャリブレーションに利用する。
次に、Q-ASRを用いてQuartzNet-15x5とJasperDR-10x5をトレーニングデータなしで定量化し、完全精度ベースラインモデルと比較して無視可能なWER変化を示す。
INT8のみの量子化では、最大0.29%の非常に控えめなWER劣化を観測し、T4 GPUでは最大2.44倍のスピードアップを達成する。
さらに、Q-ASRは、WER劣化の少ない4倍を超える大きな圧縮速度を示す。
関連論文リスト
- FLIQS: One-Shot Mixed-Precision Floating-Point and Integer Quantization
Search [61.636237842419064]
モデルコストの低い高品質な結果を得るためには、混合精度量子化が必要である。
本稿では,整数浮動小数点モデルと低精度浮動小数点モデルの両方において再学習を不要とする,最初のワンショット混合量子化探索を提案する。
提案手法は,一様精度,手動混合精度,最近の整数量子化探索法により改良されたモデルを検出する。
論文 参考訳(メタデータ) (2023-08-07T04:17:19Z) - SqueezeLLM: Dense-and-Sparse Quantization [83.7810943431625]
LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。
学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。
本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
論文 参考訳(メタデータ) (2023-06-13T08:57:54Z) - Augmenting Hessians with Inter-Layer Dependencies for Mixed-Precision
Post-Training Quantization [7.392278887917975]
本稿では,ネットワーク上のテンソルに異なる数値精度を割り当てる混合精度ポストトレーニング量子化手法を提案する。
実験では,16ビットベースラインの25.48%$,21.69%$,33.28%$に対して,レイテンシの低減を実証した。
論文 参考訳(メタデータ) (2023-06-08T02:18:58Z) - RAND: Robustness Aware Norm Decay For Quantized Seq2seq Models [14.07649230604283]
モデル精度を向上させるために,量子化意識トレーニング(QAT)プロセスに対する低複雑性な変更を提案する。
精度が向上し、ノイズベースのQATの他の利点を活用できるようになる。
論文 参考訳(メタデータ) (2023-05-24T19:45:56Z) - QLoRA: Efficient Finetuning of Quantized LLMs [66.58009990713134]
我々は,48GBのGPU上で65Bパラメータモデルを微調整するのに十分なメモリ使用量を削減する,効率的な微調整手法QLoRAを提案する。
QLoRAは凍結した4ビット量子化事前学習言語モデルを通して低ランクアダプタ(LoRA)に逆伝搬する
最高のモデルファミリであるGuanacoは、Vicunaベンチマークでリリースされたすべてのモデルより優れています。
論文 参考訳(メタデータ) (2023-05-23T17:50:33Z) - A High-Performance Adaptive Quantization Approach for Edge CNN
Applications [0.225596179391365]
最近の畳み込みニューラルネットワーク(CNN)開発は、様々なアプリケーションに対する最先端のモデル精度を推し進めている。
精度の向上は、かなりのメモリ帯域幅とストレージ要求のコストが伴う。
本稿では,偏りのあるアクティベーションの問題を解決するための適応型高性能量子化法を提案する。
論文 参考訳(メタデータ) (2021-07-18T07:49:18Z) - Pareto-Optimal Quantized ResNet Is Mostly 4-bit [3.83996783171716]
我々はResNetをケーススタディとして、量子化が計算コスト品質トレードオフ曲線の推論に与える影響を調べる。
その結果、bfloat16 ResNetの各モデルには、低コストで高精度な量子化モデルがあることが示唆された。
我々は,4ビットResNet-50のImageNet上で,量子化を意識したトレーニングを行い,トップ1のeval精度77.09%を得た。
論文 参考訳(メタデータ) (2021-05-07T23:28:37Z) - n-hot: Efficient bit-level sparsity for powers-of-two neural network
quantization [0.0]
パワーオブツー(PoT)量子化は、リソース制約ハードウェア上でのディープニューラルネットワークのビット演算数を減少させる。
PoT量子化は、表現能力が限られているため、深刻な精度低下を引き起こす。
メモリ効率の高い方法で精度とコストを両立した効率的なPoT量子化方式を提案する。
論文 参考訳(メタデータ) (2021-03-22T10:13:12Z) - HAWQV3: Dyadic Neural Network Quantization [73.11579145354801]
現在の低精度量子化アルゴリズムは、浮動小数点から量子化された整数値への変換の隠れコストを持つことが多い。
HAWQV3は、新しい混合精度整数のみの量子化フレームワークである。
論文 参考訳(メタデータ) (2020-11-20T23:51:43Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳(メタデータ) (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。