論文の概要: SplitQuant: Layer Splitting for Low-Bit Neural Network Quantization
- arxiv url: http://arxiv.org/abs/2501.12428v1
- Date: Tue, 21 Jan 2025 13:53:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-23 16:53:25.761092
- Title: SplitQuant: Layer Splitting for Low-Bit Neural Network Quantization
- Title（参考訳）: SplitQuant:低ビットニューラルネットワーク量子化のためのレイヤ分割
- Authors: Jaewoo Song, Fangzhen Lin,
- Abstract要約: ディープニューラルネットワーク(DNN)の量子化はしばしば、元の値の範囲が量子化値の範囲よりも大きいため、異なる元の値を単一の量子化値にマッピングする。
本稿では,オフ値の保持と量子化の解決を同時に行うためにSplitQuantを提案する。
SplitQuantは2つのBERT-Tinyモデルに適用され、INT2量子化の精度を3.3%pと2.1%pで改善した。
- 参考スコア（独自算出の注目度）: 10.036727981085223
- License:
- Abstract: Quantization for deep neural networks (DNNs) is the process of mapping the parameter values of DNNs from original data types to other data types of lower precision to reduce model sizes and make inference faster. Quantization often maps different original values to a single quantized value because the range of the original values is larger than the range of the quantized values. This leads to the degradation of the accuracy of the quantized DNNs. Outliers are a main cause of the degradation of quantization resolution because they enlarge the range of original values. To solve the problem, the percentile method is often used to clip outliers. However, clipping the outliers has another problem of removing the important and strong signals in the DNNs. This paper proposes SplitQuant to keep the outliers and improve the quantization resolution at the same time. SplitQuant narrows down the range of the original values and mitigates the effect of outliers by splitting each quantizable layer into three mathematically equivalent layers and applies different scaling factors. Especially, weights and biases are clustered into lower, middle and upper clusters for optimized split. By preprocessing DNNs with SplitQuant, quantization algorithms can achieve better results. SplitQuant was applied on two BERT-Tiny models and improved the accuracy of INT2 quantization by 3.3%p and 2.1%p, achieving accuracies comparable to those of the original FP32 models.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)の量子化(Quantization for Deep Neural Network)とは、DNNのパラメータ値を元のデータ型から低精度のデータ型にマッピングすることで、モデルのサイズを小さくし、推論を高速化するプロセスである。
量子化はしばしば、元の値の範囲が量子化値の範囲よりも大きいため、異なる元の値を単一の量子化値にマッピングする。
これにより、量子化されたDNNの精度が低下する。
外圧器は、元の値の範囲を拡大するため、量子化分解能が劣化する主な原因である。
この問題を解決するために、パーセンタイル法は、しばしばアウトリーフをクリップするために使用される。
しかし、外周の切断には、DNNにおける重要な信号と強い信号を取り除くという別の問題がある。
本稿では,オフ値の保持と量子化の解決を同時に行うためにSplitQuantを提案する。
SplitQuantは、元の値の範囲を狭め、各量子化可能なレイヤを3つの数学的に等価なレイヤに分割し、異なるスケーリング要素を適用することで、アウトリーチの効果を緩和する。
特に、重みとバイアスは、最適化された分割のために、下、中、上クラスタにクラスタ化される。
SplitQuantでDNNを前処理することで、量子化アルゴリズムはより良い結果が得られる。
SplitQuantは2つのBERT-Tinyモデルに適用され、INT2量子化の精度を3.3%pと2.1%pで改善した。
関連論文リスト
- Two Heads are Better Than One: Neural Networks Quantization with 2D Hilbert Curve-based Output Representation [3.4606942690643336]
本稿では,DNNの出力の冗長表現を用いた新しいDNN量子化手法を提案する。
このマッピングにより量子化誤差を低減できることを示す。
我々のアプローチはセグメンテーション、オブジェクト検出、キーポイント予測など他のタスクにも適用できる。
論文 参考訳（メタデータ） (2024-05-22T21:59:46Z) - Low-bit Quantization for Deep Graph Neural Networks with
Smoothness-aware Message Propagation [3.9177379733188715]
本稿では,資源制約のある環境において,これらの課題に対処するためのエンドツーエンドソリューションを提案する。
本稿では,学習中のメッセージパッシングからノード分類まで,GNNのすべての段階に対する量子化に基づくアプローチを提案する。
提案した量子化器は量子化範囲を学習し、低ビット量子化の下でも同等の精度でモデルサイズを削減する。
論文 参考訳（メタデータ） (2023-08-29T00:25:02Z) - SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。
学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。
本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
論文 参考訳（メタデータ） (2023-06-13T08:57:54Z) - Convolutional Neural Networks Quantization with Attention [1.0312968200748118]
二重段Squeeze-and-Threshold法(二重段ST)を提案する。
注意機構を使ってネットワークを定量化し、最先端の結果を得る。
論文 参考訳（メタデータ） (2022-09-30T08:48:31Z) - Mixed Precision Low-bit Quantization of Neural Network Language Models
for Speech Recognition [67.95996816744251]
長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。
現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。
本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
論文 参考訳（メタデータ） (2021-11-29T12:24:02Z) - Mixed Precision of Quantization of Transformer Language Models for
Speech Recognition [67.95996816744251]
トランスフォーマーが表現する最先端のニューラルネットワークモデルは、実用アプリケーションにとってますます複雑で高価なものになりつつある。
現在の低ビット量子化法は、均一な精度に基づいており、量子化エラーに対するシステムの異なる部分での様々な性能感度を考慮できない。
最適局所精度設定は2つの手法を用いて自動的に学習される。
Penn Treebank (PTB)とSwitchboard corpusによるLF-MMI TDNNシステムの試験を行った。
論文 参考訳（メタデータ） (2021-11-29T09:57:00Z) - Cluster-Promoting Quantization with Bit-Drop for Minimizing Network
Quantization Loss [61.26793005355441]
クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。
DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。
本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
論文 参考訳（メタデータ） (2021-09-05T15:15:07Z) - Filter Pre-Pruning for Improved Fine-tuning of Quantized Deep Neural
Networks [0.0]
本稿では,DNNの微調整を妨害するフィルタを除去するPruning for Quantization (PfQ)と呼ばれる新しいプルーニング手法を提案する。
良く知られたモデルとデータセットを用いた実験により,提案手法が類似したモデルサイズで高い性能を実現することを確認した。
論文 参考訳（メタデータ） (2020-11-13T04:12:54Z) - FATNN: Fast and Accurate Ternary Neural Networks [89.07796377047619]
Ternary Neural Networks (TNN) は、完全な精度のニューラルネットワークよりもはるかに高速で、電力効率が高いため、多くの注目を集めている。
そこで本研究では、3次内積の計算複雑性を2。
性能ギャップを軽減するために,実装に依存した3次量子化アルゴリズムを精巧に設計する。
論文 参考訳（メタデータ） (2020-08-12T04:26:18Z) - AUSN: Approximately Uniform Quantization by Adaptively Superimposing
Non-uniform Distribution for Deep Neural Networks [0.7378164273177589]
既存の一様および非一様量子化法は、表現範囲と表現解像度の間に固有の矛盾を示す。
重みとアクティベーションを定量化する新しい量子化法を提案する。
鍵となる考え方は、複数の非一様量子化値、すなわち AUSN を適応的に重ね合わせることで、ユニフォーム量子化を近似することである。
論文 参考訳（メタデータ） (2020-07-08T05:10:53Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。