論文の概要: Learnable Companding Quantization for Accurate Low-bit Neural Networks
- arxiv url: http://arxiv.org/abs/2103.07156v1
- Date: Fri, 12 Mar 2021 09:06:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-15 13:31:37.806603
- Title: Learnable Companding Quantization for Accurate Low-bit Neural Networks
- Title（参考訳）: 高精度低ビットニューラルネットワークのための学習型複合量子化
- Authors: Kohei Yamamoto
- Abstract要約: ディープニューラルネットワークの量子化は、メモリ消費の削減と推論速度の向上に有効な方法である。
非常に低ビットモデルがフル精度モデルに匹敵する精度を達成することは、まだ困難です。
2,3,4ビットモデルのための新しい非一様量子化手法として学習可能なコンパイル量子化(LCQ)を提案する。
- 参考スコア（独自算出の注目度）: 3.655021726150368
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Quantizing deep neural networks is an effective method for reducing memory
consumption and improving inference speed, and is thus useful for
implementation in resource-constrained devices. However, it is still hard for
extremely low-bit models to achieve accuracy comparable with that of
full-precision models. To address this issue, we propose learnable companding
quantization (LCQ) as a novel non-uniform quantization method for 2-, 3-, and
4-bit models. LCQ jointly optimizes model weights and learnable companding
functions that can flexibly and non-uniformly control the quantization levels
of weights and activations. We also present a new weight normalization
technique that allows more stable training for quantization. Experimental
results show that LCQ outperforms conventional state-of-the-art methods and
narrows the gap between quantized and full-precision models for image
classification and object detection tasks. Notably, the 2-bit ResNet-50 model
on ImageNet achieves top-1 accuracy of 75.1% and reduces the gap to 1.7%,
allowing LCQ to further exploit the potential of non-uniform quantization.
- Abstract（参考訳）: ディープニューラルネットワークの定量化は、メモリ消費の削減と推論速度の向上に有効な手法であり、リソース制約のあるデバイスの実装に有用である。
しかし、超低ビットモデルがフル精度モデルと同等の精度を達成することは依然として困難です。
そこで本研究では,2ビット,3ビット,4ビットモデルの非一様量子化手法として,LCQ(Learable Companding Quantization)を提案する。
LCQは、重みとアクティベーションの量子化レベルを柔軟かつ不均一に制御できるモデルウェイトと学習可能なコンパイル関数を共同で最適化する。
また,より安定した量子化訓練を可能にする新しい重み正規化手法を提案する。
実験の結果,LCQは従来の最先端手法よりも優れており,画像分類と物体検出タスクにおける定量化モデルと完全精度モデルとのギャップを狭めることがわかった。
特にImageNetの2ビットResNet-50モデルは、トップ1の精度75.1%を達成し、ギャップを1.7%に削減し、LCQは非均一量子化の可能性をさらに活用することができます。
関連論文リスト
- 2DQuant: Low-bit Post-Training Quantization for Image Super-Resolution [83.09117439860607]
低ビット量子化は、エッジ展開のための画像超解像(SR)モデルを圧縮するために広く普及している。
低ビット量子化は、フル精度(FP)と比較してSRモデルの精度を低下させることが知られている。
本稿では2DQuantという画像超解像のための2段階の低ビット後量子化(PTQ)法を提案する。
論文 参考訳（メタデータ） (2024-06-10T06:06:11Z) - FLIQS: One-Shot Mixed-Precision Floating-Point and Integer Quantization Search [50.07268323597872]
本稿では,整数浮動小数点モデルと低精度浮動小数点モデルの両方において再学習を不要とする,最初のワンショット混合量子化探索を提案する。
整数モデルでは、ImageNet上のResNet-18の精度を1.31%、ResNet-50の精度を0.90%向上させる。
従来のFP8モデルと比較して,新しい混合精度浮動小数点探索を探索し,最大0.98%改善した。
論文 参考訳（メタデータ） (2023-08-07T04:17:19Z) - Mixed Precision Post Training Quantization of Neural Networks with
Sensitivity Guided Search [7.392278887917975]
混合精度量子化により、異なるテンソルを様々な数値精度のレベルに量子化することができる。
我々は,コンピュータビジョンと自然言語処理の手法を評価し,最大27.59%,34.31%のレイテンシ低減を実証した。
論文 参考訳（メタデータ） (2023-02-02T19:30:00Z) - Analysis of Quantization on MLP-based Vision Models [36.510879540365636]
量子化は、ニューラルネットワークの浮動小数点重みとアクティベーションを低ビット整数に変換することによって効率的なモデルを得る。
本稿では,有界モデルに量子化を直接適用することで,精度が向上することを示す。
論文 参考訳（メタデータ） (2022-09-14T02:55:57Z) - BiTAT: Neural Network Binarization with Task-dependent Aggregated
Transformation [116.26521375592759]
量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。
コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。
本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
論文 参考訳（メタデータ） (2022-07-04T13:25:49Z) - CTMQ: Cyclic Training of Convolutional Neural Networks with Multiple
Quantization Steps [1.3106063755117399]
本稿では,低ビット量子化畳み込みニューラルネットワーク(CNN)における高機能化を実現するために,複数サイクルの訓練を施したトレーニング手法を提案する。
提案手法は,精度の高いモデルの訓練能力を反復的に活用することにより,各サイクルにおける低ビット量子化モデルの強化された重み付けを実現できる。
特に、トレーニング方法は、ImageNetデータセット上の2項化されたResNet-18のTop-1とTop-5の精度をそれぞれ5.80%と6.85%向上させることができる。
論文 参考訳（メタデータ） (2022-06-26T05:54:12Z) - One Model for All Quantization: A Quantized Network Supporting Hot-Swap
Bit-Width Adjustment [36.75157407486302]
多様なビット幅をサポートする全量子化のためのモデルを訓練する手法を提案する。
重みの多様性を高めるためにウェーブレット分解と再構成を用いる。
同じ精度で訓練された専用モデルに匹敵する精度が得られる。
論文 参考訳（メタデータ） (2021-05-04T08:10:50Z) - Direct Quantization for Training Highly Accurate Low Bit-width Deep
Neural Networks [73.29587731448345]
本稿では,低ビット幅重みとアクティベーションで深部畳み込みニューラルネットワークを訓練する2つの新しい手法を提案する。
まず、ビット幅の少ない重みを得るため、既存の方法の多くは、全精度ネットワーク重みで量子化することにより量子化重みを得る。
第二に、低ビット幅のアクティベーションを得るために、既存の作品はすべてのチャネルを等しく考慮する。
論文 参考訳（メタデータ） (2020-12-26T15:21:18Z) - DAQ: Distribution-Aware Quantization for Deep Image Super-Resolution
Networks [49.191062785007006]
画像超解像のための深い畳み込みニューラルネットワークの定量化は、計算コストを大幅に削減する。
既存の作業は、4ビット以下の超低精度の厳しい性能低下に苦しむか、または性能を回復するために重い微調整プロセスを必要とします。
高精度なトレーニングフリー量子化を実現する新しい分散認識量子化方式(DAQ)を提案する。
論文 参考訳（メタデータ） (2020-12-21T10:19:42Z) - Searching for Low-Bit Weights in Quantized Neural Networks [129.8319019563356]
低ビットの重みとアクティベーションを持つ量子ニューラルネットワークは、AIアクセラレータを開発する上で魅力的なものだ。
本稿では、任意の量子化ニューラルネットワークにおける離散重みを探索可能な変数とみなし、差分法を用いて正確に探索する。
論文 参考訳（メタデータ） (2020-09-18T09:13:26Z) - SQWA: Stochastic Quantized Weight Averaging for Improving the
Generalization Capability of Low-Precision Deep Neural Networks [29.187848543158992]
我々は、新しい量子化ニューラルネットワーク最適化手法、量子化ウェイト平均化(SQWA)を提案する。
提案手法には、浮動小数点モデルのトレーニング、重みの直接量子化、複数の低精度モデルのキャプチャ、キャプチャーモデルの平均化、低学習率の微調整が含まれる。
SQWAトレーニングにより、CIFAR-100およびImageNetデータセット上の2ビットQDNNの最先端結果を得た。
論文 参考訳（メタデータ） (2020-02-02T07:02:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。