論文の概要: It's All In the Teacher: Zero-Shot Quantization Brought Closer to the
Teacher
- arxiv url: http://arxiv.org/abs/2203.17008v1
- Date: Thu, 31 Mar 2022 13:06:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-01 23:26:40.378277
- Title: It's All In the Teacher: Zero-Shot Quantization Brought Closer to the
Teacher
- Title（参考訳）: ゼロショット量子化は教師に近づいた
- Authors: Kanghyun Choi, Hye Yoon Lee, Deokki Hong, Joonsang Yu, Noseong Park,
Youngsok Kim, Jinho Lee
- Abstract要約: AITはゼロショット量子化のためのシンプルだが強力な技術である。
AITは、多くの既存のメソッドのパフォーマンスを大きなマージンで上回る。
- 参考スコア（独自算出の注目度）: 15.203017996966238
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Model quantization is considered as a promising method to greatly reduce the
resource requirements of deep neural networks. To deal with the performance
drop induced by quantization errors, a popular method is to use training data
to fine-tune quantized networks. In real-world environments, however, such a
method is frequently infeasible because training data is unavailable due to
security, privacy, or confidentiality concerns. Zero-shot quantization
addresses such problems, usually by taking information from the weights of a
full-precision teacher network to compensate the performance drop of the
quantized networks. In this paper, we first analyze the loss surface of
state-of-the-art zero-shot quantization techniques and provide several
findings. In contrast to usual knowledge distillation problems, zero-shot
quantization often suffers from 1) the difficulty of optimizing multiple loss
terms together, and 2) the poor generalization capability due to the use of
synthetic samples. Furthermore, we observe that many weights fail to cross the
rounding threshold during training the quantized networks even when it is
necessary to do so for better performance. Based on the observations, we
propose AIT, a simple yet powerful technique for zero-shot quantization, which
addresses the aforementioned two problems in the following way: AIT i) uses a
KL distance loss only without a cross-entropy loss, and ii) manipulates
gradients to guarantee that a certain portion of weights are properly updated
after crossing the rounding thresholds. Experiments show that AIT outperforms
the performance of many existing methods by a great margin, taking over the
overall state-of-the-art position in the field.
- Abstract（参考訳）: モデル量子化はディープニューラルネットワークのリソース要求を大幅に削減する有望な方法であると考えられている。
量子化誤差によって生じる性能低下に対処するため、トレーニングデータを用いて量子化ネットワークを微調整する手法が一般的である。
しかし、現実の環境では、そのような方法は、セキュリティ、プライバシー、機密性の懸念のためにトレーニングデータが利用できないため、しばしば実現不可能である。
ゼロショット量子化は、通常、全精度教師ネットワークの重みから情報を取り、量子化されたネットワークのパフォーマンス低下を補償することで、このような問題に対処する。
本稿では,最先端ゼロショット量子化手法の損失面を最初に解析し,いくつかの知見を提供する。
通常の知識蒸留問題とは対照的に、ゼロショット量子化はしばしば苦しむ
1)複数の損失項をまとめて最適化することの難しさ
2) 合成試料の使用による一般化能力の低下。
さらに,多くの重みが量子化ネットワークのトレーニング中に丸めしきい値を超えない場合,性能向上のために必要となる場合も観察できる。
この観測に基づいて、上記の2つの問題に対処する、ゼロショット量子化のための単純かつ強力な手法であるAITを提案する。
一 クロスエントロピー損失のみで、かつ、KL距離損失を用いること。
二 一定の重量が丸い閾値を越えた後に適切に更新されることを保証するため、勾配を操作すること。
実験により、AITは既存の多くの手法の性能を大きなマージンで上回り、この分野における最先端の総合的な地位を引き継いだ。
関連論文リスト
- Post-Training Quantization for Re-parameterization via Coarse & Fine
Weight Splitting [13.270381125055275]
本稿では,重みの量子化誤差を低減するために,粗大かつ微細な重み分割法(CFWS)を提案する。
我々は、活性化のための最適な量子化尺度を決定するために改良されたKLメトリックを開発した。
例えば、量子化されたRepVGG-A1モデルは、わずか0.3%の精度損失を示す。
論文 参考訳（メタデータ） (2023-12-17T02:31:20Z) - Zero-Shot Sharpness-Aware Quantization for Pre-trained Language Models [88.80146574509195]
量子化は、メモリオーバーヘッドを減らし、推論を加速するための有望なアプローチである。
種々のPLMのゼロショット量子化のための新しい量子化(ZSAQ)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-20T07:09:56Z) - Learning Representations for CSI Adaptive Quantization and Feedback [51.14360605938647]
本稿では,周波数分割二重化システムにおける適応量子化とフィードバックの効率的な手法を提案する。
既存の研究は主に、CSI圧縮のためのオートエンコーダ(AE)ニューラルネットワークの実装に焦点を当てている。
1つはポストトレーニング量子化に基づくもので、もう1つはAEのトレーニング中にコードブックが見つかる方法である。
論文 参考訳（メタデータ） (2022-07-13T08:52:13Z) - Post-training Quantization for Neural Networks with Provable Guarantees [9.58246628652846]
学習後ニューラルネットワーク量子化手法であるGPFQを,欲求経路追従機構に基づいて修正する。
単層ネットワークを定量化するためには、相対二乗誤差は本質的に重み数で線形に減衰する。
論文 参考訳（メタデータ） (2022-01-26T18:47:38Z) - A Generalized Zero-Shot Quantization of Deep Convolutional Neural
Networks via Learned Weights Statistics [1.2891210250935146]
深部畳み込みニューラルネットワークの浮動小数点重みと活性化を固定点表現に量子化すると、メモリフットプリントと推論時間が減少する。
近年,ゼロショット量子化への取り組みが進められている。
本稿では,オリジナルデータやBN層統計に依存しない一般化ゼロショット量子化(GZSQ)フレームワークを提案する。
論文 参考訳（メタデータ） (2021-12-06T07:41:16Z) - Cluster-Promoting Quantization with Bit-Drop for Minimizing Network
Quantization Loss [61.26793005355441]
クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。
DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。
本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
論文 参考訳（メタデータ） (2021-09-05T15:15:07Z) - A White Paper on Neural Network Quantization [20.542729144379223]
本稿では,量子化ノイズがネットワークの性能に与える影響を緩和する最新アルゴリズムを提案する。
我々は,ポストトレーニング量子化(PTQ)と量子化アウェア・トレーニング(QAT)の2つのアルゴリズムについて考察する。
論文 参考訳（メタデータ） (2021-06-15T17:12:42Z) - DAQ: Distribution-Aware Quantization for Deep Image Super-Resolution
Networks [49.191062785007006]
画像超解像のための深い畳み込みニューラルネットワークの定量化は、計算コストを大幅に削減する。
既存の作業は、4ビット以下の超低精度の厳しい性能低下に苦しむか、または性能を回復するために重い微調整プロセスを必要とします。
高精度なトレーニングフリー量子化を実現する新しい分散認識量子化方式(DAQ)を提案する。
論文 参考訳（メタデータ） (2020-12-21T10:19:42Z) - Recurrence of Optimum for Training Weight and Activation Quantized
Networks [4.103701929881022]
低精度の重みとアクティベーションを備えたディープラーニングモデルのトレーニングには、必要な最適化タスクが伴う。
ネットワーク量子化の性質を克服する方法を紹介します。
また,訓練用量子化深層ネットワークにおける重み進化の繰り返し現象の数値的証拠を示す。
論文 参考訳（メタデータ） (2020-12-10T09:14:43Z) - Where Should We Begin? A Low-Level Exploration of Weight Initialization
Impact on Quantized Behaviour of Deep Neural Networks [93.4221402881609]
異なる重みの初期化が重みの最終的な分布と異なるCNNアーキテクチャの活性化に与える影響について、詳細なアブレーション研究を行う。
我々の知る限りでは、ウェイトの初期化とその量子化行動に対する影響について、そのような低レベルで詳細な定量分析を行うのは、私たちは初めてである。
論文 参考訳（メタデータ） (2020-11-30T06:54:28Z) - AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。
我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
論文 参考訳（メタデータ） (2020-07-14T09:07:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。