論文の概要: Redistribution of Weights and Activations for AdderNet Quantization
- arxiv url: http://arxiv.org/abs/2212.10200v1
- Date: Tue, 20 Dec 2022 12:24:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-21 16:22:59.282552
- Title: Redistribution of Weights and Activations for AdderNet Quantization
- Title（参考訳）: addernet量子化のための重みとアクティベーションの再分配
- Authors: Ying Nie, Kai Han, Haikang Diao, Chuanjian Liu, Enhua Wu, Yunhe Wang
- Abstract要約: Adder Neural Network (AdderNet)は、エネルギー効率の良いニューラルネットワークを開発するための新しい方法を提供する。
ハードウェア効率を向上させるためには、AdderNetの低ビット量子化をさらに研究する必要がある。
重みとアクティベーションを再分配する新しい量子化アルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 33.78204350112026
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adder Neural Network (AdderNet) provides a new way for developing
energy-efficient neural networks by replacing the expensive multiplications in
convolution with cheaper additions (i.e.l1-norm). To achieve higher hardware
efficiency, it is necessary to further study the low-bit quantization of
AdderNet. Due to the limitation that the commutative law in multiplication does
not hold in l1-norm, the well-established quantization methods on convolutional
networks cannot be applied on AdderNets. Thus, the existing AdderNet
quantization techniques propose to use only one shared scale to quantize both
the weights and activations simultaneously. Admittedly, such an approach can
keep the commutative law in the l1-norm quantization process, while the
accuracy drop after low-bit quantization cannot be ignored. To this end, we
first thoroughly analyze the difference on distributions of weights and
activations in AdderNet and then propose a new quantization algorithm by
redistributing the weights and the activations. Specifically, the pre-trained
full-precision weights in different kernels are clustered into different
groups, then the intra-group sharing and inter-group independent scales can be
adopted. To further compensate the accuracy drop caused by the distribution
difference, we then develop a lossless range clamp scheme for weights and a
simple yet effective outliers clamp strategy for activations. Thus, the
functionality of full-precision weights and the representation ability of
full-precision activations can be fully preserved. The effectiveness of the
proposed quantization method for AdderNet is well verified on several
benchmarks, e.g., our 4-bit post-training quantized adder ResNet-18 achieves an
66.5% top-1 accuracy on the ImageNet with comparable energy efficiency, which
is about 8.5% higher than that of the previous AdderNet quantization methods.
- Abstract（参考訳）: Adder Neural Network (AdderNet)は、畳み込みの高価な乗算をより安価な加算(すなわちl1-norm)に置き換えることで、エネルギー効率の良いニューラルネットワークを開発する新しい方法を提供する。
ハードウェア効率を向上させるためには、AdderNetの低ビット量子化をさらに研究する必要がある。
乗法における可換法則が l1-ノルムで成り立たないという制限のため、畳み込みネットワーク上の確立された量子化法はAdderNetsでは適用できない。
したがって、既存のAdderNet量子化手法では、1つの共有スケールのみを使用して重みとアクティベーションを同時に定量化することを提案する。
必然的に、そのようなアプローチは可換法則をl1-ノルム量子化過程に保持することができるが、低ビット量子化後の精度低下は無視できない。
そこで我々はまず,AdderNetにおける重みとアクティベーションの分布の違いを徹底的に分析し,重みとアクティベーションを再分配した新しい量子化アルゴリズムを提案する。
具体的には、異なるカーネル内の事前訓練された全精度重みを異なるグループに分類し、グループ内共有とグループ間独立スケールを適用できる。
さらに,分布差による精度低下を補うために,重みに対するロスレスレンジクランプスキームと,アクティベーションに対する簡易かつ効果的なアウトリアーズクランプ戦略を開発した。
これにより、全精度重みの機能性と全精度アクティベーションの表現能力を完全に保存することができる。
例えば、我々の4ビット後トレーニング後量子化加算器resnet-18は、同じエネルギー効率のイメージネット上で66.5%のtop-1精度を達成しており、これは以前のaddernet量子化法より約8.5%高い。
関連論文リスト
- Post-Training Quantization for Re-parameterization via Coarse & Fine
Weight Splitting [13.270381125055275]
本稿では,重みの量子化誤差を低減するために,粗大かつ微細な重み分割法(CFWS)を提案する。
我々は、活性化のための最適な量子化尺度を決定するために改良されたKLメトリックを開発した。
例えば、量子化されたRepVGG-A1モデルは、わずか0.3%の精度損失を示す。
論文 参考訳（メタデータ） (2023-12-17T02:31:20Z) - BiTAT: Neural Network Binarization with Task-dependent Aggregated
Transformation [116.26521375592759]
量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。
コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。
本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
論文 参考訳（メタデータ） (2022-07-04T13:25:49Z) - Cluster-Promoting Quantization with Bit-Drop for Minimizing Network
Quantization Loss [61.26793005355441]
クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。
DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。
本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
論文 参考訳（メタデータ） (2021-09-05T15:15:07Z) - Adder Neural Networks [75.54239599016535]
我々は、ディープニューラルネットワークにおける大規模な乗算を交換するために、加算器ネットワーク(AdderNets)を提案する。
AdderNetsでは、フィルタと入力特徴の間の$ell_p$-norm距離を出力応答として取ります。
提案したAdderNetsは,ImageNetデータセット上でResNet-50を用いて,75.7%のTop-1精度92.3%のTop-5精度を達成可能であることを示す。
論文 参考訳（メタデータ） (2021-05-29T04:02:51Z) - Direct Quantization for Training Highly Accurate Low Bit-width Deep
Neural Networks [73.29587731448345]
本稿では,低ビット幅重みとアクティベーションで深部畳み込みニューラルネットワークを訓練する2つの新しい手法を提案する。
まず、ビット幅の少ない重みを得るため、既存の方法の多くは、全精度ネットワーク重みで量子化することにより量子化重みを得る。
第二に、低ビット幅のアクティベーションを得るために、既存の作品はすべてのチャネルを等しく考慮する。
論文 参考訳（メタデータ） (2020-12-26T15:21:18Z) - Searching for Low-Bit Weights in Quantized Neural Networks [129.8319019563356]
低ビットの重みとアクティベーションを持つ量子ニューラルネットワークは、AIアクセラレータを開発する上で魅力的なものだ。
本稿では、任意の量子化ニューラルネットワークにおける離散重みを探索可能な変数とみなし、差分法を用いて正確に探索する。
論文 参考訳（メタデータ） (2020-09-18T09:13:26Z) - Weight Equalizing Shift Scaler-Coupled Post-training Quantization [0.5936318628878774]
トレーニング後、レイヤワイドの量子化が望ましいのは、再トレーニングが不要で、ハードウェアフレンドリーであるからである。
ニューラルネットワークモデルがチャネルあたりのウェイト範囲に大きな違いがある場合、精度の低下が発生します。
本研究では,4ビットのバイナリシフトでチャネルごとの重み範囲を再スケーリングする,新しい重み等化シフトスケーラを提案する。
論文 参考訳（メタデータ） (2020-08-13T09:19:57Z) - Switchable Precision Neural Networks [35.2752928147013]
複数の量子化レベルで動作可能な共有ネットワークをトレーニングするために,スイッチブル精密ニューラルネットワーク(SP-Nets)を提案する。
実行時に、ネットワークは、インスタントメモリ、レイテンシ、消費電力、精度要求に応じて、オンザフライで精度を調整することができる。
論文 参考訳（メタデータ） (2020-02-07T14:43:44Z) - AdderNet: Do We Really Need Multiplications in Deep Learning? [159.174891462064]
我々は、深層ニューラルネットワークにおける膨大な乗算を、計算コストを削減するためにはるかに安価な加算のために取引するための加算器ネットワーク(AdderNets)を提案する。
本稿では,AdderNets のバックプロパゲーション手法を提案する。
その結果、提案されたAdderNetsは、ImageNetデータセット上でResNet-50を使用して、74.9%のTop-1精度91.7%のTop-5精度を達成することができる。
論文 参考訳（メタデータ） (2019-12-31T06:56:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。