論文の概要: Diverse Sample Generation: Pushing the Limit of Data-free Quantization
- arxiv url: http://arxiv.org/abs/2109.00212v1
- Date: Wed, 1 Sep 2021 07:06:44 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-02 14:21:14.813211
- Title: Diverse Sample Generation: Pushing the Limit of Data-free Quantization
- Title（参考訳）: 分散サンプル生成:データフリー量子化の限界を押し上げる
- Authors: Haotong Qin, Yifu Ding, Xiangguo Zhang, Aoyu Li, Jiakai Wang,
Xianglong Liu, Jiwen Lu
- Abstract要約: 本稿では,データ不要なポストトレーニング量子化と量子化学習のための汎用的な2次サンプル生成手法を提案する。
大規模な画像分類タスクでは、DSGは既存のデータ自由量子化手法より一貫して優れている。
- 参考スコア（独自算出の注目度）: 85.95032037447454
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, generative data-free quantization emerges as a practical approach
that compresses the neural network to low bit-width without access to real
data. It generates data to quantize the network by utilizing the batch
normalization (BN) statistics of its full-precision counterpart. However, our
study shows that in practice, the synthetic data completely constrained by BN
statistics suffers severe homogenization at distribution and sample level,
which causes serious accuracy degradation of the quantized network. This paper
presents a generic Diverse Sample Generation (DSG) scheme for the generative
data-free post-training quantization and quantization-aware training, to
mitigate the detrimental homogenization. In our DSG, we first slack the
statistics alignment for features in the BN layer to relax the distribution
constraint. Then we strengthen the loss impact of the specific BN layer for
different samples and inhibit the correlation among samples in the generation
process, to diversify samples from the statistical and spatial perspective,
respectively. Extensive experiments show that for large-scale image
classification tasks, our DSG can consistently outperform existing data-free
quantization methods on various neural architectures, especially under
ultra-low bit-width (e.g., 22% gain under W4A4 setting). Moreover, data
diversifying caused by our DSG brings a general gain in various quantization
methods, demonstrating diversity is an important property of high-quality
synthetic data for data-free quantization.
- Abstract（参考訳）: 近年、実データにアクセスせずにニューラルネットワークを低ビット幅に圧縮する実用的なアプローチとして、生成データフリー量子化が登場している。
完全な精度のバッチ正規化(BN)統計を利用して、ネットワークを定量化するデータを生成する。
しかし,本研究では,bn統計量に完全に制約された合成データが分布とサンプルレベルで重篤な均質化に陥り,量子化ネットワークの精度が著しく低下することを示した。
本稿では,非学習後量子化および量子化認識訓練のための汎用的多種多様なサンプル生成(dsg)スキームを提案する。
DSGでは、分布制約を緩和するために、まずBN層の特徴の統計アライメントをスラックする。
そして, 異なる試料に対する特定のBN層の損失影響を強くし, 生成過程における試料間の相関を抑え, それぞれ統計的および空間的観点から試料を多様化させる。
大規模な画像分類タスクでは、DSGは、特に超低ビット幅(例えば、W4A4設定で22%のゲイン)下で、様々なニューラルネットワーク上の既存のデータフリー量子化手法を一貫して上回ります。
さらに、DSGによるデータの多様化は、様々な量子化法において一般的な利益をもたらし、多様性がデータフリーな量子化のための高品質な合成データの重要な特性であることを示す。
関連論文リスト
- Data Generation for Hardware-Friendly Post-Training Quantization [3.3998740964877463]
合成データを用いたゼロショット量子化(ZSQ)は、プライバシとセキュリティ制約下でのポストトレーニング量子化(PTQ)の重要なアプローチである。
既存のデータ生成方法は、ハードウェアフレンドリーな量子化に適したデータを生成するのに苦労することが多い。
ハードウェアフレンドリな量子化のためのデータ生成(DGH)を提案する。
論文 参考訳（メタデータ） (2024-10-29T15:08:50Z) - Post-training Model Quantization Using GANs for Synthetic Data
Generation [57.40733249681334]
量子化法における実データを用いたキャリブレーションの代用として合成データを用いた場合について検討する。
本稿では,StyleGAN2-ADAが生成したデータと事前学習したDiStyleGANを用いて定量化したモデルの性能と,実データを用いた量子化とフラクタル画像に基づく代替データ生成手法との比較を行った。
論文 参考訳（メタデータ） (2023-05-10T11:10:09Z) - LD-GAN: Low-Dimensional Generative Adversarial Network for Spectral
Image Generation with Variance Regularization [72.4394510913927]
ディープラーニング法はスペクトル画像(SI)計算タスクの最先端技術である。
GANは、データ分散から学習およびサンプリングすることで、多様な拡張を可能にする。
この種のデータの高次元性は、GANトレーニングの収束を妨げるため、GANベースのSI生成は困難である。
本稿では, オートエンコーダ訓練における低次元表現分散を制御し, GANで生成されたサンプルの多様性を高めるための統計正則化を提案する。
論文 参考訳（メタデータ） (2023-04-29T00:25:02Z) - Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural
Networks [89.28881869440433]
本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。
解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
論文 参考訳（メタデータ） (2023-02-06T16:54:20Z) - ClusterQ: Semantic Feature Distribution Alignment for Data-Free
Quantization [111.12063632743013]
本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。
意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。
また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
論文 参考訳（メタデータ） (2022-04-30T06:58:56Z) - Cluster-Promoting Quantization with Bit-Drop for Minimizing Network
Quantization Loss [61.26793005355441]
クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。
DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。
本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
論文 参考訳（メタデータ） (2021-09-05T15:15:07Z) - Zero-shot Adversarial Quantization [11.722728148523366]
ゼロショット逆量子化(ZAQ: Zero-shot adversarial quantization)フレームワークを提案し,効果的な不一致推定と知識伝達を容易にする。
これは、情報的で多様なデータ例を合成するためにジェネレータを駆動する、新しい2レベル不一致モデリングによって達成される。
強力なゼロショットベースラインに対してZAQの優位性を示す3つの基本的なビジョンタスクについて広範な実験を行います。
論文 参考訳（メタデータ） (2021-03-29T01:33:34Z) - Data-free mixed-precision quantization using novel sensitivity metric [6.031526641614695]
量子化誤差がタスクロスや他の層との相互作用に与える影響を考慮した新しい感度測定法を提案する。
実験により,提案手法が量子化感度をよりよく表現し,生成したデータは混合精度量子化に適用できることを示す。
論文 参考訳（メタデータ） (2021-03-18T07:23:21Z) - Diversifying Sample Generation for Accurate Data-Free Quantization [35.38029335993735]
均質化による悪影響を軽減するために,DSG(Diverse Sample Generation)方式を提案する。
我々の手法は多用途であり、AdaRoundのような最先端のポストトレーニング量子化手法にも適用できる。
論文 参考訳（メタデータ） (2021-03-01T14:46:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。