論文の概要: Data Generation for Hardware-Friendly Post-Training Quantization
- arxiv url: http://arxiv.org/abs/2410.22110v1
- Date: Tue, 29 Oct 2024 15:08:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-30 13:39:50.257279
- Title: Data Generation for Hardware-Friendly Post-Training Quantization
- Title（参考訳）: ハードウェアフレンドリーなポストトレーニング量子化のためのデータ生成
- Authors: Lior Dikstein, Ariel Lapid, Arnon Netzer, Hai Victor Habi,
- Abstract要約: 合成データを用いたゼロショット量子化(ZSQ)は、プライバシとセキュリティ制約下でのポストトレーニング量子化(PTQ)の重要なアプローチである。
既存のデータ生成方法は、ハードウェアフレンドリーな量子化に適したデータを生成するのに苦労することが多い。
ハードウェアフレンドリな量子化のためのデータ生成(DGH)を提案する。
- 参考スコア（独自算出の注目度）: 3.3998740964877463
- License:
- Abstract: Zero-shot quantization (ZSQ) using synthetic data is a key approach for post-training quantization (PTQ) under privacy and security constraints. However, existing data generation methods often struggle to effectively generate data suitable for hardware-friendly quantization, where all model layers are quantized. We analyze existing data generation methods based on batch normalization (BN) matching and identify several gaps between synthetic and real data: 1) Current generation algorithms do not optimize the entire synthetic dataset simultaneously; 2) Data augmentations applied during training are often overlooked; and 3) A distribution shift occurs in the final model layers due to the absence of BN in those layers. These gaps negatively impact ZSQ performance, particularly in hardware-friendly quantization scenarios. In this work, we propose Data Generation for Hardware-friendly quantization (DGH), a novel method that addresses these gaps. DGH jointly optimizes all generated images, regardless of the image set size or GPU memory constraints. To address data augmentation mismatches, DGH includes a preprocessing stage that mimics the augmentation process and enhances image quality by incorporating natural image priors. Finally, we propose a new distribution-stretching loss that aligns the support of the feature map distribution between real and synthetic data. This loss is applied to the model's output and can be adapted to various tasks. DGH demonstrates significant improvements in quantization performance across multiple tasks, achieving up to a 30% increase in accuracy for hardware-friendly ZSQ in both classification and object detection, often performing on par with real data.
- Abstract（参考訳）: 合成データを用いたゼロショット量子化(ZSQ)は、プライバシとセキュリティ制約下でのポストトレーニング量子化(PTQ)の重要なアプローチである。
しかし、既存のデータ生成手法は、全てのモデル層が量子化されるハードウェアフレンドリな量子化に適したデータを生成するのに苦労することが多い。
バッチ正規化(BN)マッチングに基づく既存のデータ生成手法を解析し、合成データと実データの間のいくつかのギャップを同定する。
1) 現在の生成アルゴリズムは、合成データセット全体を同時に最適化しない。
2 訓練中に適用されるデータ拡張は、しばしば見過ごされる。
3) これらの層にBNが存在しないため, 最終モデル層に分布シフトが発生する。
これらのギャップは、特にハードウェアフレンドリーな量子化シナリオにおいてZSQのパフォーマンスに悪影響を及ぼす。
本研究では,ハードウェアフレンドリな量子化のためのデータ生成(DGH)を提案する。
DGHは、イメージセットのサイズやGPUメモリの制約にかかわらず、生成したすべての画像を共同で最適化する。
データ拡張ミスマッチに対処するため、DGHは、増大過程を模倣し、自然画像の先行を組み込むことで画質を向上させる前処理段階を含む。
最後に,実データと合成データ間の特徴写像分布のサポートを整合させる新しい分布伸長損失を提案する。
この損失はモデルの出力に適用され、様々なタスクに適応できる。
DGHは、複数のタスク間での量子化性能を大幅に改善し、ハードウェアフレンドリなZSQの分類とオブジェクト検出の精度を最大30%向上させ、実際のデータと同等に動作させる。
関連論文リスト
- GenQ: Quantization in Low Data Regimes with Generative Synthetic Data [28.773641633757283]
我々は、高度な生成AIモデルを用いて高分解能合成データを生成する新しいアプローチであるGenQを紹介する。
データの可用性が限られている場合、実際のデータは合成データ生成プロセスのガイドに使用される。
厳密な実験を通じて、GenQはデータフリーおよびデータスカース量子化の新しいベンチマークを確立する。
論文 参考訳（メタデータ） (2023-12-07T23:31:42Z) - SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。
学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。
本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
論文 参考訳（メタデータ） (2023-06-13T08:57:54Z) - Post-training Model Quantization Using GANs for Synthetic Data
Generation [57.40733249681334]
量子化法における実データを用いたキャリブレーションの代用として合成データを用いた場合について検討する。
本稿では,StyleGAN2-ADAが生成したデータと事前学習したDiStyleGANを用いて定量化したモデルの性能と,実データを用いた量子化とフラクタル画像に基づく代替データ生成手法との比較を行った。
論文 参考訳（メタデータ） (2023-05-10T11:10:09Z) - LD-GAN: Low-Dimensional Generative Adversarial Network for Spectral
Image Generation with Variance Regularization [72.4394510913927]
ディープラーニング法はスペクトル画像(SI)計算タスクの最先端技術である。
GANは、データ分散から学習およびサンプリングすることで、多様な拡張を可能にする。
この種のデータの高次元性は、GANトレーニングの収束を妨げるため、GANベースのSI生成は困難である。
本稿では, オートエンコーダ訓練における低次元表現分散を制御し, GANで生成されたサンプルの多様性を高めるための統計正則化を提案する。
論文 参考訳（メタデータ） (2023-04-29T00:25:02Z) - ScoreMix: A Scalable Augmentation Strategy for Training GANs with
Limited Data [93.06336507035486]
GAN(Generative Adversarial Networks)は通常、限られたトレーニングデータが利用できる場合、過度に適合する。
ScoreMixは、様々な画像合成タスクのための、新しくスケーラブルなデータ拡張手法である。
論文 参考訳（メタデータ） (2022-10-27T02:55:15Z) - ClusterQ: Semantic Feature Distribution Alignment for Data-Free
Quantization [111.12063632743013]
本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。
意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。
また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
論文 参考訳（メタデータ） (2022-04-30T06:58:56Z) - Diverse Sample Generation: Pushing the Limit of Data-free Quantization [85.95032037447454]
本稿では,データ不要なポストトレーニング量子化と量子化学習のための汎用的な2次サンプル生成手法を提案する。
大規模な画像分類タスクでは、DSGは既存のデータ自由量子化手法より一貫して優れている。
論文 参考訳（メタデータ） (2021-09-01T07:06:44Z) - Zero-shot Adversarial Quantization [11.722728148523366]
ゼロショット逆量子化(ZAQ: Zero-shot adversarial quantization)フレームワークを提案し,効果的な不一致推定と知識伝達を容易にする。
これは、情報的で多様なデータ例を合成するためにジェネレータを駆動する、新しい2レベル不一致モデリングによって達成される。
強力なゼロショットベースラインに対してZAQの優位性を示す3つの基本的なビジョンタスクについて広範な実験を行います。
論文 参考訳（メタデータ） (2021-03-29T01:33:34Z) - Diversifying Sample Generation for Accurate Data-Free Quantization [35.38029335993735]
均質化による悪影響を軽減するために,DSG(Diverse Sample Generation)方式を提案する。
我々の手法は多用途であり、AdaRoundのような最先端のポストトレーニング量子化手法にも適用できる。
論文 参考訳（メタデータ） (2021-03-01T14:46:02Z) - Generative Zero-shot Network Quantization [41.75769117366117]
畳み込みニューラルネットワークは、低レベルの画像生成と復元における多数のトレーニングサンプルから現実的な画像優先度を学習することができる。
また,高レベル画像認識タスクでは,本質的バッチ正規化(bn)統計をトレーニングデータなしで活用することにより,各カテゴリの「現実的」画像をさらに再構築できることを示す。
論文 参考訳（メタデータ） (2021-01-21T04:10:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。