論文の概要: Sharpness-Aware Data Generation for Zero-shot Quantization

• arxiv url: http://arxiv.org/abs/2510.07018v1
• Date: Wed, 08 Oct 2025 13:43:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 16:41:20.521013
• Title: Sharpness-Aware Data Generation for Zero-shot Quantization
• Title（参考訳）: ゼロショット量子化のためのシャープネスを考慮したデータ生成
• Authors: Dung Hoang-Anh, Cuong Pham Trung Le, Jianfei Cai, Thanh-Toan Do,
• Abstract要約: ゼロショット量子化は、元の実際のトレーニングデータにアクセスすることなく、事前訓練された完全精度モデルから量子化モデルを学習することを目的としている。 本稿では,一般化を促進するために,合成データ生成における量化モデルシャープネスを考慮した新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 36.10612846041737
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Zero-shot quantization aims to learn a quantized model from a pre-trained full-precision model with no access to original real training data. The common idea in zero-shot quantization approaches is to generate synthetic data for quantizing the full-precision model. While it is well-known that deep neural networks with low sharpness have better generalization ability, none of the previous zero-shot quantization works considers the sharpness of the quantized model as a criterion for generating training data. This paper introduces a novel methodology that takes into account quantized model sharpness in synthetic data generation to enhance generalization. Specifically, we first demonstrate that sharpness minimization can be attained by maximizing gradient matching between the reconstruction loss gradients computed on synthetic and real validation data, under certain assumptions. We then circumvent the problem of the gradient matching without real validation set by approximating it with the gradient matching between each generated sample and its neighbors. Experimental evaluations on CIFAR-100 and ImageNet datasets demonstrate the superiority of the proposed method over the state-of-the-art techniques in low-bit quantization settings.
• Abstract（参考訳）: ゼロショット量子化は、元の実際のトレーニングデータにアクセスすることなく、事前訓練された完全精度モデルから量子化モデルを学習することを目的としている。 ゼロショット量子化アプローチの一般的な考え方は、全精度モデルを定量化するための合成データを生成することである。 シャープさの低いディープニューラルネットワークはより一般化能力が高いことはよく知られているが、以前のゼロショット量子化の研究では、量子化モデルのシャープさをトレーニングデータを生成する基準として考慮していない。 本稿では,一般化を促進するために,合成データ生成における量化モデルシャープネスを考慮した新しい手法を提案する。 具体的には,特定の仮定の下で,合成データと実検定データに基づいて計算した再構成損失勾配の勾配マッチングを最大化することにより,シャープネスの最小化が達成できることを示す。 次に, 実検証を伴わない勾配マッチングの問題を, 生成した各サンプルとその近傍の勾配マッチングと近似することで回避する。 CIFAR-100とImageNetデータセットの実験的評価は、低ビット量子化設定における最先端技術よりも提案手法の方が優れていることを示す。

関連論文リスト

• Data-Free Quantization via Mixed-Precision Compensation without Fine-Tuning [25.226734510004984]
  本研究では,データと微調整を伴わない超低精度量子化モデルの性能を回復するデータフリー混合精度補償法を提案する。 我々のDF-MPCは、データや微調整を伴わない最近の手法と比較して、超高精度量子化モデルの高精度化を実現している。
  論文  参考訳（メタデータ） (2023-07-02T07:16:29Z)
• Exploiting Diffusion Prior for Real-World Image Super-Resolution [75.5898357277047]
  本稿では,事前学習したテキスト・画像拡散モデルにカプセル化された事前知識を視覚的超解像に活用するための新しいアプローチを提案する。 時間認識エンコーダを用いることで、事前学習した合成モデルを変更することなく、有望な復元結果が得られる。
  論文  参考訳（メタデータ） (2023-05-11T17:55:25Z)
• Post-training Model Quantization Using GANs for Synthetic Data Generation [57.40733249681334]
  量子化法における実データを用いたキャリブレーションの代用として合成データを用いた場合について検討する。 本稿では,StyleGAN2-ADAが生成したデータと事前学習したDiStyleGANを用いて定量化したモデルの性能と,実データを用いた量子化とフラクタル画像に基づく代替データ生成手法との比較を行った。
  論文  参考訳（メタデータ） (2023-05-10T11:10:09Z)
• Mixed-Precision Inference Quantization: Radically Towards Faster inference speed, Lower Storage requirement, and Lower Loss [4.877532217193618]
  既存の量子化技術は、経験と「微調整」スキルに大きく依存している。 本研究は,完全精度モデルよりも低損失の混合精密量子化モデルを得るための方法論を提供する。 特に、巨大なアイデンティティマッピングを持つニューラルネットワークが量子化法に耐性があることを実証する。
  論文  参考訳（メタデータ） (2022-07-20T10:55:34Z)
• ClusterQ: Semantic Feature Distribution Alignment for Data-Free Quantization [111.12063632743013]
  本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。 意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。 また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
  論文  参考訳（メタデータ） (2022-04-30T06:58:56Z)
• Sharpness-aware Quantization for Deep Neural Networks [45.150346855368]
  シャープネス・アウェア量子化(SAQ)は,シャープネス・アウェア最小化(SAM)がモデル圧縮に与える影響を探索する新しい手法である。 本研究では,SAQにより量子化モデルの一般化性能が向上し,SOTAの結果が均一に量子化されることを示す。
  論文  参考訳（メタデータ） (2021-11-24T05:16:41Z)
• NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
  ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。 この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。 我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
  論文  参考訳（メタデータ） (2021-06-09T17:59:10Z)
• Zero-shot Adversarial Quantization [11.722728148523366]
  ゼロショット逆量子化(ZAQ: Zero-shot adversarial quantization)フレームワークを提案し,効果的な不一致推定と知識伝達を容易にする。 これは、情報的で多様なデータ例を合成するためにジェネレータを駆動する、新しい2レベル不一致モデリングによって達成される。 強力なゼロショットベースラインに対してZAQの優位性を示す3つの基本的なビジョンタスクについて広範な実験を行います。
  論文  参考訳（メタデータ） (2021-03-29T01:33:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。