論文の概要: Enhancing Generalization in Data-free Quantization via Mixup-class Prompting

• arxiv url: http://arxiv.org/abs/2507.21947v1
• Date: Tue, 29 Jul 2025 16:00:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-30 17:08:56.647967
• Title: Enhancing Generalization in Data-free Quantization via Mixup-class Prompting
• Title（参考訳）: Mixup-class Promptingによるデータフリー量子化の一般化の促進
• Authors: Jiwoong Park, Chaeun Lee, Yongseok Choi, Sein Park, Deokki Hong, Jungwook Choi,
• Abstract要約: ポストトレーニング量子化(PTQ)は効率を向上するが、特にプライバシー上の制約の下では、限られたキャリブレーションデータに悩まされる。 データフリー量子化(DFQ)は、生成逆数ネットワーク(GAN)やテキスト条件潜在拡散モデル(LDM)などの生成モデルを用いて合成画像を生成することでこれを緩和する。 テキストプロンプトレベルで複数のクラスラベルを融合させて,多種多様な堅牢な合成データを生成する混合テキストプロンプトであるtextbfmixup-class prompt を提案する。
• 参考スコア（独自算出の注目度）: 8.107092196905157
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-training quantization (PTQ) improves efficiency but struggles with limited calibration data, especially under privacy constraints. Data-free quantization (DFQ) mitigates this by generating synthetic images using generative models such as generative adversarial networks (GANs) and text-conditioned latent diffusion models (LDMs), while applying existing PTQ algorithms. However, the relationship between generated synthetic images and the generalizability of the quantized model during PTQ remains underexplored. Without investigating this relationship, synthetic images generated by previous prompt engineering methods based on single-class prompts suffer from issues such as polysemy, leading to performance degradation. We propose \textbf{mixup-class prompt}, a mixup-based text prompting strategy that fuses multiple class labels at the text prompt level to generate diverse, robust synthetic data. This approach enhances generalization, and improves optimization stability in PTQ. We provide quantitative insights through gradient norm and generalization error analysis. Experiments on convolutional neural networks (CNNs) and vision transformers (ViTs) show that our method consistently outperforms state-of-the-art DFQ methods like GenQ. Furthermore, it pushes the performance boundary in extremely low-bit scenarios, achieving new state-of-the-art accuracy in challenging 2-bit weight, 4-bit activation (W2A4) quantization.
• Abstract（参考訳）: ポストトレーニング量子化(PTQ)は効率を向上するが、特にプライバシー上の制約の下では、限られたキャリブレーションデータに悩まされる。 データフリー量子化(DFQ)は、生成逆数ネットワーク(GAN)やテキスト条件潜在拡散モデル(LDM)などの生成モデルを用いて合成画像を生成し、既存のPTQアルゴリズムを適用してこれを緩和する。 しかし、生成した合成画像とPTQ中の量子化モデルの一般化性との関係はいまだ解明されていない。 この関係を調査せずに、シングルクラスのプロンプトに基づく従来のプロンプトエンジニアリング手法によって生成された合成画像は、ポリセミズムなどの問題に悩まされ、性能劣化を招いた。 そこで本稿では,テキストプロンプトレベルで複数のクラスラベルを融合させて,多種多様な堅牢な合成データを生成する,ミックスアップベースのテキストプロンプト戦略である‘textbf{mixup-class prompt} を提案する。 このアプローチは一般化を高め、PTQの最適化安定性を向上させる。 勾配ノルムと一般化誤差解析による定量的洞察を提供する。 畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)の実験は、我々の手法がGenQのような最先端のDFQ手法を一貫して上回っていることを示している。 さらに、超低ビットシナリオのパフォーマンス境界を押し上げ、2ビットの重み、4ビットのアクティベーション(W2A4)量子化に挑戦して、最先端の新たな精度を達成する。

関連論文リスト

• DFQ-ViT: Data-Free Quantization for Vision Transformers without Fine-tuning [9.221916791064407]
  データフリー量子化(DFQ)は、データへのアクセスを必要とせずにビジョントランスフォーマー(ViT)の量子化を可能にし、限られたリソースを持つデバイスにViTをデプロイすることを可能にする。 既存の手法では、サンプル内のグローバルな特徴とローカルな特徴を完全にキャプチャしてバランスをとることができず、結果として合成データの品質が制限される。 視覚変換用データフリー量子化パイプライン(DFQ-ViT)を提案する。
  論文  参考訳（メタデータ） (2025-07-19T04:32:04Z)
• FIMA-Q: Post-Training Quantization for Vision Transformers by Fisher Information Matrix Approximation [55.12070409045766]
  ポストトレーニング量子化(PTQ)は近年,費用対効果と有望なモデル圧縮パラダイムとして注目されている。 ビジョン変換器(ViT)の現在のPTQ法は、特に低ビット量子化において、精度が著しく低下している。
  論文  参考訳（メタデータ） (2025-06-13T07:57:38Z)
• Post-Training Quantization for Video Matting [20.558324038808664]
  ビデオマッティングは、映画制作やバーチャルリアリティーといった応用に不可欠である。 トレーニング後の量子化(PTQ)は、ビデオマッティングの初期段階にある。 本稿では,ビデオマッチングモデルに特化して設計された,新規で汎用的なPTQフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-12T15:57:14Z)
• Semantic Alignment and Reinforcement for Data-Free Quantization of Vision Transformers [58.14748181398049]
  データフリー量子化(DFQ)は、実際のデータにアクセスせずにモデル量子化を可能にし、データのセキュリティとプライバシに関する懸念に対処する。 ビジョントランスフォーマー(ViTs)の普及に伴い、ViTsのDFQは大きな注目を集めている。 本稿では,新しいセマンティックアライメントと強化データ自由化手法であるSARDFQを提案する。
  論文  参考訳（メタデータ） (2024-12-21T09:30:45Z)
• Pushing the Limits of Large Language Model Quantization via the Linearity Theorem [71.3332971315821]
  本稿では,階層的$ell$再構成誤差と量子化によるモデルパープレキシティ増加との直接的な関係を確立する「線形定理」を提案する。 この知見は,(1)アダマール回転とHIGGSと呼ばれるMSE最適格子を用いた単純なデータフリーLCM量子化法,(2)非一様層ごとの量子化レベルを求める問題に対する最適解の2つの新しい応用を可能にする。
  論文  参考訳（メタデータ） (2024-11-26T15:35:44Z)
• PTQ4ADM: Post-Training Quantization for Efficient Text Conditional Audio Diffusion Models [8.99127212785609]
  この研究は、音声拡散モデル(ADM)を定量化する新しいフレームワークであるPTQ4ADMを導入している。 本研究の主な貢献は,(1)カバレッジ駆動型プロンプト拡張法,(2)テキスト条件ADMのアクティベーション対応校正セット生成アルゴリズムである。 PTQ4ADMは、完全精度モデルに匹敵する合成品質の指標を達成しつつ、モデルサイズを最大70%削減する能力を示した。
  論文  参考訳（メタデータ） (2024-09-20T20:52:56Z)
• EDA-DM: Enhanced Distribution Alignment for Post-Training Quantization of Diffusion Models [8.742501879586309]
  量子化はモデルの複雑性を効果的に低減し、後学習量子化(PTQ)は拡散モデルの圧縮と加速に非常に有望である。 既存のPTQ法は, キャリブレーションサンプルレベルと再構成出力レベルの両方の分布ミスマッチ問題に悩まされている。 本稿では,上記の問題に効率的に対処する標準化されたPTQ手法であるEDA-DMを提案する。
  論文  参考訳（メタデータ） (2024-01-09T14:42:49Z)
• ClusterQ: Semantic Feature Distribution Alignment for Data-Free Quantization [111.12063632743013]
  本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。 意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。 また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
  論文  参考訳（メタデータ） (2022-04-30T06:58:56Z)
• Sequence-Level Mixed Sample Data Augmentation [119.94667752029143]
  本研究は、シーケンス対シーケンス問題に対するニューラルモデルにおける合成行動を促進するための単純なデータ拡張手法を提案する。 我々の手法であるSeqMixは、トレーニングセットから入力/出力シーケンスをソフトに結合することで、新しい合成例を作成する。
  論文  参考訳（メタデータ） (2020-11-18T02:18:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。