論文の概要: DFQ-ViT: Data-Free Quantization for Vision Transformers without Fine-tuning
- arxiv url: http://arxiv.org/abs/2507.14481v1
- Date: Sat, 19 Jul 2025 04:32:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-22 20:51:31.906514
- Title: DFQ-ViT: Data-Free Quantization for Vision Transformers without Fine-tuning
- Title（参考訳）: DFQ-ViT:微調整のない視覚変換器のデータフリー量子化
- Authors: Yujia Tong, Jingling Yuan, Tian Zhang, Jianquan Liu, Chuang Hu,
- Abstract要約: データフリー量子化(DFQ)は、データへのアクセスを必要とせずにビジョントランスフォーマー(ViT)の量子化を可能にし、限られたリソースを持つデバイスにViTをデプロイすることを可能にする。
既存の手法では、サンプル内のグローバルな特徴とローカルな特徴を完全にキャプチャしてバランスをとることができず、結果として合成データの品質が制限される。
視覚変換用データフリー量子化パイプライン(DFQ-ViT)を提案する。
- 参考スコア（独自算出の注目度）: 9.221916791064407
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data-Free Quantization (DFQ) enables the quantization of Vision Transformers (ViTs) without requiring access to data, allowing for the deployment of ViTs on devices with limited resources. In DFQ, the quantization model must be calibrated using synthetic samples, making the quality of these synthetic samples crucial. Existing methods fail to fully capture and balance the global and local features within the samples, resulting in limited synthetic data quality. Moreover, we have found that during inference, there is a significant difference in the distributions of intermediate layer activations between the quantized and full-precision models. These issues lead to a severe performance degradation of the quantized model. To address these problems, we propose a pipeline for Data-Free Quantization for Vision Transformers (DFQ-ViT). Specifically, we synthesize samples in order of increasing difficulty, effectively enhancing the quality of synthetic data. During the calibration and inference stage, we introduce the activation correction matrix for the quantized model to align the intermediate layer activations with those of the full-precision model. Extensive experiments demonstrate that DFQ-ViT achieves remarkable superiority over existing DFQ methods and its performance is on par with models quantized through real data. For example, the performance of DeiT-T with 3-bit weights quantization is 4.29% higher than the state-of-the-art. Our method eliminates the need for fine-tuning, which not only reduces computational overhead but also lowers the deployment barriers for edge devices. This characteristic aligns with the principles of Green Learning by improving energy efficiency and facilitating real-world applications in resource-constrained environments.
- Abstract（参考訳）: データフリー量子化(DFQ)は、データへのアクセスを必要とせずにビジョントランスフォーマー(ViT)の量子化を可能にし、限られたリソースを持つデバイスにViTをデプロイすることを可能にする。
DFQでは、量子化モデルを合成試料を用いて校正する必要があるため、これらの合成試料の品質が不可欠である。
既存の手法では、サンプル内のグローバルな特徴とローカルな特徴を完全にキャプチャしてバランスをとることができず、結果として合成データの品質が制限される。
さらに、推論中は、量子化モデルと完全精度モデルの間に中間層活性化の分布に有意な差があることが判明した。
これらの問題により、量子化モデルの性能が大幅に低下する。
これらの問題に対処するために、視覚変換のためのデータ自由量子化パイプライン(DFQ-ViT)を提案する。
具体的には, 難易度を高めるために試料を合成し, 合成データの質を効果的に向上させる。
キャリブレーションと推論の段階では、中間層の活性化を全精度モデルと整合させるために、量子化モデルのアクティベーション補正行列を導入する。
大規模実験により,DFQ-ViTは既存のDFQ法よりも顕著に優れており,実データによる数値化モデルと同等の性能を示した。
例えば、3ビットの量子化を持つDeiT-Tの性能は最先端よりも4.29%高い。
提案手法は微調整の必要性を排除し,計算オーバーヘッドを削減するだけでなく,エッジデバイスの配置障壁を低くする。
この特徴は、エネルギー効率を改善し、資源制約環境における現実世界の応用を促進することで、グリーンラーニングの原則と一致している。
関連論文リスト
- QuantVSR: Low-Bit Post-Training Quantization for Real-World Video Super-Resolution [53.13952833016505]
実世界のビデオ超解像(VSR)のための低ビット量子化モデルを提案する。
キャリブレーションデータセットを用いて各レイヤの空間的および時間的複雑さを計測する。
我々はFPおよび低ビット分岐を改良し、同時最適化を実現する。
論文 参考訳（メタデータ） (2025-08-06T14:35:59Z) - Enhancing Generalization in Data-free Quantization via Mixup-class Prompting [8.107092196905157]
ポストトレーニング量子化(PTQ)は効率を向上するが、特にプライバシー上の制約の下では、限られたキャリブレーションデータに悩まされる。
データフリー量子化(DFQ)は、生成逆数ネットワーク(GAN)やテキスト条件潜在拡散モデル(LDM)などの生成モデルを用いて合成画像を生成することでこれを緩和する。
テキストプロンプトレベルで複数のクラスラベルを融合させて,多種多様な堅牢な合成データを生成する混合テキストプロンプトであるtextbfmixup-class prompt を提案する。
論文 参考訳（メタデータ） (2025-07-29T16:00:20Z) - APHQ-ViT: Post-Training Quantization with Average Perturbation Hessian Based Reconstruction for Vision Transformers [71.2294205496784]
平均摂動ヘシアン (APH) を用いた重要度推定に基づく新しいPTQ手法である textbfAPHQ-ViT を提案する。
本稿では,線形量子化器を用いたAPHQ-ViTが既存のPTQ法よりも3ビット,4ビットの差が大きいことを示す。
論文 参考訳（メタデータ） (2025-04-03T11:48:56Z) - Ultra-Resolution Adaptation with Ease [62.56434979517156]
我々は,EmphURAEと呼ばれる超高分解能適応のための重要なガイドラインのセットを提案する。
重み行列の小さな成分のチューニングは、合成データが利用できない場合に広く使用される低ランクアダプタよりも優れていることを示す。
URAEは、FLUX1.1[Pro] Ultraのような最先端のクローズドソースモデルに匹敵する2K世代の性能を達成している。
論文 参考訳（メタデータ） (2025-03-20T16:44:43Z) - Robust Machine Unlearning for Quantized Neural Networks via Adaptive Gradient Reweighting with Similar Labels [5.868949328814509]
モデル量子化は、低ビットパラメータ表現によるエッジデバイスへのディープニューラルネットワークの効率的な展開を可能にする。
既存のマシン・アンラーニング(MU)手法は量子化されたネットワークにおける2つの基本的な制限に対処できない。
本稿では,量子化モデルのための学習フレームワークQ-MULを提案する。
論文 参考訳（メタデータ） (2025-03-18T05:22:13Z) - DopQ-ViT: Towards Distribution-Friendly and Outlier-Aware Post-Training Quantization for Vision Transformers [31.791935689364866]
視覚変換器(ViT)のためのDopQ-ViTを提案する。
第一に、DopQ-ViTはTan Quantizer (TanQ)を導入している。
第2に、DopQ-ViT は MAD-Guided Optimal Scaling Factor (MOSF) を提示する。
論文 参考訳（メタデータ） (2024-08-06T16:40:04Z) - GSB: Group Superposition Binarization for Vision Transformer with
Limited Training Samples [46.025105938192624]
Vision Transformer (ViT) は様々なコンピュータビジョンタスクにおいて顕著に機能している。
ViTは通常、比較的限られた数のトレーニングサンプルで深刻なオーバーフィッティング問題に悩まされる。
本稿では,GSB(Group Superposition Binarization)と呼ばれる新しいモデルバイナライゼーション手法を提案する。
論文 参考訳（メタデータ） (2023-05-13T14:48:09Z) - Post-training Model Quantization Using GANs for Synthetic Data
Generation [57.40733249681334]
量子化法における実データを用いたキャリブレーションの代用として合成データを用いた場合について検討する。
本稿では,StyleGAN2-ADAが生成したデータと事前学習したDiStyleGANを用いて定量化したモデルの性能と,実データを用いた量子化とフラクタル画像に基づく代替データ生成手法との比較を行った。
論文 参考訳（メタデータ） (2023-05-10T11:10:09Z) - Hard Sample Matters a Lot in Zero-Shot Quantization [52.32914196337281]
ゼロショット量子化(ZSQ)は、完全精度モデルのトレーニング用データがアクセスできない場合に、ディープニューラルネットワークの圧縮と加速を約束する。
ZSQでは、合成サンプルを用いてネットワーク量子化を行うため、量子化モデルの性能は合成サンプルの品質に大きく依存する。
この問題に対処するために,HArdサンプル合成訓練(HAST)を提案する。
論文 参考訳（メタデータ） (2023-03-24T06:22:57Z) - RepQ-ViT: Scale Reparameterization for Post-Training Quantization of
Vision Transformers [2.114921680609289]
視覚変換器のための新しいPTQフレームワークRepQ-ViTを提案する。
RepQ-ViTは量子化と推論プロセスを分離する。
既存の強力なベースラインを上回り、ViTの4ビットPTQの精度を有効レベルまで向上させることができる。
論文 参考訳（メタデータ） (2022-12-16T02:52:37Z) - ClusterQ: Semantic Feature Distribution Alignment for Data-Free
Quantization [111.12063632743013]
本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。
意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。
また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
論文 参考訳（メタデータ） (2022-04-30T06:58:56Z) - Patch Similarity Aware Data-Free Quantization for Vision Transformers [2.954890575035673]
Patch similarity Aware data-free Quantization framework for Vision Transformersを提案する。
本研究では,ガウス雑音と実画像の処理において,自己アテンションモジュールの特性を解析し,一般的な相違点(パッチ類似点)を明らかにする。
PSAQ-ViTの有効性を検証するため,様々なベンチマークで実験およびアブレーション実験を行った。
論文 参考訳（メタデータ） (2022-03-04T11:47:20Z) - Zero-shot Adversarial Quantization [11.722728148523366]
ゼロショット逆量子化(ZAQ: Zero-shot adversarial quantization)フレームワークを提案し,効果的な不一致推定と知識伝達を容易にする。
これは、情報的で多様なデータ例を合成するためにジェネレータを駆動する、新しい2レベル不一致モデリングによって達成される。
強力なゼロショットベースラインに対してZAQの優位性を示す3つの基本的なビジョンタスクについて広範な実験を行います。
論文 参考訳（メタデータ） (2021-03-29T01:33:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。