論文の概要: Selective Coupling of Decoupled Informative Regions: Masked Attention Alignment for Data-Free Quantization of Vision Transformers

• arxiv url: http://arxiv.org/abs/2606.04373v2
• Date: Fri, 05 Jun 2026 08:17:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.306551
• Title: Selective Coupling of Decoupled Informative Regions: Masked Attention Alignment for Data-Free Quantization of Vision Transformers
• Title（参考訳）: 切り離された非形式領域の選択的結合:視覚変換器のデータフリー量子化のためのマスク付きアテンションアライメント
• Authors: Biao Qian, Yang Wang, Yong Wu, Jungong Han,
• Abstract要約: Data-Free Quantization (DFQ)は、サンプルを合成することで、実際のデータにアクセスすることなく、データセキュリティ上の問題に対処する。 従来の DFQ Arts for Vision Transformers (ViTs) は、しばしば、合成サンプルと量子化モデルQで期待される入力分布の分布ミスマッチに悩まされる。 本研究では,データ自由量子化のためのMaskAQという新しいMasked Attention Alignmentアプローチを提案する。
• 参考スコア（独自算出の注目度）: 56.376795859825705
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data-Free Quantization (DFQ) addresses data security concerns by synthesizing samples, without accessing real data. It has garnered increasing attention in the context of Vision Transformers (ViTs), owing to the superiority of the self-attention mechanism compared to classical convolutional operation. However, previous DFQ arts for ViTs often suffer from a distribution mismatch between synthetic samples and input distribution expected by quantized models Q, resulting in the suboptimal performance. In this paper, we propose a novel Masked Attention Alignment approach for Data-Free Quantization of ViTs, named MaskAQ, revealing that: 1) the semantics in the self-attention mechanism is predominantly localized to a sparse subset of patches, called informative regions; 2) the informative regions dominate the mutual information between synthetic samples and Q's outputs. To these ends, we incorporate differential entropy maximum over patch similarity of synthetic samples, to decouple informative regions from noisy background. To couple with varied Q, the informative regions are selected to align full-precision models with Q via a masked attention alignment objective, thus yielding high-quality synthetic samples. Furthermore, a periodic sample refreshing strategy comes up to endow MaskAQ with the capacity to continually adapt to the evolving state of Q throughout the training process, to preserve desirable mutual information with synthetic samples. Extensive experiments verify the merits of MaskAQ over state-of-the-art approaches across multiple backbones and downstream tasks. Our code is available at https://github.com/hfutqian/MaskAQ.
• Abstract（参考訳）: Data-Free Quantization (DFQ)は、サンプルを合成することで、実際のデータにアクセスすることなく、データセキュリティ上の問題に対処する。 視覚変換器(ViT)の文脈では、古典的畳み込み操作に比べて自己注意機構が優れているため、注目度が高まっている。 しかし、従来のDFQアートは、合成サンプルと量子化モデルQが期待する入力分布との分布ミスマッチに悩まされ、その結果、準最適性能が得られる。 本稿では,データ自由量子化のための新しいMasked Attention AlignmentアプローチであるMaskAQを提案する。 1) 自己認識機構のセマンティクスは,主に情報領域という,パッチのまばらな部分集合に局所化される。 2) 情報領域は, 合成試料とQの出力の相互情報を支配している。 これらの目的のために,合成試料のパッチ類似性に対する差分エントロピー最大値を導入し,ノイズ背景から情報領域を分離する。 各種Qと対応付けるため、全精度モデルとQをマスクした注目アライメント目標により整列させるため、高品質な合成サンプルを得る。 さらに、定期的なサンプルリフレッシュ戦略が登場し、トレーニングプロセスを通してQの進化状態に継続的に適応し、合成サンプルとの望ましい相互情報を維持する能力を有するMaskAQが提供される。 大規模な実験は、複数のバックボーンと下流タスクにまたがる最先端アプローチに対するMaskAQの利点を検証する。 私たちのコードはhttps://github.com/hfutqian/MaskAQ.comで公開されています。

関連論文リスト

• Towards Syn-to-Real IQA: A Novel Perspective on Reshaping Synthetic Data Distributions [74.00222571094437]
  Blind Image Quality Assessment (BIQA)はディープラーニングを通じて大幅に進歩しているが、大規模なラベル付きデータセットの不足は依然として課題である。 合成データセットから学習した表現は、しばしば回帰性能を妨げる離散的かつクラスタ化されたパターンを示す。 本稿では,BIQAの一般化を促進するために,合成データ分布を再考する新しいフレームワークであるSynDR-IQAを紹介する。
  論文  参考訳（メタデータ） (2026-01-01T06:11:16Z)
• S$^2$Q-VDiT: Accurate Quantized Video Diffusion Transformer with Salient Data and Sparse Token Distillation [55.35880044416441]
  ビデオ拡散モデル(V-DM)の学習後量子化フレームワークであるS$2$Q-VDiTを提案する。 W4A6量子化の下では、S$2$Q-VDiTは3.9倍のモデル圧縮と1.3倍の推論加速を実現している。
  論文  参考訳（メタデータ） (2025-08-06T02:12:29Z)
• Mask Factory: Towards High-quality Synthetic Data Generation for Dichotomous Image Segmentation [70.95380821618711]
  Dichotomous Image (DIS) タスクは高度に正確なアノテーションを必要とする。 現在の生成モデルとテクニックは、シーンのずれ、ノイズによるエラー、限られたトレーニングサンプルの変動といった問題に苦慮している。 多様な正確なデータセットを生成するためのスケーラブルなソリューションを提供する。
  論文  参考訳（メタデータ） (2024-12-26T06:37:25Z)
• MimiQ: Low-Bit Data-Free Quantization of Vision Transformers with Encouraging Inter-Head Attention Similarity [32.532780329341186]
  データフリー量子化(DFQ)は、元のトレーニングデータなしで、しばしば合成データセットを通じて、フル精度のネットワークから軽量なネットワークを作成するテクニックである。 視覚変換器(ViT)アーキテクチャにはいくつかのDFQ法が提案されているが、低ビット設定では有効性は得られていない。 そこで我々は,視覚障害者のための新しいDFQ手法であるMimiQを考案した。
  論文  参考訳（メタデータ） (2024-07-29T13:57:40Z)
• Continual-MAE: Adaptive Distribution Masked Autoencoders for Continual Test-Time Adaptation [49.827306773992376]
  連続的テスト時間適応(CTTA)は、ソース事前学習モデルから目標分布の連続的な変化に移行するために提案される。 提案手法は,CTTAタスクの分類とセグメンテーションの両方において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-19T15:34:52Z)
• Domain Adaptive Synapse Detection with Weak Point Annotations [63.97144211520869]
  弱点アノテーションを用いたドメイン適応型シナプス検出のためのフレームワークであるAdaSynを提案する。 I SBI 2023のWASPSYNチャレンジでは、我々の手法が第1位にランクインした。
  論文  参考訳（メタデータ） (2023-08-31T05:05:53Z)
• Qimera: Data-free Quantization with Synthetic Boundary Supporting Samples [8.975667614727652]
  人工境界支持試料を生成するために重ね合わせの潜伏埋め込みを用いたQimeraを提案する。 実験結果から,Qimeraはデータフリー量子化における各種設定に対して,最先端の性能を実現することが示された。
  論文  参考訳（メタデータ） (2021-11-04T04:52:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。