Fugu-MT 論文翻訳(概要): Semantic Alignment and Reinforcement for Data-Free Quantization of Vision Transformers

論文の概要: Semantic Alignment and Reinforcement for Data-Free Quantization of Vision Transformers

arxiv url: http://arxiv.org/abs/2412.16553v3
Date: Wed, 02 Jul 2025 11:42:48 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-03 14:22:56.634853
Title: Semantic Alignment and Reinforcement for Data-Free Quantization of Vision Transformers
Title（参考訳）: 視覚変換器のデータフリー量子化のための意味アライメントと強化
Authors: Yunshan Zhong, Yuyao Zhou, Yuxin Zhang, Wanchen Sui, Shen Li, Yong Li, Fei Chao, Rongrong Ji,
Abstract要約: データフリー量子化(DFQ)は、実際のデータにアクセスせずにモデル量子化を可能にし、データのセキュリティとプライバシに関する懸念に対処する。ビジョントランスフォーマー(ViTs)の普及に伴い、ViTsのDFQは大きな注目を集めている。本稿では,新しいセマンティックアライメントと強化データ自由化手法であるSARDFQを提案する。
参考スコア（独自算出の注目度）: 58.14748181398049
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Data-free quantization (DFQ) enables model quantization without accessing real data, addressing concerns regarding data security and privacy. With the growing adoption of Vision Transformers (ViTs), DFQ for ViTs has garnered significant attention. However, existing DFQ methods exhibit two limitations: (1) semantic distortion, where the semantics of synthetic images deviate substantially from those of real images, and (2) semantic inadequacy, where synthetic images contain extensive regions with limited content and oversimplified textures, leading to suboptimal quantization performance. To address these limitations, we propose SARDFQ, a novel Semantics Alignment and Reinforcement Data-Free Quantization method for ViTs. To address semantic distortion, SARDFQ incorporates Attention Priors Alignment (APA), which optimizes synthetic images to follow randomly generated structure attention priors. To mitigate semantic inadequacy, SARDFQ introduces Multi-Semantic Reinforcement (MSR), leveraging localized patch optimization to enhance semantic richness across synthetic images. Furthermore, SARDFQ employs Soft-Label Learning (SL), wherein multiple semantic targets are adapted to facilitate the learning of multi-semantic images augmented by MSR. Extensive experiments demonstrate the effectiveness of SARDFQ, significantly surpassing existing methods. For example, SARDFQ improves top-1 accuracy on ImageNet by 15.52% for W4A4 ViT-B. The code is at https://github.com/zysxmu/SARDFQ.
Abstract（参考訳）: データフリー量子化(DFQ)は、実際のデータにアクセスせずにモデル量子化を可能にし、データのセキュリティとプライバシに関する懸念に対処する。ビジョントランスフォーマー(ViTs)の普及に伴い、ViTsのDFQは大きな注目を集めている。しかし,既存のDFQ法では,(1)合成画像のセマンティクスが実画像のセマンティクスと大きく異なる意味歪み,(2)合成画像が限られた内容と過度に単純化されたテクスチャを含むような意味的不適切さの2つの限界が示されており,それによって準量子化性能が向上する。これらの制約に対処するために,新しいセマンティックアライメントと強化データ-フリー量子化手法であるSARDFQを提案する。 SARDFQは意味的歪みに対処するため、APA(Attention Priors Alignment)を導入し、合成画像をランダムに生成された構造的注意に追従するように最適化する。 SARDFQは、セマンティック不整合を軽減するために、局所的なパッチ最適化を活用して、合成画像間のセマンティックリッチネスを高めるマルチセマンティック強化(Multi-Semantic Reinforcement, MSR)を導入した。さらに、SARDFQはSoft-Label Learning (SL)を採用し、複数のセマンティックターゲットを適応させて、MSRで拡張されたマルチセマンティック画像の学習を容易にする。大規模な実験はSARDFQの有効性を示し、既存の手法をはるかに上回っている。例えば、SARDFQは、W4A4 ViT-Bの場合、ImageNetでトップ1の精度を15.52%改善している。コードはhttps://github.com/zysxmu/SARDFQ.comにある。

関連論文リスト

SQ-GAN: Semantic Image Communications Using Masked Vector Quantization [55.02795214161371]
本研究ではセマンティック・マスケッドVQ-GAN(SQ-GAN)を導入し,セマンティック・タスク指向通信のための画像圧縮を最適化する手法を提案する。 SQ-GANは、セマンティックセマンティックセグメンテーションと新しいセマンティック条件適応マスクモジュール(SAMM)を使用して、画像のセマンティックな重要な特徴を選択的にエンコードする。
論文参考訳（メタデータ） (2025-02-13T17:35:57Z)
Unleashing Text-to-Image Diffusion Prior for Zero-Shot Image Captioning [70.98890307376548]
そこで本研究では,学習中に不信なコンテンツを適応的に緩和する,新しいPatch-wise Cross-modal Feature Mix-up(PCM)機構を提案する。私たちのPCM-Netは、ドメイン内およびクロスドメインのゼロショット画像キャプションの両方で第1位です。
論文参考訳（メタデータ） (2024-12-31T13:39:08Z)
Vision Transformer-based Semantic Communications With Importance-Aware Quantization [13.328970689723096]
本稿では、無線画像伝送のための重要量化(IAQ)を用いた視覚変換器(ViT)に基づくセマンティック通信システムを提案する。筆者らのIAQフレームワークは, エラーのない, 現実的な通信シナリオにおいて, 従来の画像圧縮手法よりも優れていることを示す。
論文参考訳（メタデータ） (2024-12-08T19:24:47Z)
Image2Sentence based Asymmetrical Zero-shot Composed Image Retrieval [92.13664084464514]
合成画像検索(CIR)の課題は,検索画像とユーザの意図を記述したテキストに基づいて画像を取得することである。既存の手法は、CIRタスクにおける高度な大規模視覚言語(VL)モデルにおいて大きな進歩を遂げているが、それらは一般的に、モデルトレーニングのためのラベル付き三重項の欠如とリソース制限された環境への展開の困難という2つの大きな問題に悩まされている。本稿では、VLモデルを利用して合成学習のためのラベルなし画像のみに依存する画像2Sentenceに基づく非対称ゼロショット合成画像検索(ISA)を提案する。
論文参考訳（メタデータ） (2024-03-03T07:58:03Z)
Leveraging Representations from Intermediate Encoder-blocks for Synthetic Image Detection [13.840950434728533]
SID(State-of-the-art Synthetic Image Detection)研究は、基礎モデルからの特徴抽出の利点を強く証明している。軽量ネットワークを介してCLIPの画像エンコーダの中間トランスフォーマーブロックから抽出した画像表現を利用する。本手法は,20個のテストデータセットで評価し,平均+10.6%の絶対性能向上を示すことにより,最先端の手法と比較した。
論文参考訳（メタデータ） (2024-02-29T12:18:43Z)
Semantic-aware Data Augmentation for Text-to-image Synthesis [19.28143363034362]
テキスト・ツー・イメージ合成(T2Isyn)では、拡張の知恵は、拡張されたペアデータ間のセマンティックミスマッチに苦しむ。本稿では,T2Isyn専用のSemantic-Aware Data Augmentationフレームワークを開発する。
論文参考訳（メタデータ） (2023-12-13T07:57:40Z)
Robustness-Guided Image Synthesis for Data-Free Quantization [15.91924736452861]
合成画像のセマンティクスを強化し,画像の多様性を向上させるために,ロバストネス誘導画像合成(RIS)を提案する。 RISは、合成画像のセマンティクスを強化し、画像の多様性を改善するための、シンプルだが効果的な方法である。我々は、データフリーな量子化の様々な設定に対して最先端の性能を実現し、他のデータフリーな圧縮タスクにも拡張できる。
論文参考訳（メタデータ） (2023-10-05T16:39:14Z)
Beyond Learned Metadata-based Raw Image Reconstruction [86.1667769209103]
生画像は、線形性や微細な量子化レベルなど、sRGB画像に対して明確な利点がある。ストレージの要求が大きいため、一般ユーザからは広く採用されていない。本稿では,メタデータとして,潜在空間におけるコンパクトな表現を学習する新しいフレームワークを提案する。
論文参考訳（メタデータ） (2023-06-21T06:59:07Z)
Semantic-Guided Generative Image Augmentation Method with Diffusion Models for Image Classification [48.640470032205265]
画像分類のための拡散モデルを用いた意味誘導型生成画像拡張法であるSGIDを提案する。具体的には、SGIDは拡散モデルを用いて、画像の多様性に優れた拡張画像を生成する。さらに、画像ラベルとキャプションを、拡張画像とオリジナル画像のセマンティック一貫性を維持するためのガイダンスとして用いている。
論文参考訳（メタデータ） (2023-02-04T02:47:41Z)
Towards Better Text-Image Consistency in Text-to-Image Generation [15.735515302139335]
私たちはSemantic similarity Distance(SSD)と呼ばれる新しいCLIPベースのメトリクスを開発した。さらに,異なる粒度で意味情報を融合できる並列深層核生成適応ネットワーク (PDF-GAN) を設計する。我々のPDF-GANは、CUBおよびCOCOデータセットの良好な画像品質を維持しながら、テキスト画像の一貫性を著しく向上させることができる。
論文参考訳（メタデータ） (2022-10-27T07:47:47Z)
Semantic Image Synthesis via Diffusion Models [159.4285444680301]
Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
論文参考訳（メタデータ） (2022-06-30T18:31:51Z)
Variable-Rate Deep Image Compression through Spatially-Adaptive Feature Transform [58.60004238261117]
空間特徴変換(SFT arXiv:1804.02815)に基づく多目的深部画像圧縮ネットワークを提案する。本モデルは,任意の画素単位の品質マップによって制御される単一モデルを用いて,幅広い圧縮速度をカバーしている。提案するフレームワークにより,様々なタスクに対してタスク対応の画像圧縮を行うことができる。
論文参考訳（メタデータ） (2021-08-21T17:30:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。