論文の概要: Sparse Model Inversion: Efficient Inversion of Vision Transformers for Data-Free Applications

• arxiv url: http://arxiv.org/abs/2510.27186v1
• Date: Fri, 31 Oct 2025 05:14:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 17:52:15.989884
• Title: Sparse Model Inversion: Efficient Inversion of Vision Transformers for Data-Free Applications
• Title（参考訳）: スパースモデルインバージョン:データフリーアプリケーションのための視覚変換器の効率的なインバージョン
• Authors: Zixuan Hu, Yongxian Wei, Li Shen, Zhenyi Wang, Lei Li, Chun Yuan, Dacheng Tao,
• Abstract要約: 既存の高密度インバージョン手法を高速化する新しいスパースモデルインバージョン戦略を提案する。 具体的には,雑音背景の逆転や潜在的な刺激的相関を抑えつつ,意味的前景を反転させる。
• 参考スコア（独自算出の注目度）: 99.72917069918485
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model inversion, which aims to reconstruct the original training data from pre-trained discriminative models, is especially useful when the original training data is unavailable due to privacy, usage rights, or size constraints. However, existing dense inversion methods attempt to reconstruct the entire image area, making them extremely inefficient when inverting high-resolution images from large-scale Vision Transformers (ViTs). We further identify two underlying causes of this inefficiency: the redundant inversion of noisy backgrounds and the unintended inversion of spurious correlations--a phenomenon we term "hallucination" in model inversion. To address these limitations, we propose a novel sparse model inversion strategy, as a plug-and-play extension to speed up existing dense inversion methods with no need for modifying their original loss functions. Specifically, we selectively invert semantic foregrounds while stopping the inversion of noisy backgrounds and potential spurious correlations. Through both theoretical and empirical studies, we validate the efficacy of our approach in achieving significant inversion acceleration (up to 3.79 faster) while maintaining comparable or even enhanced downstream performance in data-free model quantization and data-free knowledge transfer. Code is available at https://github.com/Egg-Hu/SMI.
• Abstract（参考訳）: 事前訓練された識別モデルから元のトレーニングデータを再構築することを目的としたモデルインバージョンは、プライバシ、使用権、サイズ制約により、元のトレーニングデータが利用できない場合に特に有用である。 しかし、既存の高密度インバージョン法は画像領域全体を再構成しようとするため、大規模な視覚変換器(ViT)からの高解像度画像の逆変換では極めて非効率である。 この非効率性の根底にある2つの原因は、ノイズ背景の冗長な逆転と、スプリアス相関の意図しない逆転であり、モデル逆転における「ハロシン化」と呼ばれる現象である。 これらの制約に対処するために,既存の高密度インバージョン法を高速化するプラグイン・アンド・プレイ拡張として,元の損失関数を変更することなく,新しいスパースモデルインバージョン戦略を提案する。 具体的には,雑音背景の逆転や潜在的な刺激的相関を抑えつつ,意味的前景を選択的に反転させる。 理論的および実証的研究を通じて,データフリーモデル量子化およびデータフリー知識伝達において,データフリーモデル量子化とダウンストリーム性能の両立を図りながら,大きなインバージョン加速(最大3.79倍)を達成するためのアプローチの有効性を検証した。 コードはhttps://github.com/Egg-Hu/SMIで入手できる。

関連論文リスト

• Patch Rebirth: Toward Fast and Transferable Model Inversion of Vision Transformers [6.7034293304862755]
  パッチ再生インバージョン(Patch Re birth Inversion, PRI)は、インバージョンプロセスにおいて最も重要なパッチを段階的に切り離す新しいアプローチである。 PRIは標準のDense Model Inversionよりも最大10倍高速なインバージョンを実現している。
  論文  参考訳（メタデータ） (2025-09-27T10:35:44Z)
• Semantic Image Inversion and Editing using Rectified Stochastic Differential Equations [41.87051958934507]
  本稿では, (i) 逆転と (ii) 修正フローモデル(Flux など)を用いた実画像の編集という2つの重要な課題に対処する。 本手法は,ゼロショット・インバージョン・編集における最先端性能を実現し,ストローク・ツー・イメージ合成やセマンティック・イメージ編集における先行技術よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-14T17:56:24Z)
• WiNet: Wavelet-based Incremental Learning for Efficient Medical Image Registration [68.25711405944239]
  深部画像登録は異常な精度と高速な推測を示した。 近年の進歩は、粗大から粗大の方法で密度変形場を推定するために、複数のカスケードまたはピラミッドアーキテクチャを採用している。 本稿では,様々なスケールにわたる変位/速度場に対して,スケールワイブレット係数を漸進的に推定するモデル駆動WiNetを提案する。
  論文  参考訳（メタデータ） (2024-07-18T11:51:01Z)
• Look-Around Before You Leap: High-Frequency Injected Transformer for Image Restoration [46.96362010335177]
  本稿では,画像復元のための簡易かつ効果的な高周波インジェクト変換器HITを提案する。 具体的には,機能マップに高頻度の詳細を組み込んだウィンドウワイドインジェクションモジュール(WIM)を設計し,高品質な画像の復元のための信頼性の高い参照を提供する。 さらに,BIMにおけるチャネル次元の計算によって失われる可能性のある空間的関係を維持するために,空間拡張ユニット(SEU)を導入する。
  論文  参考訳（メタデータ） (2024-03-30T08:05:00Z)
• Curvature regularization for Non-line-of-sight Imaging from Under-sampled Data [5.591221518341613]
  非視線イメージング(NLOS)は、視線で測定されたデータから3次元の隠れたシーンを再構築することを目的としている。 曲率正規化に基づく新しいNLOS再構成モデルを提案する。 提案したアルゴリズムを,合成データセットと実データセットの両方で評価する。
  論文  参考訳（メタデータ） (2023-01-01T14:10:43Z)
• Dimensionality-Varying Diffusion Process [52.52681373641533]
  拡散モデルは、信号破壊プロセスを逆転して新しいデータを生成することを学習する。 信号分解による前方拡散過程の理論的一般化を行う。 FFHQで訓練された拡散モデルのFIDを,52.40から10.46までの1024Times1024$解像度で改善する。
  論文  参考訳（メタデータ） (2022-11-29T09:05:55Z)
• Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
  我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。 我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。 製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2022-06-23T14:16:30Z)
• Learning Discriminative Shrinkage Deep Networks for Image Deconvolution [122.79108159874426]
  本稿では,これらの用語を暗黙的にモデル化する識別的縮小関数を学習することで,効果的に非盲検デコンボリューション手法を提案する。 実験結果から,提案手法は最先端の手法に対して,効率と精度の点で好適に動作することがわかった。
  論文  参考訳（メタデータ） (2021-11-27T12:12:57Z)
• Designing Counterfactual Generators using Deep Model Inversion [31.1607056675927]
  本研究では,あるクエリー画像に対する反実的説明を生成するための深い逆変換手法を開発する。 視覚的に意味のある説明を生成することに加えて、disCの反事実は意思決定境界の学習に有効であり、未知のテストタイムの汚職に対して堅牢であることがわかった。
  論文  参考訳（メタデータ） (2021-09-29T08:40:50Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。