論文の概要: DIVER:Diving Deeper into Distilled Data via Expressive Semantic Recovery

• arxiv url: http://arxiv.org/abs/2605.12649v1
• Date: Tue, 12 May 2026 18:55:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:27.622074
• Title: DIVER:Diving Deeper into Distilled Data via Expressive Semantic Recovery
• Title（参考訳）: DIVER:表現的セマンティックリカバリによる蒸留データへの深層化
• Authors: Qianxin Xia, Zhiyong Shu, Wenbo Jiang, Jiawei Du, Jielei Wang, Guoming Lu,
• Abstract要約: 我々は$textbfDIVER$という新しい二段蒸留フレームワークを提案する。 セマンティック継承は抽象的蒸留画像の高レベルな意味論を潜在空間に蒸留する。 セマンティックガイダンスは、元のセマンティクスの保存を改善する。 意味融合は、逆過程の具体的な段階でのみ意味的なガイダンスを提供するように設計されている。
• 参考スコア（独自算出の注目度）: 13.429822059631704
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dataset distillation aims to synthesize a compact proxy dataset that is unreadable or non-raw from the original dataset for privacy protection and highly efficient learning. However, previous approaches typically adopt a single-stage distillation paradigm, which suffers from learning specific patterns that overfit on a prior architecture, consequently suppressing the expression of semantics and leading to performance degradation across heterogeneous architectures. To address this issue, we propose a novel dual-stage distillation framework called ${\textbf{DIVER}}$, which leverages the pre-trained diffusion model to dive deeper into $\textbf{DI}$stilled data $\textbf{V}$ia $\textbf{E}$xpressive semantic $\textbf{R}$ecovery, an entire process of semantic inheritance, guidance, and fusion. Semantic inheritance distills high-level semantics of abstract distilled images into the latent space to filter out architecture-specific ``noise" and retain the intrinsic semantics. Furthermore, semantic guidance improves the preservation of the original semantics by directing the reverse procedure. Finally, semantic fusion is designed to provide semantic guidance only during the concrete phase of the reverse process, preventing semantic ambiguity and artifacts while maintaining the guidance information. Extensive experiments validate the effectiveness and efficiency of DIVER in improving classical distillation techniques and significantly improving cross-architecture generalization, requiring processing time comparable to raw DiT on ImageNet (256$\times$256) with only 4 GB of GPU memory usage. Code is available: https://github.com/einsteinxia/DIVER.
• Abstract（参考訳）: データセットの蒸留は、プライバシ保護と高度に効率的な学習のために、オリジナルのデータセットから読めない、あるいは引き起こさない、コンパクトなプロキシデータセットを合成することを目的としている。 しかし、従来のアプローチでは、従来のアーキテクチャに過度に適合する特定のパターンの学習に苦しむ単一段階蒸留パラダイムを採用しており、結果として意味論の表現が抑制され、不均一なアーキテクチャをまたいだ性能劣化につながっている。 この問題を解決するために、事前学習した拡散モデルを利用して、$\textbf{DI}$stilled data $\textbf{V}$ia $\textbf{E}$xpressive semantic $\textbf{R}$ecoveryという新しい2段階蒸留フレームワークを提案する。 セマンティック継承は、抽象的蒸留された画像の高レベルな意味を潜在空間に蒸留し、アーキテクチャ固有の『ノイズ』をフィルタリングし、本質的な意味を保持させる。 さらに、意味指導は、逆手順を指示することで、元の意味の保存を改善する。 最後に、意味的融合は、逆過程の具体的な段階でのみ意味的ガイダンスを提供し、ガイダンス情報を維持しながら意味的あいまいさやアーティファクトを防止するように設計されている。 大規模な実験により、従来の蒸留技術の改善とクロスアーキテクチャの一般化におけるDIVERの有効性と効率を検証し、4GBのGPUメモリしか使用しないImageNetの生のDiT(256$\times$256)に匹敵する処理時間を必要とする。 コードは、https://github.com/einsteinxia/DIVER.comで入手できる。

関連論文リスト

• Where Do Flow Semantics Reside? A Protocol-Native Tabular Pretraining Paradigm for Encrypted Traffic Classification [5.044786941116112]
  自己監督型マスクドモデリングは、生のバイトをマスキングして再構築することで、暗号化されたトラフィック分類を約束する。 最近の研究によると、これらの手法はコストのかかる事前訓練にもかかわらずラベル付きデータへの依存を減らすことができない。 トラフィックをシーケンスバイトにフラットにすることで、プロトコル定義のセマンティクスを破壊します。
  論文  参考訳（メタデータ） (2026-03-09T15:15:23Z)
• RecTok: Reconstruction Distillation along Rectified Flow [85.51292475005151]
  本稿では2つの重要な革新を通じて高次元視覚トークン化の限界を克服するRecTokを提案する。 提案手法は,VFMにおける意味情報を,フローマッチングにおける前方流路に抽出する。 我々のRecTokは画像再構成、生成品質、識別性能に優れています。
  論文  参考訳（メタデータ） (2025-12-15T15:14:20Z)
• Semantics Lead the Way: Harmonizing Semantic and Texture Modeling with Asynchronous Latent Diffusion [59.30874672131483]
  潜在拡散モデル (LDMs) は本質的に粗大から細い生成過程に従う。 近年の進歩は、LDMをさらに強化するために、事前訓練された視覚エンコーダのセマンティック先行を統合化している。 本稿では,セマンティックファースト拡散(Semantic-First Diffusion,SFD)を提案する。
  論文  参考訳（メタデータ） (2025-12-04T15:57:27Z)
• EDITS: Enhancing Dataset Distillation with Implicit Textual Semantics [12.818622596576775]
  EDITSは、画像データ内の暗黙のテキストセマンティクスを利用して、拡張蒸留を実現する新しいフレームワークである。 本稿では, 画像データ中の暗黙のテキスト意味を活かし, 拡張蒸留を実現する新しいフレームワークであるEDITSを提案する。
  論文  参考訳（メタデータ） (2025-09-17T09:48:39Z)
• Towards Generalized and Training-Free Text-Guided Semantic Manipulation [123.80467566483038]
  テキスト誘導意味操作は、ソースプロンプトから生成された画像をセマンティックに編集し、ターゲットプロンプトにマッチさせる。 本稿では,テキスト案内型セマンティック操作のための新しい$textitGTF$を提案する。 本実験は,本手法の有効性を実証し,セマンティックス操作の最先端化の可能性を強調した。
  論文  参考訳（メタデータ） (2025-04-24T05:54:56Z)
• D$^4$M: Dataset Distillation via Disentangled Diffusion Model [4.568710926635445]
  遠方拡散モデル(D$4$M)によるデータセット蒸留のための効率的なフレームワークを提案する。 アーキテクチャに依存した手法と比較して、D$4$Mは一貫性を保証するために遅延拡散モデルを採用し、ラベル情報をカテゴリのプロトタイプに組み込む。 D$4$Mは優れた性能とロバストな一般化を示し、多くの面においてSOTAメソッドを上回っている。
  論文  参考訳（メタデータ） (2024-07-21T12:16:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。