論文の概要: D$^4$M: Dataset Distillation via Disentangled Diffusion Model

• arxiv url: http://arxiv.org/abs/2407.15138v1
• Date: Sun, 21 Jul 2024 12:16:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 19:08:59.410910
• Title: D$^4$M: Dataset Distillation via Disentangled Diffusion Model
• Title（参考訳）: D$4$M:遠方拡散モデルによるデータセット蒸留
• Authors: Duo Su, Junjie Hou, Weizhi Gao, Yingjie Tian, Bowen Tang,
• Abstract要約: 遠方拡散モデル(D$4$M)によるデータセット蒸留のための効率的なフレームワークを提案する。 アーキテクチャに依存した手法と比較して、D$4$Mは一貫性を保証するために遅延拡散モデルを採用し、ラベル情報をカテゴリのプロトタイプに組み込む。 D$4$Mは優れた性能とロバストな一般化を示し、多くの面においてSOTAメソッドを上回っている。
• 参考スコア（独自算出の注目度）: 4.568710926635445
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dataset distillation offers a lightweight synthetic dataset for fast network training with promising test accuracy. To imitate the performance of the original dataset, most approaches employ bi-level optimization and the distillation space relies on the matching architecture. Nevertheless, these approaches either suffer significant computational costs on large-scale datasets or experience performance decline on cross-architectures. We advocate for designing an economical dataset distillation framework that is independent of the matching architectures. With empirical observations, we argue that constraining the consistency of the real and synthetic image spaces will enhance the cross-architecture generalization. Motivated by this, we introduce Dataset Distillation via Disentangled Diffusion Model (D$^4$M), an efficient framework for dataset distillation. Compared to architecture-dependent methods, D$^4$M employs latent diffusion model to guarantee consistency and incorporates label information into category prototypes. The distilled datasets are versatile, eliminating the need for repeated generation of distinct datasets for various architectures. Through comprehensive experiments, D$^4$M demonstrates superior performance and robust generalization, surpassing the SOTA methods across most aspects.
• Abstract（参考訳）: データセットの蒸留は、高速ネットワークトレーニングのための軽量な合成データセットと、有望なテスト精度を提供する。 元のデータセットの性能を模倣するため、ほとんどの手法は二段階最適化を採用しており、蒸留空間は一致するアーキテクチャに依存している。 それにもかかわらず、これらのアプローチは大規模データセットに多大な計算コストを被るか、クロスアーキテクチャのパフォーマンス低下を経験するかのいずれかである。 我々は、マッチングアーキテクチャに依存しない経済的なデータセット蒸留フレームワークの設計を提唱する。 経験的観察により、実画像空間と合成画像空間の整合性の制約は、クロスアーキテクチャの一般化を促進すると論じる。 そこで本研究では, データセット蒸留の効率的なフレームワークである拡散拡散モデル(D$^4$M)によるデータセット蒸留を導入する。 アーキテクチャに依存した手法と比較して、D$^4$Mは一貫性を保証するために遅延拡散モデルを採用し、ラベル情報をカテゴリのプロトタイプに組み込む。 蒸留されたデータセットは汎用性があり、様々なアーキテクチャのために異なるデータセットを繰り返し生成する必要がなくなる。 総合的な実験を通じて、D$4$Mは優れた性能とロバストな一般化を示し、多くの面においてSOTA法を超越している。

関連論文リスト

• Data-to-Model Distillation: Data-Efficient Learning Framework [14.44010988811002]
  本稿では,データ・ツー・モデル蒸留(Data-to-Model Distillation, D2M)と呼ばれる新しいフレームワークを提案する。 提案手法は,高解像度の128x128 ImageNet-1Kまで効果的にスケールアップする。
  論文  参考訳（メタデータ） (2024-11-19T20:10:28Z)
• MDM: Advancing Multi-Domain Distribution Matching for Automatic Modulation Recognition Dataset Synthesis [35.07663680944459]
  ディープラーニング技術は、AMR(Automatic Modulation Recognition)タスクにうまく導入されている。 ディープラーニングの成功はすべて、大規模なデータセットのトレーニングによるものだ。 大量のデータの問題を解決するため、一部の研究者はデータ蒸留法を提唱した。
  論文  参考訳（メタデータ） (2024-08-05T14:16:54Z)
• Hierarchical Features Matter: A Deep Exploration of GAN Priors for Improved Dataset Distillation [51.44054828384487]
  階層的生成潜在蒸留(H-GLaD)と呼ばれる新しいパラメータ化法を提案する。 本手法はGAN内の階層層を系統的に探索する。 さらに,合成データセット評価に伴う計算負担を軽減するために,新しいクラス関連特徴距離尺度を導入する。
  論文  参考訳（メタデータ） (2024-06-09T09:15:54Z)
• ATOM: Attention Mixer for Efficient Dataset Distillation [17.370852204228253]
  本研究では,チャネルと空間的注意の混合を用いて,大規模データセットを効率よく抽出するモジュールを提案する。 どちらのタイプの注目も統合することで、ATOMモジュールは様々なコンピュータビジョンデータセットにまたがる優れた性能を示す。
  論文  参考訳（メタデータ） (2024-05-02T15:15:01Z)
• Distribution-Aware Data Expansion with Diffusion Models [55.979857976023695]
  本研究では,分散型拡散モデルに基づくトレーニングフリーなデータ拡張フレームワークであるDistDiffを提案する。 DistDiffは、オリジナルデータのみにトレーニングされたモデルと比較して、さまざまなデータセットの精度を一貫して向上させる。
  論文  参考訳（メタデータ） (2024-03-11T14:07:53Z)
• Importance-Aware Adaptive Dataset Distillation [53.79746115426363]
  ディープラーニングモデルの開発は、大規模データセットの可用性によって実現されている。 データセットの蒸留は、大きな元のデータセットから必須情報を保持するコンパクトなデータセットを合成することを目的としている。 本稿では, 蒸留性能を向上する重要適応型データセット蒸留(IADD)法を提案する。
  論文  参考訳（メタデータ） (2024-01-29T03:29:39Z)
• Boosting the Cross-Architecture Generalization of Dataset Distillation through an Empirical Study [52.83643622795387]
  データセット蒸留のクロスアーキテクチャ一般化は、その実用的重要性を弱める。 EvaLuation with distillation Feature (ELF)を提案する。 大規模な実験を行うことで、ALFが現在のDD法のクロスアーキテクチャ一般化を十分に強化できることを示す。
  論文  参考訳（メタデータ） (2023-12-09T15:41:42Z)
• Unlocking the Potential of Federated Learning: The Symphony of Dataset Distillation via Deep Generative Latents [43.282328554697564]
  本稿ではサーバ側のFLデータセット蒸留フレームワークを提案する。 従来の手法とは異なり,サーバは事前学習した深層生成モデルから事前知識を活用できる。 我々のフレームワークは、サーバが複数の異種データ分散を訓練するのではなく、マルチモーダル分布を訓練するため、ベースラインよりも早く収束する。
  論文  参考訳（メタデータ） (2023-12-03T23:30:48Z)
• Minimizing the Accumulated Trajectory Error to Improve Dataset Distillation [151.70234052015948]
  本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。 合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。 本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
  論文  参考訳（メタデータ） (2022-11-20T15:49:11Z)
• CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
  本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。 このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。 提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
  論文  参考訳（メタデータ） (2022-03-03T05:58:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。