論文の概要: MGD$^3$: Mode-Guided Dataset Distillation using Diffusion Models

• arxiv url: http://arxiv.org/abs/2505.18963v1
• Date: Sun, 25 May 2025 03:40:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.786357
• Title: MGD$^3$: Mode-Guided Dataset Distillation using Diffusion Models
• Title（参考訳）: MGD$^3$:拡散モデルを用いたモード誘導型データセット蒸留
• Authors: Jeffrey A. Chan-Santiago, Praveen Tirupattur, Gaurav Kumar Nayak, Gaowen Liu, Mubarak Shah,
• Abstract要約: 本稿では,事前学習した拡散モデルを利用したモード誘導拡散モデルを提案する。 提案手法は,異なるデータモードを識別するモード発見,クラス内多様性を高めるモード誘導,および合成試料中のアーティファクトを緩和するモード誘導という3段階のデータセットの多様性に対処する。 本手法は, 蒸留損失を伴う微調整拡散モデルの必要性を排除し, 計算コストを大幅に削減する。
• 参考スコア（独自算出の注目度）: 50.2406741245418
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dataset distillation has emerged as an effective strategy, significantly reducing training costs and facilitating more efficient model deployment. Recent advances have leveraged generative models to distill datasets by capturing the underlying data distribution. Unfortunately, existing methods require model fine-tuning with distillation losses to encourage diversity and representativeness. However, these methods do not guarantee sample diversity, limiting their performance. We propose a mode-guided diffusion model leveraging a pre-trained diffusion model without the need to fine-tune with distillation losses. Our approach addresses dataset diversity in three stages: Mode Discovery to identify distinct data modes, Mode Guidance to enhance intra-class diversity, and Stop Guidance to mitigate artifacts in synthetic samples that affect performance. Our approach outperforms state-of-the-art methods, achieving accuracy gains of 4.4%, 2.9%, 1.6%, and 1.6% on ImageNette, ImageIDC, ImageNet-100, and ImageNet-1K, respectively. Our method eliminates the need for fine-tuning diffusion models with distillation losses, significantly reducing computational costs. Our code is available on the project webpage: https://jachansantiago.github.io/mode-guided-distillation/
• Abstract（参考訳）: データセットの蒸留は、トレーニングコストを大幅に削減し、より効率的なモデル展開を容易にする効果的な戦略として現れています。 近年の進歩は、生成モデルを利用して、基礎となるデータ分布をキャプチャすることでデータセットを蒸留している。 残念ながら、既存の方法は多様性と代表性を促進するために蒸留損失を伴うモデル微調整が必要である。 しかし、これらの手法はサンプルの多様性を保証せず、性能を制限している。 本研究では, 蒸留損失を伴う微調整を必要とせず, 事前学習した拡散モデルを利用したモード誘導拡散モデルを提案する。 提案手法は,異なるデータモードを識別するモード発見,クラス内の多様性を高めるモード誘導,およびパフォーマンスに影響を与える人工的なサンプルのアーティファクトを緩和するモード誘導の3段階に対処する。 提案手法は,ImageNette, ImageIDC, ImageNet-100, ImageNet-1Kでそれぞれ4.4%, 2.9%, 1.6%, 1.6%の精度向上を実現している。 本手法は, 蒸留損失を伴う微調整拡散モデルの必要性を排除し, 計算コストを大幅に削減する。 私たちのコードはプロジェクトのWebページで利用可能です。

関連論文リスト

• Efficient Dataset Distillation via Diffusion-Driven Patch Selection for Improved Generalization [34.53986517177061]
  本稿では, 既存の拡散式蒸留法に対する新しい枠組みを提案し, 生成ではなく拡散モデルを用いて選択する。 提案手法は,入力画像とテキストプロンプトに基づいて拡散モデルから発生するノイズを予測し,各ペアの損失を算出する。 この合理化フレームワークは単一段階の蒸留プロセスを実現するとともに,我々の手法が様々なメトリクスにわたって最先端の手法より優れていることを示す広範な実験を行った。
  論文  参考訳（メタデータ） (2024-12-13T08:34:46Z)
• Relational Diffusion Distillation for Efficient Image Generation [27.127061578093674]
  拡散モデルの高い遅延は、コンピューティングリソースの少ないエッジデバイスにおいて、その広範な応用を妨げる。 本研究では,拡散モデルの蒸留に適した新しい蒸留法である拡散蒸留(RDD)を提案する。 提案したRDDは, 最先端の蒸留蒸留法と比較すると1.47FID減少し, 256倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-10-10T07:40:51Z)
• Unleashing the Power of One-Step Diffusion based Image Super-Resolution via a Large-Scale Diffusion Discriminator [81.81748032199813]
  拡散モデルは実世界の超解像(Real-ISR)に優れた性能を示した SRのための大規模textbfDiscriminator を用いた One-Step textbfDiffusion モデルを提案する。 我々の判別器は、潜伏空間における拡散モデルの任意の時間ステップからノイズのある特徴を抽出することができる。
  論文  参考訳（メタデータ） (2024-10-05T16:41:36Z)
• EM Distillation for One-step Diffusion Models [65.57766773137068]
  最小品質の損失を最小限に抑えた1ステップ生成モデルに拡散モデルを蒸留する最大可能性に基づく手法を提案する。 本研究では, 蒸留プロセスの安定化を図るため, 再パラメータ化サンプリング手法とノイズキャンセリング手法を開発した。
  論文  参考訳（メタデータ） (2024-05-27T05:55:22Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• On Distillation of Guided Diffusion Models [94.95228078141626]
  そこで本研究では,分類器を含まない誘導拡散モデルから抽出し易いモデルへ抽出する手法を提案する。 画素空間上で訓練された標準拡散モデルに対して,本手法は元のモデルに匹敵する画像を生成することができる。 遅延空間で訓練された拡散モデル(例えば、安定拡散)に対して、我々の手法は1から4段階のデノナイジングステップで高忠実度画像を生成することができる。
  論文  参考訳（メタデータ） (2022-10-06T18:03:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。