論文の概要: DKDM: Data-Free Knowledge Distillation for Diffusion Models with Any Architecture

• arxiv url: http://arxiv.org/abs/2409.03550v2
• Date: Fri, 28 Feb 2025 15:26:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:39:49.772352
• Title: DKDM: Data-Free Knowledge Distillation for Diffusion Models with Any Architecture
• Title（参考訳）: DKDM:任意のアーキテクチャを持つ拡散モデルのためのデータフリーな知識蒸留
• Authors: Qianlong Xiang, Miao Zhang, Yuzhang Shang, Jianlong Wu, Yan Yan, Liqiang Nie,
• Abstract要約: 拡散モデル(DM)は、様々な領域にまたがる例外的な生成能力を示す。 DMはますます大量のデータを消費している。 既存のDMをデータソースとして使用して,新しいDMをアーキテクチャでトレーニングする,という新しいシナリオを提案する。
• 参考スコア（独自算出の注目度）: 69.58440626023541
• License:
• Abstract: Diffusion models (DMs) have demonstrated exceptional generative capabilities across various domains, including image, video, and so on. A key factor contributing to their effectiveness is the high quantity and quality of data used during training. However, mainstream DMs now consume increasingly large amounts of data. For example, training a Stable Diffusion model requires billions of image-text pairs. This enormous data requirement poses significant challenges for training large DMs due to high data acquisition costs and storage expenses. To alleviate this data burden, we propose a novel scenario: using existing DMs as data sources to train new DMs with any architecture. We refer to this scenario as Data-Free Knowledge Distillation for Diffusion Models (DKDM), where the generative ability of DMs is transferred to new ones in a data-free manner. To tackle this challenge, we make two main contributions. First, we introduce a DKDM objective that enables the training of new DMs via distillation, without requiring access to the data. Second, we develop a dynamic iterative distillation method that efficiently extracts time-domain knowledge from existing DMs, enabling direct retrieval of training data without the need for a prolonged generative process. To the best of our knowledge, we are the first to explore this scenario. Experimental results demonstrate that our data-free approach not only achieves competitive generative performance but also, in some instances, outperforms models trained with the entire dataset.
• Abstract（参考訳）: 拡散モデル(DM)は、画像、ビデオなど、様々な領域にまたがる例外的な生成能力を実証している。 それらの効果に寄与する重要な要因は、トレーニング中に使用されるデータの量と品質である。 しかし、主流のDMはますます大量のデータを消費している。 例えば、安定拡散モデルのトレーニングには、数十億のイメージテキストペアが必要です。 この膨大なデータ要求は、高いデータ取得コストとストレージコストのために、大規模なDMのトレーニングに重大な課題をもたらす。 このデータ負担を軽減するために,既存のDMをデータソースとして使用して,新しいDMをアーキテクチャでトレーニングする,新たなシナリオを提案する。 我々はこのシナリオをDKDM(Data-Free Knowledge Distillation for Diffusion Models)と呼び、DMの生成能力をデータフリーで新しいものに転送する。 この課題に取り組むために、主な貢献は2つあります。 まず、データへのアクセスを必要とせず、蒸留による新しいDMの訓練を可能にするDKDMの目標を提案する。 第2に,既存のDMから時間領域の知識を効率的に抽出する動的反復蒸留法を開発した。 私たちの知る限りでは、私たちはこのシナリオを最初に探求しています。 実験の結果、我々のデータフリーアプローチは競争力のある生成性能を達成するだけでなく、場合によってはデータセット全体をトレーニングしたモデルよりも優れています。

関連論文リスト

• BiDM: Pushing the Limit of Quantization for Diffusion Models [60.018246440536814]
  本稿では,DMの重みとアクティベーションを完全にバイナライズし,量子化を1ビット限界まで押し上げる手法であるBiDMを提案する。 DMを完全にバイナライズする最初の取り組みとして、LSUN-Bedrooms 256$times$256のLDM-4モデルのW1A1 BiDMは22.74という驚くべきFIDを達成した。
  論文  参考訳（メタデータ） (2024-12-08T12:45:21Z)
• Slight Corruption in Pre-training Data Makes Better Diffusion Models [71.90034201302397]
  拡散モデル(DM)は、高品質な画像、オーディオ、ビデオを生成する際、顕著な能力を示している。 DMは大規模なデータセットでの広範な事前トレーニングの恩恵を受ける。 しかしながら、事前トレーニングデータセットは、しばしば、データを正確に記述しないような、破損したペアを含んでいる。 本稿では,DMの事前学習データにそのような汚職が及ぼす影響について,初めて包括的研究を行った。
  論文  参考訳（メタデータ） (2024-05-30T21:35:48Z)
• BinaryDM: Accurate Weight Binarization for Efficient Diffusion Models [39.287947829085155]
  本稿では,バイナライズされたDMを正確かつ効率的に推し進めるため,DMの新しい重み付きバイナライズ手法,すなわちBinaryDMを提案する。 表現の観点からは、EDB(Evolvable-Basis Binarizer)を提示し、完全精度から正確に二項化できるDMのスムーズな進化を可能にする。 実験により、BinaryDMは、超低ビット幅でのDMのSOTA量子化法と比較して、高い精度と効率向上を達成することが示された。
  論文  参考訳（メタデータ） (2024-04-08T16:46:25Z)
• Towards Faster Training of Diffusion Models: An Inspiration of A Consistency Phenomenon [16.416356358224842]
  近年,拡散モデル (DM) が注目されている。 DMの訓練を加速する2つの戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-14T13:27:04Z)
• Fast Diffusion Model [122.36693015093041]
  拡散モデル(DM)は、複雑なデータ分布を捉える能力を持つ様々な分野に採用されている。 本稿では,DM最適化の観点から,高速拡散モデル (FDM) を提案する。
  論文  参考訳（メタデータ） (2023-06-12T09:38:04Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Diffusion-NAT: Self-Prompting Discrete Diffusion for Non-Autoregressive Text Generation [94.4634088113513]
  Diffusion-NATは、NARテキスト・テキスト生成に離散拡散モデルを導入し、BARTを統合して性能を改善する。 7つのデータセットに対する実験結果から,本手法は競合的NAR法より優れ,自己回帰法よりも優れることが示された。
  論文  参考訳（メタデータ） (2023-05-06T13:20:31Z)
• Post-training Quantization on Diffusion Models [14.167428759401703]
  拡散(スコアベース)生成モデルは近年、現実的で多様なデータを生成する上で大きな成果を上げている。 これらの手法は、データをノイズに変換する前方拡散プロセスと、ノイズからデータをサンプリングする後方デノナイジングプロセスを定義する。 残念なことに、長い反復的雑音推定のため、現在のデノナイジング拡散モデルの生成過程は明らかに遅い。
  論文  参考訳（メタデータ） (2022-11-28T19:33:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。