論文の概要: DKDM: Data-Free Knowledge Distillation for Diffusion Models with Any Architecture

• arxiv url: http://arxiv.org/abs/2409.03550v2
• Date: Fri, 28 Feb 2025 15:26:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 16:38:44.958546
• Title: DKDM: Data-Free Knowledge Distillation for Diffusion Models with Any Architecture
• Title（参考訳）: DKDM:任意のアーキテクチャを持つ拡散モデルのためのデータフリーな知識蒸留
• Authors: Qianlong Xiang, Miao Zhang, Yuzhang Shang, Jianlong Wu, Yan Yan, Liqiang Nie,
• Abstract要約: 拡散モデル(DM)は、様々な領域にまたがる例外的な生成能力を示す。 DMはますます大量のデータを消費している。 既存のDMをデータソースとして使用して,新しいDMをアーキテクチャでトレーニングする,という新しいシナリオを提案する。
• 参考スコア（独自算出の注目度）: 69.58440626023541
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models (DMs) have demonstrated exceptional generative capabilities across various domains, including image, video, and so on. A key factor contributing to their effectiveness is the high quantity and quality of data used during training. However, mainstream DMs now consume increasingly large amounts of data. For example, training a Stable Diffusion model requires billions of image-text pairs. This enormous data requirement poses significant challenges for training large DMs due to high data acquisition costs and storage expenses. To alleviate this data burden, we propose a novel scenario: using existing DMs as data sources to train new DMs with any architecture. We refer to this scenario as Data-Free Knowledge Distillation for Diffusion Models (DKDM), where the generative ability of DMs is transferred to new ones in a data-free manner. To tackle this challenge, we make two main contributions. First, we introduce a DKDM objective that enables the training of new DMs via distillation, without requiring access to the data. Second, we develop a dynamic iterative distillation method that efficiently extracts time-domain knowledge from existing DMs, enabling direct retrieval of training data without the need for a prolonged generative process. To the best of our knowledge, we are the first to explore this scenario. Experimental results demonstrate that our data-free approach not only achieves competitive generative performance but also, in some instances, outperforms models trained with the entire dataset.
• Abstract（参考訳）: 拡散モデル(DM)は、画像、ビデオなど、様々な領域にまたがる例外的な生成能力を実証している。 それらの効果に寄与する重要な要因は、トレーニング中に使用されるデータの量と品質である。 しかし、主流のDMはますます大量のデータを消費している。 例えば、安定拡散モデルのトレーニングには、数十億のイメージテキストペアが必要です。 この膨大なデータ要求は、高いデータ取得コストとストレージコストのために、大規模なDMのトレーニングに重大な課題をもたらす。 このデータ負担を軽減するために,既存のDMをデータソースとして使用して,新しいDMをアーキテクチャでトレーニングする,新たなシナリオを提案する。 我々はこのシナリオをDKDM(Data-Free Knowledge Distillation for Diffusion Models)と呼び、DMの生成能力をデータフリーで新しいものに転送する。 この課題に取り組むために、主な貢献は2つあります。 まず、データへのアクセスを必要とせず、蒸留による新しいDMの訓練を可能にするDKDMの目標を提案する。 第2に,既存のDMから時間領域の知識を効率的に抽出する動的反復蒸留法を開発した。 私たちの知る限りでは、私たちはこのシナリオを最初に探求しています。 実験の結果、我々のデータフリーアプローチは競争力のある生成性能を達成するだけでなく、場合によってはデータセット全体をトレーニングしたモデルよりも優れています。

関連論文リスト

• Sparse-to-Sparse Training of Diffusion Models [13.443846454835867]
  本稿では,DMに対するスパース・ツー・スパーストレーニングのパラダイムを初めて紹介する。 我々は、無条件生成と6つのデータセットでスクラッチからスパースDMを訓練することに重点を置いている。 実験の結果,スパースDMはトレーニング可能なパラメータやFLOPの数を著しく減らしながら,相性が良く,性能も優れていることがわかった。
  論文  参考訳（メタデータ） (2025-04-30T07:28:11Z)
• Pruning then Reweighting: Towards Data-Efficient Training of Diffusion Models [33.09663675904689]
  データセットプルーニングの観点から,効率的な拡散訓練について検討する。 GAN(Generative Adversarial Network)のような生成モデルに対するデータ効率トレーニングの原則に着想を得て、まず、GANで使用されるデータ選択スキームをDMトレーニングに拡張する。 生成性能をさらに向上するため,クラスワイド・リウェイト方式を採用する。
  論文  参考訳（メタデータ） (2024-09-27T20:21:19Z)
• Slight Corruption in Pre-training Data Makes Better Diffusion Models [71.90034201302397]
  拡散モデル(DM)は、高品質な画像、オーディオ、ビデオを生成する際、顕著な能力を示している。 DMは大規模なデータセットでの広範な事前トレーニングの恩恵を受ける。 しかしながら、事前トレーニングデータセットは、しばしば、データを正確に記述しないような、破損したペアを含んでいる。 本稿では,DMの事前学習データにそのような汚職が及ぼす影響について,初めて包括的研究を行った。
  論文  参考訳（メタデータ） (2024-05-30T21:35:48Z)
• BinaryDM: Accurate Weight Binarization for Efficient Diffusion Models [39.287947829085155]
  本稿では,バイナライズされたDMを正確かつ効率的に推し進めるため,DMの新しい重み付きバイナライズ手法,すなわちBinaryDMを提案する。 表現の観点からは、EDB(Evolvable-Basis Binarizer)を提示し、完全精度から正確に二項化できるDMのスムーズな進化を可能にする。 実験により、BinaryDMは、超低ビット幅でのDMのSOTA量子化法と比較して、高い精度と効率向上を達成することが示された。
  論文  参考訳（メタデータ） (2024-04-08T16:46:25Z)
• Towards Faster Training of Diffusion Models: An Inspiration of A Consistency Phenomenon [16.416356358224842]
  近年,拡散モデル (DM) が注目されている。 DMの訓練を加速する2つの戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-14T13:27:04Z)
• Retrieval-Augmented Data Augmentation for Low-Resource Domain Tasks [66.87070857705994]
  低リソース環境では、データ拡張に使用するシードデータサンプルの量は極めて少ない。 本稿では、他のデータセットから豊富なサンプルを組み込むことで、トレーニングデータを増強する新しい手法を提案する。 このアプローチは、生成されたデータが関連性だけでなく、限られたシードデータだけで達成できるものよりも多様であることを保証する。
  論文  参考訳（メタデータ） (2024-02-21T02:45:46Z)
• Fast Diffusion Model [122.36693015093041]
  拡散モデル(DM)は、複雑なデータ分布を捉える能力を持つ様々な分野に採用されている。 本稿では,DM最適化の観点から,高速拡散モデル (FDM) を提案する。
  論文  参考訳（メタデータ） (2023-06-12T09:38:04Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Diffusion Model is an Effective Planner and Data Synthesizer for Multi-Task Reinforcement Learning [101.66860222415512]
  Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。 生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
  論文  参考訳（メタデータ） (2023-05-29T05:20:38Z)
• Diffusion-NAT: Self-Prompting Discrete Diffusion for Non-Autoregressive Text Generation [94.4634088113513]
  Diffusion-NATは、NARテキスト・テキスト生成に離散拡散モデルを導入し、BARTを統合して性能を改善する。 7つのデータセットに対する実験結果から,本手法は競合的NAR法より優れ,自己回帰法よりも優れることが示された。
  論文  参考訳（メタデータ） (2023-05-06T13:20:31Z)
• A Comprehensive Survey on Knowledge Distillation of Diffusion Models [0.0]
  拡散モデル(DM)はニューラルネットワークを用いてスコア関数を指定する。 本チュートリアルは, DMの蒸留法を応用したり, この分野の研究プロジェクトに乗り出したいと願う, 生成モデルの基本的知識を持つ個人を対象としている。
  論文  参考訳（メタデータ） (2023-04-09T15:49:28Z)
• Dataset Distillation: A Comprehensive Review [76.26276286545284]
  データセット蒸留(DD)は、トレーニングされたモデルが元のデータセットでトレーニングされたデータセットに匹敵するパフォーマンスを得るために、合成サンプルを含むはるかに小さなデータセットを導出することを目的としている。 本稿ではDDの最近の進歩とその応用について概説する。
  論文  参考訳（メタデータ） (2023-01-17T17:03:28Z)
• Post-training Quantization on Diffusion Models [14.167428759401703]
  拡散(スコアベース)生成モデルは近年、現実的で多様なデータを生成する上で大きな成果を上げている。 これらの手法は、データをノイズに変換する前方拡散プロセスと、ノイズからデータをサンプリングする後方デノナイジングプロセスを定義する。 残念なことに、長い反復的雑音推定のため、現在のデノナイジング拡散モデルの生成過程は明らかに遅い。
  論文  参考訳（メタデータ） (2022-11-28T19:33:39Z)
• Prompting to Distill: Boosting Data-Free Knowledge Distillation via Reinforced Prompt [52.6946016535059]
  データフリー知識蒸留(DFKD)は、元のトレーニングデータの依存をなくし、知識蒸留を行う。 本稿では,PmptDFD(PromptDFD)と呼ばれるプロンプトベースの手法を提案する。 本実験で示すように, 本手法は, 合成品質を大幅に向上し, 蒸留性能を著しく向上させる。
  論文  参考訳（メタデータ） (2022-05-16T08:56:53Z)
• DeGAN : Data-Enriching GAN for Retrieving Representative Samples from a Trained Classifier [58.979104709647295]
  我々は、トレーニングされたネットワークの将来の学習タスクのために、利用可能なデータの豊富さと関連するデータの欠如の間のギャップを埋める。 利用可能なデータは、元のトレーニングデータセットまたは関連するドメインデータセットの不均衡なサブセットである可能性があるため、代表サンプルを検索するために使用します。 関連ドメインからのデータを活用して最先端のパフォーマンスを実現することを実証する。
  論文  参考訳（メタデータ） (2019-12-27T02:05:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。