論文の概要: DKDM: Data-Free Knowledge Distillation for Diffusion Models with Any Architecture

• arxiv url: http://arxiv.org/abs/2409.03550v1
• Date: Thu, 5 Sep 2024 14:12:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 20:28:22.274030
• Title: DKDM: Data-Free Knowledge Distillation for Diffusion Models with Any Architecture
• Title（参考訳）: DKDM:任意のアーキテクチャを持つ拡散モデルのためのデータフリーな知識蒸留
• Authors: Qianlong Xiang, Miao Zhang, Yuzhang Shang, Jianlong Wu, Yan Yan, Liqiang Nie,
• Abstract要約: 拡散モデル (DM) は様々な領域で異常な生成能力を示す。 DMを加速する最も一般的な方法は、生成中のデノナイジングステップの数を減少させることである。 本稿では,大規模な事前学習型DMを高速なアーキテクチャに転送する新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 69.58440626023541
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models (DMs) have demonstrated exceptional generative capabilities across various areas, while they are hindered by slow inference speeds and high computational demands during deployment. The most common way to accelerate DMs involves reducing the number of denoising steps during generation, achieved through faster sampling solvers or knowledge distillation (KD). In contrast to prior approaches, we propose a novel method that transfers the capability of large pretrained DMs to faster architectures. Specifically, we employ KD in a distinct manner to compress DMs by distilling their generative ability into more rapid variants. Furthermore, considering that the source data is either unaccessible or too enormous to store for current generative models, we introduce a new paradigm for their distillation without source data, termed Data-Free Knowledge Distillation for Diffusion Models (DKDM). Generally, our established DKDM framework comprises two main components: 1) a DKDM objective that uses synthetic denoising data produced by pretrained DMs to optimize faster DMs without source data, and 2) a dynamic iterative distillation method that flexibly organizes the synthesis of denoising data, preventing it from slowing down the optimization process as the generation is slow. To our knowledge, this is the first attempt at using KD to distill DMs into any architecture in a data-free manner. Importantly, our DKDM is orthogonal to most existing acceleration methods, such as denoising step reduction, quantization and pruning. Experiments show that our DKDM is capable of deriving 2x faster DMs with performance remaining on par with the baseline. Notably, our DKDM enables pretrained DMs to function as "datasets" for training new DMs.
• Abstract（参考訳）: 拡散モデル(DM)は、様々な領域で例外的な生成能力を示してきたが、その一方で、速度の遅い推論速度と高い計算要求によって妨げられている。 DMを加速する最も一般的な方法は、より高速なサンプリングソルバや知識蒸留(KD)によって達成される、生成中のデノナイジングステップの数を減少させることである。 従来の手法とは対照的に,大規模な事前学習型DMを高速なアーキテクチャに転送する新しい手法を提案する。 具体的には、KDを用いてDMを圧縮し、その生成能力をより高速な変種に蒸留する。 さらに、ソースデータが現在の生成モデルに格納するにはアクセスできないか、あるいは大きすぎるかを考えると、ソースデータを持たない蒸留のための新しいパラダイムを導入し、DKDM(Data-Free Knowledge Distillation for Diffusion Models)と呼ぶ。 一般的に、確立されたDKDMフレームワークは2つの主要コンポーネントから構成される。 1)事前訓練されたDMが生成する合成復調データを用いて、ソースデータなしで高速なDMを最適化するDKDM目標。 2)デノナイズデータの合成を柔軟に整理し、生成が遅くなるにつれて最適化プロセスが遅くなるのを防止する動的反復蒸留法。 我々の知る限り、これはKDを使って任意のアーキテクチャにデータフリーでDMを蒸留する最初の試みである。 重要なことは、我々のDKDMは、ステップの減少、量子化、プルーニングなどの既存の加速度法と直交している。 実験の結果,DKDMは2倍高速なDMの導出が可能であり,性能はベースラインと同等であることがわかった。 我々のDKDMは、事前訓練されたDMを新しいDMを訓練するための「データセット」として機能させることができる。

関連論文リスト

• Slight Corruption in Pre-training Data Makes Better Diffusion Models [71.90034201302397]
  拡散モデル(DM)は、高品質な画像、オーディオ、ビデオを生成する際、顕著な能力を示している。 DMは大規模なデータセットでの広範な事前トレーニングの恩恵を受ける。 しかしながら、事前トレーニングデータセットは、しばしば、データを正確に記述しないような、破損したペアを含んでいる。 本稿では,DMの事前学習データにそのような汚職が及ぼす影響について,初めて包括的研究を行った。
  論文  参考訳（メタデータ） (2024-05-30T21:35:48Z)
• BinaryDM: Accurate Weight Binarization for Efficient Diffusion Models [39.287947829085155]
  本稿では,バイナライズされたDMを正確かつ効率的に推し進めるため,DMの新しい重み付きバイナライズ手法,すなわちBinaryDMを提案する。 表現の観点からは、EDB(Evolvable-Basis Binarizer)を提示し、完全精度から正確に二項化できるDMのスムーズな進化を可能にする。 実験により、BinaryDMは、超低ビット幅でのDMのSOTA量子化法と比較して、高い精度と効率向上を達成することが示された。
  論文  参考訳（メタデータ） (2024-04-08T16:46:25Z)
• Towards Faster Training of Diffusion Models: An Inspiration of A Consistency Phenomenon [16.416356358224842]
  近年,拡散モデル (DM) が注目されている。 DMの訓練を加速する2つの戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-14T13:27:04Z)
• Fast Diffusion Model [122.36693015093041]
  拡散モデル(DM)は、複雑なデータ分布を捉える能力を持つ様々な分野に採用されている。 本稿では,DM最適化の観点から,高速拡散モデル (FDM) を提案する。
  論文  参考訳（メタデータ） (2023-06-12T09:38:04Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Diffusion-NAT: Self-Prompting Discrete Diffusion for Non-Autoregressive Text Generation [94.4634088113513]
  Diffusion-NATは、NARテキスト・テキスト生成に離散拡散モデルを導入し、BARTを統合して性能を改善する。 7つのデータセットに対する実験結果から,本手法は競合的NAR法より優れ,自己回帰法よりも優れることが示された。
  論文  参考訳（メタデータ） (2023-05-06T13:20:31Z)
• Post-training Quantization on Diffusion Models [14.167428759401703]
  拡散(スコアベース)生成モデルは近年、現実的で多様なデータを生成する上で大きな成果を上げている。 これらの手法は、データをノイズに変換する前方拡散プロセスと、ノイズからデータをサンプリングする後方デノナイジングプロセスを定義する。 残念なことに、長い反復的雑音推定のため、現在のデノナイジング拡散モデルの生成過程は明らかに遅い。
  論文  参考訳（メタデータ） (2022-11-28T19:33:39Z)
• Prompting to Distill: Boosting Data-Free Knowledge Distillation via Reinforced Prompt [52.6946016535059]
  データフリー知識蒸留(DFKD)は、元のトレーニングデータの依存をなくし、知識蒸留を行う。 本稿では,PmptDFD(PromptDFD)と呼ばれるプロンプトベースの手法を提案する。 本実験で示すように, 本手法は, 合成品質を大幅に向上し, 蒸留性能を著しく向上させる。
  論文  参考訳（メタデータ） (2022-05-16T08:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。