論文の概要: DKDM: Data-Free Knowledge Distillation for Diffusion Models with Any Architecture

• arxiv url: http://arxiv.org/abs/2409.03550v1
• Date: Thu, 5 Sep 2024 14:12:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-09-06 20:28:22.274030
• Title: DKDM: Data-Free Knowledge Distillation for Diffusion Models with Any Architecture
• Title（参考訳）: DKDM:任意のアーキテクチャを持つ拡散モデルのためのデータフリーな知識蒸留
• Authors: Qianlong Xiang, Miao Zhang, Yuzhang Shang, Jianlong Wu, Yan Yan, Liqiang Nie,
• Abstract要約: 拡散モデル (DM) は様々な領域で異常な生成能力を示す。 DMを加速する最も一般的な方法は、生成中のデノナイジングステップの数を減少させることである。 本稿では,大規模な事前学習型DMを高速なアーキテクチャに転送する新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 69.58440626023541
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models (DMs) have demonstrated exceptional generative capabilities across various areas, while they are hindered by slow inference speeds and high computational demands during deployment. The most common way to accelerate DMs involves reducing the number of denoising steps during generation, achieved through faster sampling solvers or knowledge distillation (KD). In contrast to prior approaches, we propose a novel method that transfers the capability of large pretrained DMs to faster architectures. Specifically, we employ KD in a distinct manner to compress DMs by distilling their generative ability into more rapid variants. Furthermore, considering that the source data is either unaccessible or too enormous to store for current generative models, we introduce a new paradigm for their distillation without source data, termed Data-Free Knowledge Distillation for Diffusion Models (DKDM). Generally, our established DKDM framework comprises two main components: 1) a DKDM objective that uses synthetic denoising data produced by pretrained DMs to optimize faster DMs without source data, and 2) a dynamic iterative distillation method that flexibly organizes the synthesis of denoising data, preventing it from slowing down the optimization process as the generation is slow. To our knowledge, this is the first attempt at using KD to distill DMs into any architecture in a data-free manner. Importantly, our DKDM is orthogonal to most existing acceleration methods, such as denoising step reduction, quantization and pruning. Experiments show that our DKDM is capable of deriving 2x faster DMs with performance remaining on par with the baseline. Notably, our DKDM enables pretrained DMs to function as "datasets" for training new DMs.
• Abstract（参考訳）: 拡散モデル(DM)は、様々な領域で例外的な生成能力を示してきたが、その一方で、速度の遅い推論速度と高い計算要求によって妨げられている。 DMを加速する最も一般的な方法は、より高速なサンプリングソルバや知識蒸留(KD)によって達成される、生成中のデノナイジングステップの数を減少させることである。 従来の手法とは対照的に,大規模な事前学習型DMを高速なアーキテクチャに転送する新しい手法を提案する。 具体的には、KDを用いてDMを圧縮し、その生成能力をより高速な変種に蒸留する。 さらに、ソースデータが現在の生成モデルに格納するにはアクセスできないか、あるいは大きすぎるかを考えると、ソースデータを持たない蒸留のための新しいパラダイムを導入し、DKDM(Data-Free Knowledge Distillation for Diffusion Models)と呼ぶ。 一般的に、確立されたDKDMフレームワークは2つの主要コンポーネントから構成される。 1)事前訓練されたDMが生成する合成復調データを用いて、ソースデータなしで高速なDMを最適化するDKDM目標。 2)デノナイズデータの合成を柔軟に整理し、生成が遅くなるにつれて最適化プロセスが遅くなるのを防止する動的反復蒸留法。 我々の知る限り、これはKDを使って任意のアーキテクチャにデータフリーでDMを蒸留する最初の試みである。 重要なことは、我々のDKDMは、ステップの減少、量子化、プルーニングなどの既存の加速度法と直交している。 実験の結果,DKDMは2倍高速なDMの導出が可能であり,性能はベースラインと同等であることがわかった。 我々のDKDMは、事前訓練されたDMを新しいDMを訓練するための「データセット」として機能させることができる。

関連論文リスト

• Sparse-to-Sparse Training of Diffusion Models [13.443846454835867]
  本稿では,DMに対するスパース・ツー・スパーストレーニングのパラダイムを初めて紹介する。 我々は、無条件生成と6つのデータセットでスクラッチからスパースDMを訓練することに重点を置いている。 実験の結果,スパースDMはトレーニング可能なパラメータやFLOPの数を著しく減らしながら,相性が良く,性能も優れていることがわかった。
  論文  参考訳（メタデータ） (2025-04-30T07:28:11Z)
• Pruning then Reweighting: Towards Data-Efficient Training of Diffusion Models [33.09663675904689]
  データセットプルーニングの観点から,効率的な拡散訓練について検討する。 GAN(Generative Adversarial Network)のような生成モデルに対するデータ効率トレーニングの原則に着想を得て、まず、GANで使用されるデータ選択スキームをDMトレーニングに拡張する。 生成性能をさらに向上するため,クラスワイド・リウェイト方式を採用する。
  論文  参考訳（メタデータ） (2024-09-27T20:21:19Z)
• Slight Corruption in Pre-training Data Makes Better Diffusion Models [71.90034201302397]
  拡散モデル(DM)は、高品質な画像、オーディオ、ビデオを生成する際、顕著な能力を示している。 DMは大規模なデータセットでの広範な事前トレーニングの恩恵を受ける。 しかしながら、事前トレーニングデータセットは、しばしば、データを正確に記述しないような、破損したペアを含んでいる。 本稿では,DMの事前学習データにそのような汚職が及ぼす影響について,初めて包括的研究を行った。
  論文  参考訳（メタデータ） (2024-05-30T21:35:48Z)
• BinaryDM: Accurate Weight Binarization for Efficient Diffusion Models [39.287947829085155]
  本稿では,バイナライズされたDMを正確かつ効率的に推し進めるため,DMの新しい重み付きバイナライズ手法,すなわちBinaryDMを提案する。 表現の観点からは、EDB(Evolvable-Basis Binarizer)を提示し、完全精度から正確に二項化できるDMのスムーズな進化を可能にする。 実験により、BinaryDMは、超低ビット幅でのDMのSOTA量子化法と比較して、高い精度と効率向上を達成することが示された。
  論文  参考訳（メタデータ） (2024-04-08T16:46:25Z)
• Towards Faster Training of Diffusion Models: An Inspiration of A Consistency Phenomenon [16.416356358224842]
  近年,拡散モデル (DM) が注目されている。 DMの訓練を加速する2つの戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-14T13:27:04Z)
• Retrieval-Augmented Data Augmentation for Low-Resource Domain Tasks [66.87070857705994]
  低リソース環境では、データ拡張に使用するシードデータサンプルの量は極めて少ない。 本稿では、他のデータセットから豊富なサンプルを組み込むことで、トレーニングデータを増強する新しい手法を提案する。 このアプローチは、生成されたデータが関連性だけでなく、限られたシードデータだけで達成できるものよりも多様であることを保証する。
  論文  参考訳（メタデータ） (2024-02-21T02:45:46Z)
• Fast Diffusion Model [122.36693015093041]
  拡散モデル(DM)は、複雑なデータ分布を捉える能力を持つ様々な分野に採用されている。 本稿では,DM最適化の観点から,高速拡散モデル (FDM) を提案する。
  論文  参考訳（メタデータ） (2023-06-12T09:38:04Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Diffusion Model is an Effective Planner and Data Synthesizer for Multi-Task Reinforcement Learning [101.66860222415512]
  Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。 生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
  論文  参考訳（メタデータ） (2023-05-29T05:20:38Z)
• Diffusion-NAT: Self-Prompting Discrete Diffusion for Non-Autoregressive Text Generation [94.4634088113513]
  Diffusion-NATは、NARテキスト・テキスト生成に離散拡散モデルを導入し、BARTを統合して性能を改善する。 7つのデータセットに対する実験結果から,本手法は競合的NAR法より優れ,自己回帰法よりも優れることが示された。
  論文  参考訳（メタデータ） (2023-05-06T13:20:31Z)
• A Comprehensive Survey on Knowledge Distillation of Diffusion Models [0.0]
  拡散モデル(DM)はニューラルネットワークを用いてスコア関数を指定する。 本チュートリアルは, DMの蒸留法を応用したり, この分野の研究プロジェクトに乗り出したいと願う, 生成モデルの基本的知識を持つ個人を対象としている。
  論文  参考訳（メタデータ） (2023-04-09T15:49:28Z)
• Dataset Distillation: A Comprehensive Review [76.26276286545284]
  データセット蒸留(DD)は、トレーニングされたモデルが元のデータセットでトレーニングされたデータセットに匹敵するパフォーマンスを得るために、合成サンプルを含むはるかに小さなデータセットを導出することを目的としている。 本稿ではDDの最近の進歩とその応用について概説する。
  論文  参考訳（メタデータ） (2023-01-17T17:03:28Z)
• Post-training Quantization on Diffusion Models [14.167428759401703]
  拡散(スコアベース)生成モデルは近年、現実的で多様なデータを生成する上で大きな成果を上げている。 これらの手法は、データをノイズに変換する前方拡散プロセスと、ノイズからデータをサンプリングする後方デノナイジングプロセスを定義する。 残念なことに、長い反復的雑音推定のため、現在のデノナイジング拡散モデルの生成過程は明らかに遅い。
  論文  参考訳（メタデータ） (2022-11-28T19:33:39Z)
• Prompting to Distill: Boosting Data-Free Knowledge Distillation via Reinforced Prompt [52.6946016535059]
  データフリー知識蒸留(DFKD)は、元のトレーニングデータの依存をなくし、知識蒸留を行う。 本稿では,PmptDFD(PromptDFD)と呼ばれるプロンプトベースの手法を提案する。 本実験で示すように, 本手法は, 合成品質を大幅に向上し, 蒸留性能を著しく向上させる。
  論文  参考訳（メタデータ） (2022-05-16T08:56:53Z)
• DeGAN : Data-Enriching GAN for Retrieving Representative Samples from a Trained Classifier [58.979104709647295]
  我々は、トレーニングされたネットワークの将来の学習タスクのために、利用可能なデータの豊富さと関連するデータの欠如の間のギャップを埋める。 利用可能なデータは、元のトレーニングデータセットまたは関連するドメインデータセットの不均衡なサブセットである可能性があるため、代表サンプルを検索するために使用します。 関連ドメインからのデータを活用して最先端のパフォーマンスを実現することを実証する。
  論文  参考訳（メタデータ） (2019-12-27T02:05:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。