論文の概要: Simple and Fast Distillation of Diffusion Models

• arxiv url: http://arxiv.org/abs/2409.19681v1
• Date: Sun, 29 Sep 2024 12:13:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 21:49:14.352998
• Title: Simple and Fast Distillation of Diffusion Models
• Title（参考訳）: 拡散モデルの簡易・高速蒸留
• Authors: Zhenyu Zhou, Defang Chen, Can Wang, Chun Chen, Siwei Lyu,
• Abstract要約: 本稿では,拡散モデルの簡易・高速蒸留(SFD)を提案する。 SFD は CIFAR-10 上で 4.53 FID (NFE=2) を達成する。
• 参考スコア（独自算出の注目度）: 39.79747569096888
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion-based generative models have demonstrated their powerful performance across various tasks, but this comes at a cost of the slow sampling speed. To achieve both efficient and high-quality synthesis, various distillation-based accelerated sampling methods have been developed recently. However, they generally require time-consuming fine tuning with elaborate designs to achieve satisfactory performance in a specific number of function evaluation (NFE), making them difficult to employ in practice. To address this issue, we propose Simple and Fast Distillation (SFD) of diffusion models, which simplifies the paradigm used in existing methods and largely shortens their fine-tuning time up to 1000$\times$. We begin with a vanilla distillation-based sampling method and boost its performance to state of the art by identifying and addressing several small yet vital factors affecting the synthesis efficiency and quality. Our method can also achieve sampling with variable NFEs using a single distilled model. Extensive experiments demonstrate that SFD strikes a good balance between the sample quality and fine-tuning costs in few-step image generation task. For example, SFD achieves 4.53 FID (NFE=2) on CIFAR-10 with only 0.64 hours of fine-tuning on a single NVIDIA A100 GPU. Our code is available at https://github.com/zju-pi/diff-sampler.
• Abstract（参考訳）: 拡散に基づく生成モデルは、様々なタスクにまたがって強力な性能を示すが、これはサンプリング速度の遅いコストが伴う。 効率的かつ高品質な合成を実現するため, 近年, 蒸留法に基づく加速サンプリング法が開発されている。 しかし、一般に、特定の関数評価(NFE)において満足な性能を達成するために、精巧な設計による細かなチューニングに時間を要するため、実際にの使用は困難である。 この問題に対処するため,拡散モデルの簡易・高速蒸留(SFD)を提案し,既存の手法で用いられるパラダイムを単純化し,微調整時間を1000$\times$まで短縮する。 本研究は,バニラ蒸留法に基づくサンプリング法から始まり,合成効率と品質に影響を及ぼすいくつかの小さいが重要な要因を特定し,対処することにより,その性能を最先端に向上する。 また, 単一蒸留モデルを用いて, 可変NFEを用いたサンプリングも行うことができる。 大規模な実験により、SFDは、数ステップの画像生成タスクにおいて、サンプル品質と微調整コストのバランスが良好であることを実証した。 例えば、SFDはCIFAR-10上で4.53 FID(NFE=2)を達成する。 私たちのコードはhttps://github.com/zju-pi/diff-sampler.comから入手可能です。

関連論文リスト

• One-Step Diffusion Distillation via Deep Equilibrium Models [64.11782639697883]
  本稿では,拡散モデルを初期雑音から得られた画像に直接蒸留する簡易かつ効果的な方法を提案する。 本手法は,拡散モデルからノイズ/イメージペアのみによる完全オフライントレーニングを可能にする。 GET は FID スコアの点で 5 倍の ViT と一致するので,DEC アーキテクチャがこの能力に不可欠であることを示す。
  論文  参考訳（メタデータ） (2023-12-12T07:28:40Z)
• Sampler Scheduler for Diffusion Models [0.0]
  拡散モデリング(DM)は高品質な生成性能を有する。 現在、拡散に基づく生成モデルに対するサンプルには矛盾がある。 そこで本研究では,同じサンプリングプロセスの異なるサンプリングステップにおいて,異なるサンプリングスケジューラ(ODE/SDE)を使用することの実現可能性を提案する。
  論文  参考訳（メタデータ） (2023-11-12T13:35:25Z)
• Parallel Sampling of Diffusion Models [76.3124029406809]
  拡散モデルは強力な生成モデルであるが、サンプリングが遅い。 そこで本研究では,複数のステップを並列にdenoisingすることで,事前学習した拡散モデルのサンプリングを高速化するParaDiGMSを提案する。
  論文  参考訳（メタデータ） (2023-05-25T17:59:42Z)
• Accelerating Diffusion Sampling with Classifier-based Feature Distillation [20.704675568555082]
  N/2$-step の教師サンプルとN/2$-step の生徒サンプルの出力画像を段階的に整列させることにより, 高速サンプリングのためのプログレッシブ蒸留を提案する。 教師の特徴分布を,データセットに依存しない分類器を用いて抽出し,性能向上を図る。 CIFAR-10実験は, 高品質で高速なサンプリングを実現する上で, 提案手法の優位性を示した。
  論文  参考訳（メタデータ） (2022-11-22T06:21:31Z)
• On Distillation of Guided Diffusion Models [94.95228078141626]
  そこで本研究では,分類器を含まない誘導拡散モデルから抽出し易いモデルへ抽出する手法を提案する。 画素空間上で訓練された標準拡散モデルに対して,本手法は元のモデルに匹敵する画像を生成することができる。 遅延空間で訓練された拡散モデル(例えば、安定拡散)に対して、我々の手法は1から4段階のデノナイジングステップで高忠実度画像を生成することができる。
  論文  参考訳（メタデータ） (2022-10-06T18:03:56Z)
• ProDiff: Progressive Fast Diffusion Model For High-Quality Text-to-Speech [63.780196620966905]
  本稿では,高品質テキスト合成のためのプログレッシブ高速拡散モデルであるProDiffを提案する。 ProDiffはクリーンデータを直接予測することでデノナイジングモデルをパラメータ化し、サンプリングを高速化する際の品質劣化を回避する。 評価の結果,高忠実度メル-スペクトログラムの合成にProDiffは2回しか要しないことがわかった。 ProDiffは1つのNVIDIA 2080Ti GPU上で、サンプリング速度をリアルタイムより24倍高速にする。
  論文  参考訳（メタデータ） (2022-07-13T17:45:43Z)
• Fast Sampling of Diffusion Models with Exponential Integrator [9.467521554542273]
  高い試料品質を維持しつつ, ステップ数を大幅に減らしたDMの高速サンプリング法を提案する。 提案手法は任意のDMに適用可能であり,10ステップ以内で高忠実度サンプルを生成することができる。
  論文  参考訳（メタデータ） (2022-04-29T06:32:38Z)
• Pseudo Numerical Methods for Diffusion Models on Manifolds [77.40343577960712]
  Denoising Diffusion Probabilistic Models (DDPM) は、画像やオーディオサンプルなどの高品質なサンプルを生成することができる。 DDPMは最終的なサンプルを生成するために数百から数千のイテレーションを必要とする。 拡散モデル(PNDM)の擬似数値法を提案する。 PNDMは、1000段DDIM(20倍の高速化)と比較して、50段の精度で高品質な合成画像を生成することができる
  論文  参考訳（メタデータ） (2022-02-20T10:37:52Z)
• Learning Fast Samplers for Diffusion Models by Differentiating Through Sample Quality [44.37533757879762]
  差分拡散サンプリングサーチ(DDSS)は,任意の事前学習拡散モデルに対して高速サンプリングを最適化する手法である。 また、拡散モデルのためのフレキシブルな非マルコフ型サンプルモデルのファミリーである一般化ガウス拡散モデル(GGDM)を提示する。 本手法は, 微調整や再学習の必要なく, 事前学習した拡散モデルと互換性がある。
  論文  参考訳（メタデータ） (2022-02-11T18:53:18Z)
• Progressive Distillation for Fast Sampling of Diffusion Models [17.355749359987648]
  そこで本研究では, 学習した決定論的拡散サンプリング器を, 半分のサンプリングステップを要した新しい拡散モデルに, 多くのステップを用いて蒸留する方法を提案する。 CIFAR-10、ImageNet、LSUNなどの標準画像生成ベンチマークでは、最先端のサンプルが最大8192ステップで、知覚品質を損なうことなく、最大4ステップのモデルに精算することができる。
  論文  参考訳（メタデータ） (2022-02-01T16:07:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。