論文の概要: Distilling Diffusion Models into Conditional GANs
- arxiv url: http://arxiv.org/abs/2405.05967v2
- Date: Thu, 13 Jun 2024 18:28:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-17 18:33:01.391263
- Title: Distilling Diffusion Models into Conditional GANs
- Title（参考訳）: 条件付きGANへの蒸留拡散モデル
- Authors: Minguk Kang, Richard Zhang, Connelly Barnes, Sylvain Paris, Suha Kwak, Jaesik Park, Eli Shechtman, Jun-Yan Zhu, Taesung Park,
- Abstract要約: 複雑な多段階拡散モデルを1段階条件付きGAN学生モデルに蒸留する。
E-LatentLPIPSは,拡散モデルの潜在空間で直接動作する知覚的損失である。
我々は, 最先端の1ステップ拡散蒸留モデルよりも優れた1ステップ発生器を実証した。
- 参考スコア（独自算出の注目度）: 90.76040478677609
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a method to distill a complex multistep diffusion model into a single-step conditional GAN student model, dramatically accelerating inference, while preserving image quality. Our approach interprets diffusion distillation as a paired image-to-image translation task, using noise-to-image pairs of the diffusion model's ODE trajectory. For efficient regression loss computation, we propose E-LatentLPIPS, a perceptual loss operating directly in diffusion model's latent space, utilizing an ensemble of augmentations. Furthermore, we adapt a diffusion model to construct a multi-scale discriminator with a text alignment loss to build an effective conditional GAN-based formulation. E-LatentLPIPS converges more efficiently than many existing distillation methods, even accounting for dataset construction costs. We demonstrate that our one-step generator outperforms cutting-edge one-step diffusion distillation models -- DMD, SDXL-Turbo, and SDXL-Lightning -- on the zero-shot COCO benchmark.
- Abstract（参考訳）: 本稿では,複雑な多段階拡散モデルを単一段階の条件付きGAN学生モデルに蒸留し,画像品質を保ちながら推論を劇的に加速する手法を提案する。
本稿では,拡散モデルのODE軌道のノイズ対と画像対を用いて,拡散蒸留を画像対変換タスクとして解釈する。
効率的な回帰損失計算のために,拡散モデルの潜在空間で直接動作する知覚的損失であるE-LatentLPIPSを提案する。
さらに、拡散モデルを適用し、テキストアライメント損失を有するマルチスケール判別器を構築し、効果的な条件付きGANベースの定式化を構築する。
E-LatentLPIPSは多くの既存の蒸留法よりも効率的に収束し、データセットの構築コストも考慮している。
我々は, ゼロショットCOCOベンチマークにおいて, 最先端の一段階拡散蒸留モデル(DMD, SDXL-Turbo, SDXL-Lightning)より優れていることを示す。
関連論文リスト
- Regularized Distribution Matching Distillation for One-step Unpaired Image-to-Image Translation [1.8434042562191815]
未ペア画像対画像(I2I)問題に適用可能な正規分布マッチング蒸留法を提案する。
画像データセット間の2次元例とI2Iを含む複数の翻訳タスクに適用した経験的性能を示す。
論文 参考訳（メタデータ） (2024-06-20T22:22:31Z) - EM Distillation for One-step Diffusion Models [65.57766773137068]
最小品質の損失を最小限に抑えた1ステップ生成モデルに拡散モデルを蒸留する最大可能性に基づく手法を提案する。
本研究では, 蒸留プロセスの安定化を図るため, 再パラメータ化サンプリング手法とノイズキャンセリング手法を開発した。
論文 参考訳（メタデータ） (2024-05-27T05:55:22Z) - Fast High-Resolution Image Synthesis with Latent Adversarial Diffusion Distillation [24.236841051249243]
蒸留法は、モデルをマルチショットからシングルステップ推論にシフトすることを目的としている。
ADDの限界を克服する新しい蒸留法であるLADD(Latent Adversarial Diffusion Distillation)を導入する。
ピクセルベースのADDとは対照的に、LADDは事前訓練された潜伏拡散モデルから生成的特徴を利用する。
論文 参考訳（メタデータ） (2024-03-18T17:51:43Z) - One-step Diffusion with Distribution Matching Distillation [50.45103465564635]
本稿では,拡散モデルを1ステップ画像生成器に変換する手法である分散マッチング蒸留(DMD)を紹介する。
約KLの発散を最小化することにより,拡散モデルと分布レベルで一致した一段階画像生成装置を強制する。
提案手法は,イメージネット64x64では2.62 FID,ゼロショットCOCO-30kでは11.49 FIDに到達した。
論文 参考訳（メタデータ） (2023-11-30T18:59:20Z) - Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。
本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
論文 参考訳（メタデータ） (2023-06-01T03:08:28Z) - Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。
本稿では,階層型統合拡散モデル(HI-Diff)を提案する。
人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
論文 参考訳（メタデータ） (2023-05-22T12:18:20Z) - Unifying Diffusion Models' Latent Space, with Applications to
CycleDiffusion and Guidance [95.12230117950232]
関係領域で独立に訓練された2つの拡散モデルから共通潜時空間が現れることを示す。
テキスト・画像拡散モデルにCycleDiffusionを適用することで、大規模なテキスト・画像拡散モデルがゼロショット画像・画像拡散エディタとして使用できることを示す。
論文 参考訳（メタデータ） (2022-10-11T15:53:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。