論文の概要: Reducing Spatial Fitting Error in Distillation of Denoising Diffusion
Models
- arxiv url: http://arxiv.org/abs/2311.03830v1
- Date: Tue, 7 Nov 2023 09:19:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 16:14:34.124305
- Title: Reducing Spatial Fitting Error in Distillation of Denoising Diffusion
Models
- Title（参考訳）: 脱離拡散模型の蒸留における空間適合誤差の低減
- Authors: Shengzhe Zhou, Zejian Lee, Shengyuan Zhang, Lefan Hou, Changyuan Yang,
Guang Yang, Lingyun Sun
- Abstract要約: Denoising Diffusion Modelは、画像生成において顕著な能力を示した。
拡散モデルの知識蒸留は、この制限に短いサンプリングプロセスで対処する有効な方法である。
そこで本研究では,本質的なデノナイジング能力を強調して,拡散蒸留の新しい視点について述べる。
- 参考スコア（独自算出の注目度）: 13.17313170539992
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Denoising Diffusion models have exhibited remarkable capabilities in image
generation. However, generating high-quality samples requires a large number of
iterations. Knowledge distillation for diffusion models is an effective method
to address this limitation with a shortened sampling process but causes
degraded generative quality. Based on our analysis with bias-variance
decomposition and experimental observations, we attribute the degradation to
the spatial fitting error occurring in the training of both the teacher and
student model. Accordingly, we propose $\textbf{S}$patial
$\textbf{F}$itting-$\textbf{E}$rror $\textbf{R}$eduction
$\textbf{D}$istillation model ($\textbf{SFERD}$). SFERD utilizes attention
guidance from the teacher model and a designed semantic gradient predictor to
reduce the student's fitting error. Empirically, our proposed model facilitates
high-quality sample generation in a few function evaluations. We achieve an FID
of 5.31 on CIFAR-10 and 9.39 on ImageNet 64$\times$64 with only one step,
outperforming existing diffusion methods. Our study provides a new perspective
on diffusion distillation by highlighting the intrinsic denoising ability of
models.
- Abstract（参考訳）: Denoising Diffusion Modelは、画像生成において顕著な能力を示した。
しかし、高品質なサンプルを生成するには大量のイテレーションが必要となる。
拡散モデルの知識蒸留は、この制限に短いサンプリングプロセスで対処する有効な方法であるが、劣化した生成品質を引き起こす。
偏差分解と実験観察による分析から,教師モデルと学生モデルの両方のトレーニングにおいて発生する空間的嵌合誤差を考察した。
したがって、$\textbf{s}$patial$\textbf{f}$itting-$\textbf{e}$rror$\textbf{r}$eduction$\textbf{d}$istillation model ($\textbf{sferd}$)を提案する。
SFERDは教師モデルと設計した意味勾配予測器からの注意誘導を利用して、学生の適合誤差を低減する。
提案手法は,いくつかの機能評価において,高品質なサンプル生成を容易にする。
1ステップで、cifar-10で5.31、imagenet 64$\times$64で9.39のfidを達成し、既存の拡散法を上回った。
本研究は,本質的なデノナイジング能力を強調することで,拡散蒸留の新しい視点を提供する。
関連論文リスト
- Distillation-Free One-Step Diffusion for Real-World Image Super-Resolution [81.81748032199813]
蒸留不要1ステップ拡散モデルを提案する。
具体的には、敵対的訓練に参加するためのノイズ認識識別器(NAD)を提案する。
我々は、エッジ対応disTS(EA-DISTS)による知覚損失を改善し、詳細な情報を生成するモデルの能力を向上させる。
論文 参考訳（メタデータ） (2024-10-05T16:41:36Z) - Informed Correctors for Discrete Diffusion Models [32.87362154118195]
モデルで学習した情報を活用することにより、より確実に離散化誤差に対処できる情報修正系を提案する。
また,$k$-Gillespie'sも提案する。これは,各モデル評価をよりよく活用するサンプリングアルゴリズムで,$tau$-leapingの速度と柔軟性を引き続き享受する。
いくつかの実・合成データセットにおいて,情報付き修正器を用いた$k$-Gillespieは,より低い計算コストで高い品質のサンプルを確実に生成することを示す。
論文 参考訳（メタデータ） (2024-07-30T23:29:29Z) - EM Distillation for One-step Diffusion Models [65.57766773137068]
最小品質の損失を最小限に抑えた1ステップ生成モデルに拡散モデルを蒸留する最大可能性に基づく手法を提案する。
本研究では, 蒸留プロセスの安定化を図るため, 再パラメータ化サンプリング手法とノイズキャンセリング手法を開発した。
論文 参考訳（メタデータ） (2024-05-27T05:55:22Z) - Distilling Diffusion Models into Conditional GANs [90.76040478677609]
複雑な多段階拡散モデルを1段階条件付きGAN学生モデルに蒸留する。
E-LatentLPIPSは,拡散モデルの潜在空間で直接動作する知覚的損失である。
我々は, 最先端の1ステップ拡散蒸留モデルよりも優れた1ステップ発生器を実証した。
論文 参考訳（メタデータ） (2024-05-09T17:59:40Z) - Bridging the Gap: Addressing Discrepancies in Diffusion Model Training
for Classifier-Free Guidance [1.6804613362826175]
拡散モデルは、生成モデルにおいて重要な進歩として現れている。
本稿では,従来の訓練方法と所望の条件付きサンプリング行動との相違点を明らかにすることを目的とする。
トレーニング目標とサンプリング行動との整合性を向上する改良された損失関数を導入する。
論文 参考訳（メタデータ） (2023-11-02T02:03:12Z) - Soft Mixture Denoising: Beyond the Expressive Bottleneck of Diffusion
Models [76.46246743508651]
我々は,現在の拡散モデルが後方認知において表現力のあるボトルネックを持っていることを示した。
本稿では,後方復調のための表現的かつ効率的なモデルであるソフトミキシング・デノナイジング(SMD)を導入する。
論文 参考訳（メタデータ） (2023-09-25T12:03:32Z) - BOOT: Data-free Distillation of Denoising Diffusion Models with
Bootstrapping [64.54271680071373]
拡散モデルは多様な画像を生成する優れた可能性を示している。
知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。
本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2023-06-08T20:30:55Z) - Interpreting and Improving Diffusion Models from an Optimization Perspective [4.5993996573872185]
我々はこの観測を用いて、ユークリッド距離関数に適用された近似勾配勾配勾配として拡散モデルを解釈する。
本稿では,理論結果からの洞察を用いてDDIMを一般化した新しい勾配推定サンプリング手法を提案する。
論文 参考訳（メタデータ） (2023-06-08T00:56:33Z) - On Distillation of Guided Diffusion Models [94.95228078141626]
そこで本研究では,分類器を含まない誘導拡散モデルから抽出し易いモデルへ抽出する手法を提案する。
画素空間上で訓練された標準拡散モデルに対して,本手法は元のモデルに匹敵する画像を生成することができる。
遅延空間で訓練された拡散モデル(例えば、安定拡散)に対して、我々の手法は1から4段階のデノナイジングステップで高忠実度画像を生成することができる。
論文 参考訳（メタデータ） (2022-10-06T18:03:56Z) - Improved Denoising Diffusion Probabilistic Models [4.919647298882951]
その結果,ddpmは高いサンプル品質を維持しつつ,競合的なログライク性を達成できることがわかった。
また,逆拡散過程の学習分散により,フォワードパスが桁違いに小さくサンプリングできることがわかった。
これらのモデルのサンプルの品質と可能性について,モデルのキャパシティとトレーニング計算でスムーズに拡張できることを示し,スケーラビリティを向上する。
論文 参考訳（メタデータ） (2021-02-18T23:44:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。