論文の概要: On Distillation of Guided Diffusion Models
- arxiv url: http://arxiv.org/abs/2210.03142v1
- Date: Thu, 6 Oct 2022 18:03:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 12:41:41.174683
- Title: On Distillation of Guided Diffusion Models
- Title(参考訳): 誘導拡散モデルの蒸留について
- Authors: Chenlin Meng, Ruiqi Gao, Diederik P. Kingma, Stefano Ermon, Jonathan
Ho, Tim Salimans
- Abstract要約: そこで本研究では,分類器を含まない誘導拡散モデルから抽出し易いモデルへ抽出する手法を提案する。
ImageNet 64x64 と CIFAR-10 では、4つのサンプリングステップで元のモデルに匹敵する画像を生成することができる。
- 参考スコア(独自算出の注目度): 94.25159023822297
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Classifier-free guided diffusion models have recently been shown to be highly
effective at high-resolution image generation, and they have been widely used
in large-scale diffusion frameworks including DALL-E 2, GLIDE and Imagen.
However, a downside of classifier-free guided diffusion models is that they are
computationally expensive at inference time since they require evaluating two
diffusion models, a class-conditional model and an unconditional model,
hundreds of times. To deal with this limitation, we propose an approach to
distilling classifier-free guided diffusion models into models that are fast to
sample from: Given a pre-trained classifier-free guided model, we first learn a
single model to match the output of the combined conditional and unconditional
models, and then progressively distill that model to a diffusion model that
requires much fewer sampling steps. On ImageNet 64x64 and CIFAR-10, our
approach is able to generate images visually comparable to that of the original
model using as few as 4 sampling steps, achieving FID/IS scores comparable to
that of the original model while being up to 256 times faster to sample from.
- Abstract(参考訳): 分類器フリーの誘導拡散モデルは最近、高分解能画像生成に非常に有効であることが示されており、dall-e 2、glide、imagenといった大規模拡散フレームワークで広く使われている。
しかし,クラス条件モデルと無条件モデルという2つの拡散モデルを数百回評価する必要があるため,分類器フリーの誘導拡散モデルの欠点は,計算コストが高いことにある。
この制限に対処するため, 事前学習した分類器フリーガイド付きモデルが与えられた場合, まず, 条件付きモデルと非条件付きモデルの組み合わせの出力に適合する単一モデルを学習し, そのモデルをより少ないサンプリングステップを必要とする拡散モデルに段階的に蒸留する手法を提案する。
imagenet 64x64とcifar-10では、4つのサンプリングステップを使用して、元のモデルに匹敵するイメージを視覚的に生成することが可能で、元のモデルに匹敵するfid/isスコアを、サンプルから最大256倍高速に生成することができる。
関連論文リスト
- One-step Diffusion with Distribution Matching Distillation [50.45103465564635]
本稿では,拡散モデルを1ステップ画像生成器に変換する手法である分散マッチング蒸留(DMD)を紹介する。
約KLの発散を最小化することにより,拡散モデルと分布レベルで一致した一段階画像生成装置を強制する。
提案手法は,イメージネット64x64では2.62 FID,ゼロショットCOCO-30kでは11.49 FIDに到達した。
論文 参考訳(メタデータ) (2023-11-30T18:59:20Z) - Adversarial Diffusion Distillation [18.87099764514747]
逆拡散蒸留(adversarial Diffusion Distillation、ADD)は、1-4ステップで大規模な基礎画像拡散モデルを効率的にサンプリングする新しい訓練手法である。
我々は,大規模なオフザシェルフ画像拡散モデルを教師信号として活用するために,スコア蒸留を用いる。
本モデルでは,既存の数ステップ法を1ステップで明らかに上回り,4ステップで最先端拡散モデル(SDXL)の性能に到達する。
論文 参考訳(メタデータ) (2023-11-28T18:53:24Z) - Consistency Models [89.68380014789861]
ノイズを直接データにマッピングすることで,高品質なサンプルを生成する新しいモデル群を提案する。
設計によって高速なワンステップ生成をサポートしながら、マルチステップサンプリングによって、サンプル品質の計算を交換することができる。
イメージインペイント、カラー化、超高解像度といったゼロショットデータ編集も、明示的なトレーニングを必要とせずサポートしている。
論文 参考訳(メタデータ) (2023-03-02T18:30:16Z) - Fast Inference in Denoising Diffusion Models via MMD Finetuning [23.779985842891705]
拡散モデルの高速サンプリング法であるMDD-DDMを提案する。
我々のアプローチは、学習した分布を所定の予算のタイムステップで微調整するために、最大平均離散性(MMD)を使用するという考え方に基づいている。
提案手法は,広範に普及した拡散モデルで要求されるわずかな時間で高品質なサンプルを生成できることが示唆された。
論文 参考訳(メタデータ) (2023-01-19T09:48:07Z) - Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。
シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。
本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
論文 参考訳(メタデータ) (2022-11-24T07:30:27Z) - SinDiffusion: Learning a Diffusion Model from a Single Natural Image [159.4285444680301]
SinDiffusionは1つの自然な画像からパッチの内部分布を捉えるためにデノナイズ拡散モデルを利用する。
SinDiffusionは、2つのコア設計に基づいている。まず、SinDiffusionは、段階的にスケールが成長する複数のモデルではなく、1つのスケールで1つのモデルで訓練されている。
第2に,拡散ネットワークのパッチレベルの受容領域は,画像のパッチ統計を捉える上で重要かつ効果的であることを示す。
論文 参考訳(メタデータ) (2022-11-22T18:00:03Z) - Progressive Distillation for Fast Sampling of Diffusion Models [17.355749359987648]
そこで本研究では, 学習した決定論的拡散サンプリング器を, 半分のサンプリングステップを要した新しい拡散モデルに, 多くのステップを用いて蒸留する方法を提案する。
CIFAR-10、ImageNet、LSUNなどの標準画像生成ベンチマークでは、最先端のサンプルが最大8192ステップで、知覚品質を損なうことなく、最大4ステップのモデルに精算することができる。
論文 参考訳(メタデータ) (2022-02-01T16:07:25Z) - Cascaded Diffusion Models for High Fidelity Image Generation [53.57766722279425]
本研究では,画像ネット生成の課題に対して,カスケード拡散モデルを用いて高忠実度画像を生成可能であることを示す。
カスケード拡散モデルは、解像度が増大する画像を生成する複数の拡散モデルのパイプラインを含む。
その結果,カスケードパイプラインのサンプル品質は,条件付拡張に大きく依存していることがわかった。
論文 参考訳(メタデータ) (2021-05-30T17:14:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。