論文の概要: gDDIM: Generalized denoising diffusion implicit models
- arxiv url: http://arxiv.org/abs/2206.05564v2
- Date: Thu, 23 Mar 2023 11:50:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-24 18:36:21.229261
- Title: gDDIM: Generalized denoising diffusion implicit models
- Title(参考訳): gDDIM:一般化された拡散暗黙的モデル
- Authors: Qinsheng Zhang and Molei Tao and Yongxin Chen
- Abstract要約: 拡散暗黙モデル(DDIM)を等方的拡散に加えて一般拡散モデル(DM)に拡張する。
我々は2つの非等方性DMにおいて20倍以上の加速を観測した。
CIFAR10のFIDスコアは2.26で,NFEは50点,NFEは27点,FIDスコアは2.86点であった。
- 参考スコア(独自算出の注目度): 15.877673959068455
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Our goal is to extend the denoising diffusion implicit model (DDIM) to
general diffusion models~(DMs) besides isotropic diffusions. Instead of
constructing a non-Markov noising process as in the original DDIM, we examine
the mechanism of DDIM from a numerical perspective. We discover that the DDIM
can be obtained by using some specific approximations of the score when solving
the corresponding stochastic differential equation. We present an
interpretation of the accelerating effects of DDIM that also explains the
advantages of a deterministic sampling scheme over the stochastic one for fast
sampling. Building on this insight, we extend DDIM to general DMs, coined
generalized DDIM (gDDIM), with a small but delicate modification in
parameterizing the score network. We validate gDDIM in two non-isotropic DMs:
Blurring diffusion model (BDM) and Critically-damped Langevin diffusion model
(CLD). We observe more than 20 times acceleration in BDM. In the CLD, a
diffusion model by augmenting the diffusion process with velocity, our
algorithm achieves an FID score of 2.26, on CIFAR10, with only 50 number of
score function evaluations~(NFEs) and an FID score of 2.86 with only 27 NFEs.
Code is available at https://github.com/qsh-zh/gDDIM
- Abstract(参考訳): 我々のゴールは、異方性拡散の他に、一般拡散モデル~(DM)にまで拡大することである。
従来のDDIMのように非マルコフ生成過程を構築する代わりに,数値的な観点からDDIMのメカニズムを検討する。
我々は,対応する確率微分方程式を解く際に,スコアの特定の近似を用いてDDIMが得られることを発見した。
本稿では, DDIMの高速化効果を解釈し, 高速サンプリングのための確率的サンプリング方式に対する決定論的サンプリング方式の利点を説明する。
この知見に基づいてddimを一般化ddim(gddim)として一般dmsに拡張し、スコアネットワークのパラメータ化に小さいが繊細な修正を加えた。
我々は,非等方性DMであるブラリング拡散モデル (BDM) と臨界減衰ランゲヴィン拡散モデル (CLD) でgDDIMを検証する。
BDMでは20倍以上の加速が観察された。
CIFAR10では,拡散過程を速度で増大させ拡散モデルを用いてFIDスコア2.26を達成し,FIDスコアが27NFEで50点,FIDスコアが2.86点であった。
コードはhttps://github.com/qsh-zh/gDDIMで入手できる。
関連論文リスト
- Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。
画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
論文 参考訳(メタデータ) (2023-11-02T02:05:38Z) - Efficient Integrators for Diffusion Generative Models [22.01769257075573]
拡散モデルは、推論時に遅いサンプル生成に悩まされる。
事前学習モデルにおけるサンプル生成を高速化するための2つの補完的フレームワークを提案する。
本稿では,拡張空間における拡散モデルにおける最良報告性能を実現するハイブリッド手法を提案する。
論文 参考訳(メタデータ) (2023-10-11T21:04:42Z) - SDDM: Score-Decomposed Diffusion Models on Manifolds for Unpaired
Image-to-Image Translation [96.11061713135385]
本研究は,画像生成時の絡み合った分布を明示的に最適化する,新しいスコア分解拡散モデルを提案する。
我々は、スコア関数の精製部分とエネルギー誘導を等しくし、多様体上の多目的最適化を可能にする。
SDDMは既存のSBDMベースの手法よりも優れており、I2Iベンチマークでは拡散ステップがはるかに少ない。
論文 参考訳(メタデータ) (2023-08-04T06:21:57Z) - Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。
暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。
提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
論文 参考訳(メタデータ) (2023-06-21T18:49:22Z) - Eliminating Lipschitz Singularities in Diffusion Models [51.806899946775076]
拡散モデルは、時間ステップの零点付近で無限のリプシッツをしばしば表すことを示す。
これは、積分演算に依存する拡散過程の安定性と精度に脅威をもたらす。
我々はE-TSDMと呼ばれる新しい手法を提案し、これは0に近い拡散モデルのリプシッツを除去する。
論文 参考訳(メタデータ) (2023-06-20T03:05:28Z) - Fast Diffusion Model [122.36693015093041]
拡散モデル(DM)は、複雑なデータ分布を捉える能力を持つ様々な分野に採用されている。
本稿では,DM最適化の観点から,高速拡散モデル (FDM) を提案する。
論文 参考訳(メタデータ) (2023-06-12T09:38:04Z) - Fast Inference in Denoising Diffusion Models via MMD Finetuning [23.779985842891705]
拡散モデルの高速サンプリング法であるMDD-DDMを提案する。
我々のアプローチは、学習した分布を所定の予算のタイムステップで微調整するために、最大平均離散性(MMD)を使用するという考え方に基づいている。
提案手法は,広範に普及した拡散モデルで要求されるわずかな時間で高品質なサンプルを生成できることが示唆された。
論文 参考訳(メタデータ) (2023-01-19T09:48:07Z) - Pseudo Numerical Methods for Diffusion Models on Manifolds [77.40343577960712]
Denoising Diffusion Probabilistic Models (DDPM) は、画像やオーディオサンプルなどの高品質なサンプルを生成することができる。
DDPMは最終的なサンプルを生成するために数百から数千のイテレーションを必要とする。
拡散モデル(PNDM)の擬似数値法を提案する。
PNDMは、1000段DDIM(20倍の高速化)と比較して、50段の精度で高品質な合成画像を生成することができる
論文 参考訳(メタデータ) (2022-02-20T10:37:52Z) - Score-Based Generative Modeling with Critically-Damped Langevin
Diffusion [18.82116696636531]
現在のスコアベース生成モデル(SGM)は、データを徐々にトラクタブルな分布へとゆがめる拡散過程に依存している。
我々は、現在のSGMが過度に単純化された拡散を導入し、不要に複雑な分極過程をもたらすことを論じる。
そこで我々は,CLDに基づくSGMが優れた性能を発揮することを示すために,CLD(Critical-damped Langevin diffusion)を提案する。
論文 参考訳(メタデータ) (2021-12-14T00:01:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。