論文の概要: Fast Sampling of Diffusion Models via Operator Learning
- arxiv url: http://arxiv.org/abs/2211.13449v3
- Date: Sat, 22 Jul 2023 08:47:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-26 00:32:54.392631
- Title: Fast Sampling of Diffusion Models via Operator Learning
- Title（参考訳）: 演算子学習による拡散モデルの高速サンプリング
- Authors: Hongkai Zheng, Weili Nie, Arash Vahdat, Kamyar Azizzadenesheli, Anima
Anandkumar
- Abstract要約: 我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。
シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。
本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
- 参考スコア（独自算出の注目度）: 74.37531458470086
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models have found widespread adoption in various areas. However,
their sampling process is slow because it requires hundreds to thousands of
network evaluations to emulate a continuous process defined by differential
equations. In this work, we use neural operators, an efficient method to solve
the probability flow differential equations, to accelerate the sampling process
of diffusion models. Compared to other fast sampling methods that have a
sequential nature, we are the first to propose a parallel decoding method that
generates images with only one model forward pass. We propose diffusion model
sampling with neural operator (DSNO) that maps the initial condition, i.e.,
Gaussian distribution, to the continuous-time solution trajectory of the
reverse diffusion process. To model the temporal correlations along the
trajectory, we introduce temporal convolution layers that are parameterized in
the Fourier space into the given diffusion model backbone. We show our method
achieves state-of-the-art FID of 3.78 for CIFAR-10 and 7.83 for ImageNet-64 in
the one-model-evaluation setting.
- Abstract（参考訳）: 拡散モデルは様々な地域で広く採用されている。
しかし、それらのサンプリングプロセスは、微分方程式によって定義される連続過程をエミュレートするために数百から数千のネットワーク評価を必要とするため、遅い。
本研究では,拡散モデルのサンプリング過程を高速化するために,確率流微分方程式の効率的な解法であるニューラル演算子を用いる。
逐次的な性質を持つ他の高速サンプリング手法と比較して、1つのモデルフォワードパスしか持たない画像を生成する並列復号法を最初に提案する。
本稿では,初期状態,すなわちガウス分布を逆拡散過程の連続時間解軌道にマッピングする,ニューラル演算子(DSNO)を用いた拡散モデルサンプリングを提案する。
軌道に沿った時間的相関をモデル化するために、フーリエ空間でパラメータ化された時間的畳み込み層を与えられた拡散モデルバックボーンに導入する。
本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
関連論文リスト
- Fast constrained sampling in pre-trained diffusion models [77.21486516041391]
拡散モデルは、大規模な生成画像モデルの分野を支配してきた。
本研究では,大規模な事前学習拡散モデルにおける高速拘束サンプリングのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-10-24T14:52:38Z) - Flow Map Matching [15.520853806024943]
フローマップマッチングは、基礎となる常微分方程式の2時間フローマップを学習するアルゴリズムである。
フローマップマッチングは, 拡散法や補間法と比較して, サンプリングコストを大幅に削減した高品質なサンプルとなることを示す。
論文 参考訳（メタデータ） (2024-06-11T17:41:26Z) - EM Distillation for One-step Diffusion Models [65.57766773137068]
最小品質の損失を最小限に抑えた1ステップ生成モデルに拡散モデルを蒸留する最大可能性に基づく手法を提案する。
本研究では, 蒸留プロセスの安定化を図るため, 再パラメータ化サンプリング手法とノイズキャンセリング手法を開発した。
論文 参考訳（メタデータ） (2024-05-27T05:55:22Z) - Accelerating Parallel Sampling of Diffusion Models [25.347710690711562]
自己回帰過程を並列化することにより拡散モデルのサンプリングを高速化する新しい手法を提案する。
これらの手法を適用したParaTAAは、普遍的でトレーニング不要な並列サンプリングアルゴリズムである。
実験により、ParaTAAは一般的なシーケンシャルサンプリングアルゴリズムで要求される推論ステップを4$sim$14倍に削減できることを示した。
論文 参考訳（メタデータ） (2024-02-15T14:27:58Z) - Fast Diffusion EM: a diffusion model for blind inverse problems with
application to deconvolution [0.0]
現在の手法では、劣化が知られており、復元と多様性の点で印象的な結果をもたらすと仮定している。
本研究では、これらのモデルの効率を活用し、復元された画像と未知のパラメータを共同で推定する。
本手法は,拡散モデルから抽出したサンプルを用いて,問題の対数類似度を近似し,未知のモデルパラメータを推定する方法とを交互に比較する。
論文 参考訳（メタデータ） (2023-09-01T06:47:13Z) - A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳（メタデータ） (2023-05-31T15:33:16Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳（メタデータ） (2023-04-10T17:54:38Z) - Accelerating Guided Diffusion Sampling with Splitting Numerical Methods [8.689906452450938]
近年の手法は, サンプリングプロセスに高次数値法を適用することにより, 無誘導サンプリングを高速化することができる。
本稿では,この問題の原因を考察し,演算子分割法に基づく解を提供する。
提案手法は,高次サンプリング手法を再利用し,250ステップのDDIMベースラインと同じ画質の画像を生成できる。
論文 参考訳（メタデータ） (2023-01-27T06:48:29Z) - On Distillation of Guided Diffusion Models [94.95228078141626]
そこで本研究では,分類器を含まない誘導拡散モデルから抽出し易いモデルへ抽出する手法を提案する。
画素空間上で訓練された標準拡散モデルに対して,本手法は元のモデルに匹敵する画像を生成することができる。
遅延空間で訓練された拡散モデル(例えば、安定拡散)に対して、我々の手法は1から4段階のデノナイジングステップで高忠実度画像を生成することができる。
論文 参考訳（メタデータ） (2022-10-06T18:03:56Z) - Come-Closer-Diffuse-Faster: Accelerating Conditional Diffusion Models
for Inverse Problems through Stochastic Contraction [31.61199061999173]
拡散モデルには重要な欠点がある。純粋なガウスノイズから画像を生成するために数千ステップの反復を必要とするため、サンプリングが本質的に遅い。
ガウスノイズから始めることは不要であることを示す。代わりに、より優れた初期化を伴う単一前方拡散から始めると、逆条件拡散におけるサンプリングステップの数を大幅に減少させる。
ComeCloser-DiffuseFaster (CCDF)と呼ばれる新しいサンプリング戦略は、逆問題に対する既存のフィードフォワードニューラルネットワークアプローチが拡散モデルと相乗的に組み合わせられる方法について、新たな洞察を明らかにしている。
論文 参考訳（メタデータ） (2021-12-09T04:28:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。