論文の概要: Sampler Scheduler for Diffusion Models
- arxiv url: http://arxiv.org/abs/2311.06845v1
- Date: Sun, 12 Nov 2023 13:35:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 16:44:12.251880
- Title: Sampler Scheduler for Diffusion Models
- Title（参考訳）: 拡散モデルのためのサンプリングスケジューラ
- Authors: Zitong Cheng
- Abstract要約: 拡散モデリング(DM)は高品質な生成性能を有する。
現在、拡散に基づく生成モデルに対するサンプルには矛盾がある。
そこで本研究では,同じサンプリングプロセスの異なるサンプリングステップにおいて,異なるサンプリングスケジューラ(ODE/SDE)を使用することの実現可能性を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion modeling (DM) has high-quality generative performance, and the
sampling problem is an important part of the DM performance. Thanks to
efficient differential equation solvers, the sampling speed can be reduced
while higher sampling quality is guaranteed. However, currently, there is a
contradiction in samplers for diffusion-based generative models: the mainstream
sampler choices are diverse, each with its own characteristics in terms of
performance. However, only a single sampler algorithm can be specified on all
sampling steps in the generative process. This often makes one torn between
sampler choices; in other words, it makes it difficult to fully utilize the
advantages of each sampler. In this paper, we propose the feasibility of using
different samplers (ODE/SDE) on different sampling steps of the same sampling
process based on analyzing and generalizing the updating formulas of each
mainstream sampler, and experimentally demonstrate that such a multi-sampler
scheduling improves the sampling results to some extent. In particular, we also
verify that the combination of using SDE in the early sampling steps and ODE in
the later sampling steps solves the inherent problems previously caused by
using both singly. We show that our design changes improve the sampling
efficiency and quality in previous work. For instance, when Number of Function
Evaluations (NFE) = 24, the ODE Sampler Scheduler achieves a FID score of 1.91
on the CIFAR-10 dataset, compared to 2.02 for DPM++ 2M, 1.97 for DPM2, and
11.90 for Heun for the same NFE. Meanwhile the Sampler Scheduler with the
combined scheduling of SDE and ODE reaches 1.899, compared to 18.63 for Euler
a, 3.14 for DPM2 a and 23.14 for DPM++ SDE.
- Abstract（参考訳）: 拡散モデリング(DM)は高品質な生成性能を有し,サンプリング問題はDM性能の重要な部分である。
効率的な微分方程式解法によりサンプリング速度を低減でき、より高いサンプリング品質が保証される。
しかし、現在、拡散に基づく生成モデルに対するサンプルには矛盾があり、メインストリームのサンプル選択は多様であり、それぞれが性能の点で独自の特性を持っている。
しかし、生成過程のすべてのサンプリングステップにおいて、単一のサンプリングアルゴリズムしか特定できない。
言い換えれば、各サンプルの利点を十分に活用することは困難である。
本稿では,本論文では,各サンプルの更新式を解析・一般化し,同一サンプリングプロセスの異なるサンプリングステップで異なるサンプリング器(ode/sde)を使用することが,サンプリング結果をある程度改善できることを実験的に実証する。
特に,初期サンプリングステップにおけるSDEと,後期サンプリングステップにおけるODEの組み合わせは,両者を単独で使用することによる本質的な問題を解くことも確認した。
設計変更により,過去の作業におけるサンプリング効率と品質が向上することを示す。
例えば、NFE (Number of Function Evaluations) = 24のとき、ODE Sampler SchedulerはCIFAR-10データセットのFIDスコアが1.91であるのに対して、DPM++ 2Mの2.02、DPM2の 1.97、同じNFEの 11.90 である。
一方、SDEとODEのスケジューリングを組み合わせたSampler Schedulerは、Euler aの18.63、DPM2 aの3.14、DPM++ SDEの23.14に対して1.899に達する。
関連論文リスト
- Accelerating Diffusion Sampling with Optimized Time Steps [69.21208434350567]
拡散確率モデル(DPM)は高分解能画像合成において顕著な性能を示した。
彼らのサンプリング効率は、通常多くのサンプリングステップのため、依然として望まれている。
DPM用高次数値ODEソルバの最近の進歩により、サンプリングステップがはるかに少ない高品質な画像の生成が可能になった。
論文 参考訳（メタデータ） (2024-02-27T10:13:30Z) - Towards Fast Stochastic Sampling in Diffusion Generative Models [22.01769257075573]
拡散モデルは、推論時に遅いサンプル生成に悩まされる。
拡張空間における事前学習拡散モデルにおける高速サンプリングのための分割法を提案する。
本研究では,スプリッティングの単純適用が高速サンプリングに最適であることを示す。
論文 参考訳（メタデータ） (2024-02-11T14:04:13Z) - SA-Solver: Stochastic Adams Solver for Fast Sampling of Diffusion Models [66.67616086310662]
拡散確率モデル(DPM)は生成タスクでかなりの成功を収めた。
DPM からのサンプリングは、時間を要する拡散 SDE や ODE の解法と等価であるため、改良された微分方程式解法に基づく多数の高速サンプリング手法が提案されている。
拡散SDEを解くための効率の良いAdams法であるSA-of-rを提案する。
論文 参考訳（メタデータ） (2023-09-10T12:44:54Z) - Restart Sampling for Improving Generative Processes [30.745245429072735]
ODEベースのサンプリングは高速であるが,SDEベースのサンプリングはサンプリング時間の増加を犠牲にして高い品質のサンプルを提供する。
本稿では,離散化誤差と収縮のバランスを改善するために,Restartと呼ばれる新しいサンプリングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-06-26T17:48:25Z) - Parallel Sampling of Diffusion Models [76.3124029406809]
拡散モデルは強力な生成モデルであるが、サンプリングが遅い。
そこで本研究では,複数のステップを並列にdenoisingすることで,事前学習した拡散モデルのサンプリングを高速化するParaDiGMSを提案する。
論文 参考訳（メタデータ） (2023-05-25T17:59:42Z) - Fast Diffusion Probabilistic Model Sampling through the lens of Backward
Error Analysis [26.907301901503835]
拡散確率モデル (DDPM) は強力な生成モデルの一種である。
DDPMは通常、サンプルを生成するために数百から数千の連続関数評価(ステップ)を必要とする。
本稿では,高い試料品質を維持しつつ,ステップの少ないDDPMの高速サンプリング法を開発することを目的とする。
論文 参考訳（メタデータ） (2023-04-22T16:58:47Z) - Preconditioned Score-based Generative Models [49.88840603798831]
直感的な加速度法はサンプリングの繰り返しを減らし、しかしながら重大な性能劣化を引き起こす。
本稿では,行列プレコンディショニングを利用したモデル非依存型bfem事前条件拡散サンプリング(PDS)手法を提案する。
PDSは、バニラSGMのサンプリングプロセスを限界余剰計算コストで変更し、モデルの再訓練を行わない。
論文 参考訳（メタデータ） (2023-02-13T16:30:53Z) - UniPC: A Unified Predictor-Corrector Framework for Fast Sampling of
Diffusion Models [92.43617471204963]
拡散確率モデル(DPM)は高分解能画像合成において非常に有望な能力を示した。
我々は既存のDPMサンプリング器の後に適用可能な統一補正器(UniC)を開発し、精度を向上する。
そこで我々は,DPMの高速サンプリングのためのUniPCと呼ばれる統合予測器・相関器フレームワークを提案する。
論文 参考訳（メタデータ） (2023-02-09T18:59:48Z) - DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic
Models [45.612477740555406]
DPM-r++はDPMのガイドサンプリングのための高次解法である。
DPM-r++は15から20ステップで高品質なサンプルを生成できることを示す。
論文 参考訳（メタデータ） (2022-11-02T13:14:30Z) - DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling
in Around 10 Steps [45.612477740555406]
拡散確率モデル(DPM)は、新たな強力な生成モデルである。
DPM-rは離散時間と連続時間の両方に適しており、それ以上の訓練は行わない。
CIFAR10データセットを用いた関数評価では,10の関数評価で4.70 FID,20の関数評価で2.87 FIDを実現している。
論文 参考訳（メタデータ） (2022-06-02T08:43:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。