論文の概要: Fast Diffusion Probabilistic Model Sampling through the lens of Backward Error Analysis

• arxiv url: http://arxiv.org/abs/2304.11446v1
• Date: Sat, 22 Apr 2023 16:58:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 18:19:34.971940
• Title: Fast Diffusion Probabilistic Model Sampling through the lens of Backward Error Analysis
• Title（参考訳）: 後方誤差解析のレンズによる高速拡散確率モデルサンプリング
• Authors: Yansong Gao, Zhihong Pan, Xin Zhou, Le Kang, Pratik Chaudhari
• Abstract要約: 拡散確率モデル (DDPM) は強力な生成モデルの一種である。 DDPMは通常、サンプルを生成するために数百から数千の連続関数評価(ステップ)を必要とする。 本稿では,高い試料品質を維持しつつ,ステップの少ないDDPMの高速サンプリング法を開発することを目的とする。
• 参考スコア（独自算出の注目度）: 26.907301901503835
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Denoising diffusion probabilistic models (DDPMs) are a class of powerful generative models. The past few years have witnessed the great success of DDPMs in generating high-fidelity samples. A significant limitation of the DDPMs is the slow sampling procedure. DDPMs generally need hundreds or thousands of sequential function evaluations (steps) of neural networks to generate a sample. This paper aims to develop a fast sampling method for DDPMs requiring much fewer steps while retaining high sample quality. The inference process of DDPMs approximates solving the corresponding diffusion ordinary differential equations (diffusion ODEs) in the continuous limit. This work analyzes how the backward error affects the diffusion ODEs and the sample quality in DDPMs. We propose fast sampling through the \textbf{Restricting Backward Error schedule (RBE schedule)} based on dynamically moderating the long-time backward error. Our method accelerates DDPMs without any further training. Our experiments show that sampling with an RBE schedule generates high-quality samples within only 8 to 20 function evaluations on various benchmark datasets. We achieved 12.01 FID in 8 function evaluations on the ImageNet $128\times128$, and a $20\times$ speedup compared with previous baseline samplers.
• Abstract（参考訳）: denoising diffusion probabilistic models (ddpms) は強力な生成モデルの一種である。 過去数年間、DDPMが高忠実度サンプルを生成する大きな成功を目撃してきた。 DDPMの顕著な制限は、遅いサンプリング手順である。 DDPMは通常、サンプルを生成するために数百から数千の連続関数評価(ステップ)を必要とする。 本稿では,高い試料品質を維持しつつ,ステップの少ないDDPMの高速サンプリング法を提案する。 DDPMの推論過程は、連続極限における対応する拡散常微分方程式(拡散ODE)を近似する。 この研究は、DDPMの拡散ODEとサンプル品質に後方誤差がどう影響するかを分析する。 本稿では,長時間の逆方向誤差を動的に変調することに基づいて, RBEスケジュール(textbf{Restricting Backward Error schedule)を高速サンプリングする手法を提案する。 我々の手法はDDPMをそれ以上の訓練なしに加速する。 実験の結果,rbeスケジュールによるサンプリングは,ベンチマークデータセット上で8～20の機能評価で高品質なサンプルを生成することがわかった。 我々は、ImageNet $128\times128$で8つの関数評価で12.01 FIDを達成し、以前のベースラインサンプリングよりも20\times$のスピードアップを実現した。

関連論文リスト

• UDPM: Upsampling Diffusion Probabilistic Models [33.51145642279836]
  拡散確率モデル(DDPM、Denoising Diffusion Probabilistic Models)は近年注目されている。 DDPMは逆プロセスを定義することによって複雑なデータ分布から高品質なサンプルを生成する。 生成逆数ネットワーク(GAN)とは異なり、拡散モデルの潜伏空間は解釈できない。 本研究では,デノナイズ拡散過程をUDPM(Upsampling Diffusion Probabilistic Model)に一般化することを提案する。
  論文  参考訳（メタデータ） (2023-05-25T17:25:14Z)
• Alleviating Exposure Bias in Diffusion Models through Sampling with Shifted Time Steps [23.144083737873263]
  拡散確率モデル (DPM) は高品質な画像の合成において顕著な有効性を示した。 これまでの研究は、トレーニング中に入力を摂動することでこの問題を緩和しようと試みてきた。 モデルを再学習することなく,提案する新しいサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T21:39:27Z)
• DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models [45.612477740555406]
  DPM-r++はDPMのガイドサンプリングのための高次解法である。 DPM-r++は15から20ステップで高品質なサンプルを生成できることを示す。
  論文  参考訳（メタデータ） (2022-11-02T13:14:30Z)
• DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps [45.612477740555406]
  拡散確率モデル(DPM)は、新たな強力な生成モデルである。 DPM-rは離散時間と連続時間の両方に適しており、それ以上の訓練は行わない。 CIFAR10データセットを用いた関数評価では,10の関数評価で4.70 FID,20の関数評価で2.87 FIDを実現している。
  論文  参考訳（メタデータ） (2022-06-02T08:43:16Z)
• Accelerating Diffusion Models via Early Stop of the Diffusion Process [114.48426684994179]
  Denoising Diffusion Probabilistic Models (DDPM) は、様々な世代タスクにおいて優れたパフォーマンスを実現している。 実際には、DDPMは高品質なサンプルを得るために何十万ものデノナイジングステップを必要とすることが多い。 本稿では,DDPMの早期停止型DDPM(Early-Stopped DDPM, ES-DDPM)の原理的高速化戦略を提案する。
  論文  参考訳（メタデータ） (2022-05-25T06:40:09Z)
• Pseudo Numerical Methods for Diffusion Models on Manifolds [77.40343577960712]
  Denoising Diffusion Probabilistic Models (DDPM) は、画像やオーディオサンプルなどの高品質なサンプルを生成することができる。 DDPMは最終的なサンプルを生成するために数百から数千のイテレーションを必要とする。 拡散モデル(PNDM)の擬似数値法を提案する。 PNDMは、1000段DDIM(20倍の高速化)と比較して、50段の精度で高品質な合成画像を生成することができる
  論文  参考訳（メタデータ） (2022-02-20T10:37:52Z)
• Learning to Efficiently Sample from Diffusion Probabilistic Models [49.58748345998702]
  Denoising Diffusion Probabilistic Models (DDPM) は、様々な領域にわたる高忠実度サンプルと競合する対数類似度が得られる。 我々は,事前学習したDDPMに対して最適な離散時間スケジュールを求める,正確な動的プログラミングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T17:15:07Z)
• Denoising Diffusion Implicit Models [117.03720513930335]
  DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。 DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
  論文  参考訳（メタデータ） (2020-10-06T06:15:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。