論文の概要: Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models
- arxiv url: http://arxiv.org/abs/2306.09251v3
- Date: Thu, 7 Mar 2024 03:30:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-08 18:18:09.840815
- Title: Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models
- Title(参考訳): 拡散型生成モデルにおける非漸近収束の高速化に向けて
- Authors: Gen Li, Yuting Wei, Yuxin Chen, Yuejie Chi
- Abstract要約: 我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
- 参考スコア(独自算出の注目度): 49.81937966106691
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion models, which convert noise into new data instances by learning to
reverse a Markov diffusion process, have become a cornerstone in contemporary
generative modeling. While their practical power has now been widely
recognized, the theoretical underpinnings remain far from mature. In this work,
we develop a suite of non-asymptotic theory towards understanding the data
generation process of diffusion models in discrete time, assuming access to
$\ell_2$-accurate estimates of the (Stein) score functions. For a popular
deterministic sampler (based on the probability flow ODE), we establish a
convergence rate proportional to $1/T$ (with $T$ the total number of steps),
improving upon past results; for another mainstream stochastic sampler (i.e., a
type of the denoising diffusion probabilistic model), we derive a convergence
rate proportional to $1/\sqrt{T}$, matching the state-of-the-art theory.
Imposing only minimal assumptions on the target data distribution (e.g., no
smoothness assumption is imposed), our results characterize how $\ell_2$ score
estimation errors affect the quality of the data generation processes. In
contrast to prior works, our theory is developed based on an elementary yet
versatile non-asymptotic approach without resorting to toolboxes for SDEs and
ODEs. Further, we design two accelerated variants, improving the convergence to
$1/T^2$ for the ODE-based sampler and $1/T$ for the DDPM-type sampler, which
might be of independent theoretical and empirical interest.
- Abstract(参考訳): マルコフ拡散過程を逆転するために学習することでノイズを新しいデータインスタンスに変換する拡散モデルは、現代の生成モデリングの基盤となっている。
実用的能力は広く認識されているが、理論的基盤は成熟していない。
本研究では,拡散モデルのデータ生成過程を離散時間で理解するための漸近的でない理論の組を開発し,(Stein)スコア関数の$\ell_2$-accurate推定値へのアクセスを仮定する。
一般的な決定論的サンプリング器(確率フローODEに基づく)では、1/T$(ステップ総数$T$)に比例して収束率を確立し、過去の結果により改善し、他の主流確率的サンプリング器(例えば、偏微分確率モデルの一種)では、1/\sqrt{T}$に比例して収束率を導出し、最先端技術理論と整合する。
対象のデータ分布に最小限の仮定(例えば、滑らかさの仮定は課されない)を課すことで、結果が$\ell_2$スコア推定誤差がデータ生成プロセスの品質に与える影響を特徴づける。
従来の研究とは対照的に,本理論はSDEやODEのツールボックスに頼らずに,基本的かつ多目的な非漸近的アプローチに基づいて開発されている。
さらに、2つの加速変種を設計し、その収束性を改善してODE-based samplerに1/T^2$、DDPM-type samplerに1/T$とする。
関連論文リスト
- Accelerating Convergence of Score-Based Diffusion Models, Provably [44.11766377798812]
スコアベース拡散モデルはしばしばサンプリングフェーズで必要とされる広範な機能評価のためにサンプリング速度の低下に悩まされる。
我々は、一般的な決定論的(DDIM)および(DDPM)サンプリングを高速化する、新しいトレーニングフリーアルゴリズムを設計する。
我々の理論は、$ell$-accurate score estimatesを許容し、ターゲット分布に対数凹凸や滑らかさを必要としない。
論文 参考訳(メタデータ) (2024-03-06T17:02:39Z) - Discrete Diffusion Modeling by Estimating the Ratios of the Data
Distribution [76.33705947080871]
離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。
標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
論文 参考訳(メタデータ) (2023-10-25T17:59:12Z) - Distribution learning via neural differential equations: a nonparametric
statistical perspective [1.4436965372953483]
この研究は、確率変換によって訓練されたODEモデルによる分布学習のための最初の一般統計収束解析を確立する。
後者はクラス $mathcal F$ の$C1$-metric entropy で定量化できることを示す。
次に、この一般フレームワークを$Ck$-smoothターゲット密度の設定に適用し、関連する2つの速度場クラスに対する最小最適収束率を$mathcal F$:$Ck$関数とニューラルネットワークに設定する。
論文 参考訳(メタデータ) (2023-09-03T00:21:37Z) - Exploring the Optimal Choice for Generative Processes in Diffusion
Models: Ordinary vs Stochastic Differential Equations [6.2284442126065525]
ゼロ拡散(ODE)の場合と大きな拡散の場合の2つの制限シナリオについて数学的に検討する。
その結果, 生成過程の終端に摂動が発生すると, ODEモデルは大きな拡散係数でSDEモデルより優れることがわかった。
論文 参考訳(メタデータ) (2023-06-03T09:27:15Z) - A Geometric Perspective on Diffusion Models [60.69328526215776]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングを検証し,そのサンプリングダイナミクスの興味深い構造を明らかにした。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳(メタデータ) (2023-05-31T15:33:16Z) - Improved Convergence of Score-Based Diffusion Models via
Prediction-Correction [17.726510286383697]
スコアベース生成モデル(SGM)は、複雑なデータ分布からサンプリングする強力なツールである。
本稿では,一般的な予測器・相関器方式のバージョンを考慮し,この問題に対処する。
まず、不正確なランゲヴィン力学を用いて最終分布を推定し、次にその過程を逆転する。
論文 参考訳(メタデータ) (2023-05-23T15:29:09Z) - Restoration-Degradation Beyond Linear Diffusions: A Non-Asymptotic
Analysis For DDIM-Type Samplers [90.45898746733397]
本研究では拡散生成モデルに用いる決定論的サンプリング器の非漸近解析のためのフレームワークを開発する。
確率フローODEに沿った1ステップは,1) 条件付き対数線上を無限に先行して上昇する回復ステップ,2) 雑音を現在の勾配に向けて前向きに進行する劣化ステップの2段階で表すことができる。
論文 参考訳(メタデータ) (2023-03-06T18:59:19Z) - Convergence for score-based generative modeling with polynomial
complexity [9.953088581242845]
我々は、Scoreベースの生成モデルの背後にあるコアメカニックに対する最初の収束保証を証明した。
以前の作品と比較すると、時間的に指数関数的に増加するエラーや、次元の呪いに苦しむエラーは発生しない。
予測器・相関器はどちらの部分のみを使用するよりも収束性が高いことを示す。
論文 参考訳(メタデータ) (2022-06-13T14:57:35Z) - How Much is Enough? A Study on Diffusion Times in Score-based Generative
Models [76.76860707897413]
現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。
本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
論文 参考訳(メタデータ) (2022-06-10T15:09:46Z) - Score-Based Generative Modeling through Stochastic Differential
Equations [114.39209003111723]
複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。
対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。
スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。
スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
論文 参考訳(メタデータ) (2020-11-26T19:39:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。