論文の概要: Convergence of the denoising diffusion probabilistic models for general noise schedules
- arxiv url: http://arxiv.org/abs/2406.01320v6
- Date: Mon, 04 Aug 2025 14:51:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-05 14:07:55.287814
- Title: Convergence of the denoising diffusion probabilistic models for general noise schedules
- Title(参考訳): 一般騒音スケジュールに対する騒音拡散確率モデルの収束性
- Authors: Yumiharu Nakano,
- Abstract要約: 本稿では,従来の離散時間定式化における拡散確率モデル(DDPM)の理論収束解析について述べる。
DDPMアルゴリズムのサンプリング分布と所定の対象データ分布との間の全変動距離について、明示的な上限を導出する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a theoretical convergence analysis of a denoising diffusion probabilistic model (DDPM) in its original discrete-time formulation introduced by Ho, Jain, and Abbeel (Advances in Neural Information Processing Systems}, 33 (2020), 6840-6851). We derive an explicit upper bound for the total variation distance between the sampling distribution of the discrete-time DDPM algorithm and a given target data distribution, under general noise schedule parameters. Our analysis requires only mild regularity assumptions on the data distribution and a linear growth condition on the estimated score function. The sampling scheme is interpreted as an exponential-integrator-type approximation of a reverse-time stochastic differential equation (SDE) over a finite time horizon. Tools from the Schr\"odinger problem are employed to control the distributional error in reverse time and connect it to its forward-time counterpart. Moreover, the score function in DDPMs naturally appears as an adapted solution of a forward-backward SDE, providing a basis for analyzing the time-discretization error in reverse-time SDE sampling.
- Abstract(参考訳): 本稿では,Ho,Jain,Abbeel (Advancess in Neural Information Processing Systems, 33 (2020), 6840-6851) が導入した独自の離散時間定式化における拡散確率モデル(DDPM)の理論的収束解析について述べる。
本研究では、離散時間DDPMアルゴリズムのサンプリング分布と所定の目標データ分布との合計変動距離について、一般的なノイズスケジュールパラメータの下で明示的な上限を導出する。
本分析では,データ分布と推定スコア関数の線形成長条件について,緩やかな正則性仮定しか必要としない。
サンプリングスキームは、有限時間地平線上の逆時間確率微分方程式(SDE)の指数積分子型近似として解釈される。
Schr\"odinger 問題からのツールを使用して、逆時間で分布誤差を制御し、前時と接続する。
さらに,DDPMのスコア関数は,逆時間SDEサンプリングにおける時間分散誤差解析の基礎となる前方SDEの適応解として自然に現れる。
関連論文リスト
- Generative Latent Neural PDE Solver using Flow Matching [8.397730500554047]
低次元の潜伏空間にPDE状態を埋め込んだPDEシミュレーションのための潜伏拡散モデルを提案する。
我々のフレームワークは、オートエンコーダを使用して、異なるタイプのメッシュを統一された構造化潜在グリッドにマッピングし、複雑なジオメトリをキャプチャします。
数値実験により,提案モデルは,精度と長期安定性の両方において,決定論的ベースラインよりも優れていた。
論文 参考訳(メタデータ) (2025-03-28T16:44:28Z) - Finite-Time Analysis of Discrete-Time Stochastic Interpolants [32.27430900126022]
補間フレームワークの最初の離散時間解析を行い、分布推定誤差の有限時間上限を導出する。
この結果は収束加速のための効率的なスケジュールを設計するための新しい方法を提供する。
論文 参考訳(メタデータ) (2025-02-13T10:07:35Z) - Discrete vs. Continuous Trade-offs for Generative Models [0.0]
本研究は拡散確率モデル(DDPM)の理論的および実践的基礎を探求する。
プロセスとブラウン運動を利用して複雑なデータ分布をモデル化するDDPMとスコアベース生成モデル。
論文 参考訳(メタデータ) (2024-12-26T08:14:27Z) - Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。
本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。
我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
論文 参考訳(メタデータ) (2024-10-03T09:07:13Z) - Non-asymptotic bounds for forward processes in denoising diffusions: Ornstein-Uhlenbeck is hard to beat [49.1574468325115]
本稿では,全変動(TV)における前方拡散誤差の非漸近的境界について述べる。
我々は、R$からFarthestモードまでの距離でマルチモーダルデータ分布をパラメライズし、加法的および乗法的雑音による前方拡散を考察する。
論文 参考訳(メタデータ) (2024-08-25T10:28:31Z) - On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。
本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
論文 参考訳(メタデータ) (2024-05-18T15:59:41Z) - Online Identification of Stochastic Continuous-Time Wiener Models Using
Sampled Data [4.037738063437126]
連続時間ウィナーモデルの同定のための出力エラー予測器に基づくオンライン推定アルゴリズムを開発した。
この方法は、外乱過程のスペクトルに関する仮定に対して堅牢である。
論文 参考訳(メタデータ) (2024-03-09T12:33:09Z) - Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals [3.4240632942024685]
ポテンシャル関数が支配する分布からサンプリングする問題を考察する。
本研究は, 決定論的な楽譜に基づくMCMC法を提案し, 粒子に対する決定論的進化をもたらす。
論文 参考訳(メタデータ) (2023-08-28T23:51:33Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳(メタデータ) (2023-06-27T08:15:28Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳(メタデータ) (2023-06-13T01:18:16Z) - A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳(メタデータ) (2023-05-31T15:33:16Z) - Interacting Particle Langevin Algorithm for Maximum Marginal Likelihood
Estimation [2.53740603524637]
我々は,最大限界推定法を実装するための相互作用粒子系のクラスを開発する。
特に、この拡散の定常測度のパラメータ境界がギブス測度の形式であることを示す。
特定の再スケーリングを用いて、このシステムの幾何学的エルゴディディティを証明し、離散化誤差を限定する。
時間的に一様で、粒子の数で増加しない方法で。
論文 参考訳(メタデータ) (2023-03-23T16:50:08Z) - Score-based Diffusion Models in Function Space [137.70916238028306]
拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。
この研究は、関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)と呼ばれる数学的に厳密なフレームワークを導入する。
データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
論文 参考訳(メタデータ) (2023-02-14T23:50:53Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳(メタデータ) (2022-11-30T05:33:29Z) - Diffusion Schr\"odinger Bridge with Applications to Score-Based
Generative Modeling [24.46142828617484]
Diffusion SB は、Schr"odinger Bridge 問題を解くために、Iterative Proportional Fitting (IPF) 手順のオリジナル近似である。
本稿では,SB問題の解法としてIterative Proportional Fitting (IPF) 法のオリジナル近似であるDiffusion SBを提案する。
論文 参考訳(メタデータ) (2021-06-01T17:34:27Z) - The Connection between Discrete- and Continuous-Time Descriptions of
Gaussian Continuous Processes [60.35125735474386]
我々は、一貫した推定子をもたらす離散化が粗粒化下での不変性を持つことを示す。
この結果は、導関数再構成のための微分スキームと局所時間推論アプローチの組み合わせが、2次または高次微分方程式の時系列解析に役立たない理由を説明する。
論文 参考訳(メタデータ) (2021-01-16T17:11:02Z) - Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。
次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
論文 参考訳(メタデータ) (2020-01-31T23:50:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。