論文の概要: Optimal Convergence Analysis of DDPM for General Distributions
- arxiv url: http://arxiv.org/abs/2510.27562v1
- Date: Fri, 31 Oct 2025 15:44:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-03 17:52:16.155679
- Title: Optimal Convergence Analysis of DDPM for General Distributions
- Title（参考訳）: 一般分布におけるDDPMの最適収束解析
- Authors: Yuchen Jiao, Yuchen Zhou, Gen Li,
- Abstract要約: Denoising Diffusion Probabilistic Model (DDPM)は最も広く使われているサンプルの一つである。
DDPM試料の精密収束解析を行った。
我々の収束解析は、広範囲な対象分布に対して厳密であることを示す。
- 参考スコア（独自算出の注目度）: 11.155024379105788
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Score-based diffusion models have achieved remarkable empirical success in generating high-quality samples from target data distributions. Among them, the Denoising Diffusion Probabilistic Model (DDPM) is one of the most widely used samplers, generating samples via estimated score functions. Despite its empirical success, a tight theoretical understanding of DDPM -- especially its convergence properties -- remains limited. In this paper, we provide a refined convergence analysis of the DDPM sampler and establish near-optimal convergence rates under general distributional assumptions. Specifically, we introduce a relaxed smoothness condition parameterized by a constant $L$, which is small for many practical distributions (e.g., Gaussian mixture models). We prove that the DDPM sampler with accurate score estimates achieves a convergence rate of $$\widetilde{O}\left(\frac{d\min\{d,L^2\}}{T^2}\right)~\text{in Kullback-Leibler divergence},$$ where $d$ is the data dimension, $T$ is the number of iterations, and $\widetilde{O}$ hides polylogarithmic factors in $T$. This result substantially improves upon the best-known $d^2/T^2$ rate when $L < \sqrt{d}$. By establishing a matching lower bound, we show that our convergence analysis is tight for a wide array of target distributions. Moreover, it reveals that DDPM and DDIM share the same dependence on $d$, raising an interesting question of why DDIM often appears empirically faster.
- Abstract（参考訳）: スコアベース拡散モデルでは、ターゲットデータ分布から高品質なサンプルを生成するという実験的な成功が達成されている。
そのなかで、Denoising Diffusion Probabilistic Model (DDPM) は最も広く使われているサンプルの1つであり、推定スコア関数を用いてサンプルを生成する。
実験的な成功にもかかわらず、DDPM(特に収束特性)の厳密な理論的理解は依然として限られている。
本稿では、DDPMサンプリング器の洗練された収束解析を行い、一般分布仮定の下でほぼ最適収束率を確立する。
具体的には、定数$L$でパラメータ化された緩和された滑らかさ条件を導入し、これは多くの実用的な分布(例えばガウス混合モデル)に対して小さい。
正確なスコア推定値を持つDDPMサンプリング器は、$$$\widetilde{O}\left(\frac{d\min\{d,L^2\}}{T^2}\right)~\text{in Kullback-Leibler divergence},$$$,$d$がデータ次元、$T$が反復数、$\widetilde{O}$が多変数因子を隠蔽する。
この結果は、$L < \sqrt{d}$のとき、最もよく知られた$d^2/T^2$レートで大幅に改善される。
一致した下界を確立することにより, 対象分布の広い範囲に対して収束解析が厳密であることを示す。
さらに、DDPMとDDIMが$d$にも依存していることが明らかとなり、なぜDDIMが実験的に速く見えるのかという興味深い疑問が提起された。
関連論文リスト
- Generalization Properties of Score-matching Diffusion Models for Intrinsically Low-dimensional Data [32.72306410557258]
有限個のサンプルから未知分布の$$を学習するためのスコアベース拡散モデルの統計的収束について検討する。
以上の結果から,拡散モデルがデータ固有の幾何学に自然に適応していることが示唆された。
我々の理論は, 拡散モデルの解析を, GANと最適輸送で確立された急激なミニマックス速度で橋渡しするものである。
論文 参考訳（メタデータ） (2026-03-04T03:59:02Z) - O(d/T) Convergence Theory for Diffusion Probabilistic Models under Minimal Assumptions [6.76974373198208]
最小の仮定の下で,拡散確率モデル(DDPM)の高速収束理論を確立する。
収束率は$O(k/T)$に改善され、$k$は対象データ分布の内在次元であることを示す。
これはDDPMが未知の低次元構造に自動的に適応する能力を強調している。
論文 参考訳（メタデータ） (2024-09-27T17:59:10Z) - Non-asymptotic bounds for forward processes in denoising diffusions: Ornstein-Uhlenbeck is hard to beat [49.1574468325115]
本稿では,全変動(TV)における前方拡散誤差の非漸近的境界について述べる。
我々は、R$からFarthestモードまでの距離でマルチモーダルデータ分布をパラメライズし、加法的および乗法的雑音による前方拡散を考察する。
論文 参考訳（メタデータ） (2024-08-25T10:28:31Z) - Convergence Analysis of Probability Flow ODE for Score-based Generative Models [5.939858158928473]
確率フローODEに基づく決定論的サンプリング器の収束特性を理論的・数値的両面から検討する。
連続時間レベルでは、ターゲットと生成されたデータ分布の総変動を$mathcalO(d3/4delta1/2)$で表すことができる。
論文 参考訳（メタデータ） (2024-04-15T12:29:28Z) - Minimax Optimality of Score-based Diffusion Models: Beyond the Density Lower Bound Assumptions [11.222970035173372]
カーネルベースのスコア推定器は$widetildeOleft(n-1 t-fracd+22(tfracd2 vee 1)rightの最適平均二乗誤差を達成する
核を用いたスコア推定器は,拡散モデルで生成した試料の分布の総変動誤差に対して,極小ガウスの下での最大平均2乗誤差を$widetildeOleft(n-1/2 t-fracd4right)$上界で達成することを示す。
論文 参考訳（メタデータ） (2024-02-23T20:51:31Z) - Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach [49.97755400231656]
本研究では,新しいDDPMサンプリング器が,これまで考慮されていなかった3種類の分散クラスに対して高速化性能を実現することを示す。
この結果から, DDPM型加速サンプリング器におけるデータ次元$d$への依存性が改善された。
論文 参考訳（メタデータ） (2024-02-21T16:11:47Z) - Nearly $d$-Linear Convergence Bounds for Diffusion Models via Stochastic
Localization [40.808942894229325]
データ次元において線形である第1収束境界を提供する。
拡散モデルは任意の分布を近似するために少なくとも$tilde O(fracd log2(1/delta)varepsilon2)$ stepsを必要とすることを示す。
論文 参考訳（メタデータ） (2023-08-07T16:01:14Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳（メタデータ） (2023-06-15T16:30:08Z) - Stochastic Approximation Approaches to Group Distributionally Robust Optimization and Beyond [89.72693227960274]
本稿では,グループ分散ロバスト最適化 (GDRO) を,$m$以上の異なる分布をうまく処理するモデルを学習する目的で検討する。
各ラウンドのサンプル数を$m$から1に抑えるため、GDROを2人でプレイするゲームとして、一方のプレイヤーが実行し、他方のプレイヤーが非公開のマルチアームバンディットのオンラインアルゴリズムを実行する。
第2のシナリオでは、最大リスクではなく、平均的最上位k$リスクを最適化し、分散の影響を軽減することを提案する。
論文 参考訳（メタデータ） (2023-02-18T09:24:15Z) - A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。
ブレグマン最小化の発散の観点から一般的な枠組みを開発する。
我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
論文 参考訳（メタデータ） (2021-12-07T01:23:20Z) - Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and
Variance Reduction [63.41789556777387]
非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。
Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
論文 参考訳（メタデータ） (2020-06-04T17:51:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。