論文の概要: Optimal Convergence Analysis of DDPM for General Distributions

• arxiv url: http://arxiv.org/abs/2510.27562v1
• Date: Fri, 31 Oct 2025 15:44:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 17:52:16.155679
• Title: Optimal Convergence Analysis of DDPM for General Distributions
• Title（参考訳）: 一般分布におけるDDPMの最適収束解析
• Authors: Yuchen Jiao, Yuchen Zhou, Gen Li,
• Abstract要約: Denoising Diffusion Probabilistic Model (DDPM)は最も広く使われているサンプルの一つである。 DDPM試料の精密収束解析を行った。 我々の収束解析は、広範囲な対象分布に対して厳密であることを示す。
• 参考スコア（独自算出の注目度）: 11.155024379105788
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Score-based diffusion models have achieved remarkable empirical success in generating high-quality samples from target data distributions. Among them, the Denoising Diffusion Probabilistic Model (DDPM) is one of the most widely used samplers, generating samples via estimated score functions. Despite its empirical success, a tight theoretical understanding of DDPM -- especially its convergence properties -- remains limited. In this paper, we provide a refined convergence analysis of the DDPM sampler and establish near-optimal convergence rates under general distributional assumptions. Specifically, we introduce a relaxed smoothness condition parameterized by a constant $L$, which is small for many practical distributions (e.g., Gaussian mixture models). We prove that the DDPM sampler with accurate score estimates achieves a convergence rate of $$\widetilde{O}\left(\frac{d\min\{d,L^2\}}{T^2}\right)~\text{in Kullback-Leibler divergence},$$ where $d$ is the data dimension, $T$ is the number of iterations, and $\widetilde{O}$ hides polylogarithmic factors in $T$. This result substantially improves upon the best-known $d^2/T^2$ rate when $L < \sqrt{d}$. By establishing a matching lower bound, we show that our convergence analysis is tight for a wide array of target distributions. Moreover, it reveals that DDPM and DDIM share the same dependence on $d$, raising an interesting question of why DDIM often appears empirically faster.
• Abstract（参考訳）: スコアベース拡散モデルでは、ターゲットデータ分布から高品質なサンプルを生成するという実験的な成功が達成されている。 そのなかで、Denoising Diffusion Probabilistic Model (DDPM) は最も広く使われているサンプルの1つであり、推定スコア関数を用いてサンプルを生成する。 実験的な成功にもかかわらず、DDPM(特に収束特性)の厳密な理論的理解は依然として限られている。 本稿では、DDPMサンプリング器の洗練された収束解析を行い、一般分布仮定の下でほぼ最適収束率を確立する。 具体的には、定数$L$でパラメータ化された緩和された滑らかさ条件を導入し、これは多くの実用的な分布(例えばガウス混合モデル)に対して小さい。 正確なスコア推定値を持つDDPMサンプリング器は、$$$\widetilde{O}\left(\frac{d\min\{d,L^2\}}{T^2}\right)~\text{in Kullback-Leibler divergence},$$$,$d$がデータ次元、$T$が反復数、$\widetilde{O}$が多変数因子を隠蔽する。 この結果は、$L < \sqrt{d}$のとき、最もよく知られた$d^2/T^2$レートで大幅に改善される。 一致した下界を確立することにより, 対象分布の広い範囲に対して収束解析が厳密であることを示す。 さらに、DDPMとDDIMが$d$にも依存していることが明らかとなり、なぜDDIMが実験的に速く見えるのかという興味深い疑問が提起された。

関連論文リスト

• O(d/T) Convergence Theory for Diffusion Probabilistic Models under Minimal Assumptions [6.76974373198208]
  最小の仮定の下で,拡散確率モデル(DDPM)の高速収束理論を確立する。 収束率は$O(k/T)$に改善され、$k$は対象データ分布の内在次元であることを示す。 これはDDPMが未知の低次元構造に自動的に適応する能力を強調している。
  論文  参考訳（メタデータ） (2024-09-27T17:59:10Z)
• Convergence Analysis of Probability Flow ODE for Score-based Generative Models [5.939858158928473]
  確率フローODEに基づく決定論的サンプリング器の収束特性を理論的・数値的両面から検討する。 連続時間レベルでは、ターゲットと生成されたデータ分布の総変動を$mathcalO(d3/4delta1/2)$で表すことができる。
  論文  参考訳（メタデータ） (2024-04-15T12:29:28Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Stochastic Approximation Approaches to Group Distributionally Robust Optimization and Beyond [89.72693227960274]
  本稿では,グループ分散ロバスト最適化 (GDRO) を,$m$以上の異なる分布をうまく処理するモデルを学習する目的で検討する。 各ラウンドのサンプル数を$m$から1に抑えるため、GDROを2人でプレイするゲームとして、一方のプレイヤーが実行し、他方のプレイヤーが非公開のマルチアームバンディットのオンラインアルゴリズムを実行する。 第2のシナリオでは、最大リスクではなく、平均的最上位k$リスクを最適化し、分散の影響を軽減することを提案する。
  論文  参考訳（メタデータ） (2023-02-18T09:24:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。