論文の概要: A Sharp KL-Convergence Analysis for Diffusion Models under Minimal Assumptions

• arxiv url: http://arxiv.org/abs/2508.16306v1
• Date: Fri, 22 Aug 2025 11:29:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-25 16:42:36.367736
• Title: A Sharp KL-Convergence Analysis for Diffusion Models under Minimal Assumptions
• Title（参考訳）: 最小推定条件下での拡散モデルのシャープKL収束解析
• Authors: Nishant Jain, Tong Zhang,
• Abstract要約: 拡散に基づく生成モデルは、高品質なサンプルを合成するための非常に効果的な方法として登場した。 最近の研究は、最小限の仮定で生成プロセスの収束を分析することに重点を置いている。 我々は$varepsilon$への依存を改善する洗練された分析法を提案する。
• 参考スコア（独自算出の注目度）: 20.628481624954187
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion-based generative models have emerged as highly effective methods for synthesizing high-quality samples. Recent works have focused on analyzing the convergence of their generation process with minimal assumptions, either through reverse SDEs or Probability Flow ODEs. The best known guarantees, without any smoothness assumptions, for the KL divergence so far achieve a linear dependence on the data dimension $d$ and an inverse quadratic dependence on $\varepsilon$. In this work, we present a refined analysis that improves the dependence on $\varepsilon$. We model the generation process as a composition of two steps: a reverse ODE step, followed by a smaller noising step along the forward process. This design leverages the fact that the ODE step enables control in Wasserstein-type error, which can then be converted into a KL divergence bound via noise addition, leading to a better dependence on the discretization step size. We further provide a novel analysis to achieve the linear $d$-dependence for the error due to discretizing this Probability Flow ODE in absence of any smoothness assumptions. We show that $\tilde{O}\left(\tfrac{d\log^{3/2}(\frac{1}{\delta})}{\varepsilon}\right)$ steps suffice to approximate the target distribution corrupted with Gaussian noise of variance $\delta$ within $O(\varepsilon^2)$ in KL divergence, improving upon the previous best result, requiring $\tilde{O}\left(\tfrac{d\log^2(\frac{1}{\delta})}{\varepsilon^2}\right)$ steps.
• Abstract（参考訳）: 拡散に基づく生成モデルは、高品質なサンプルを合成するための非常に効果的な方法として登場した。 最近の研究は、逆SDEまたは確率フローODEを通して、最小限の仮定で生成プロセスの収束を分析することに重点を置いている。 これまでの KL の発散は滑らかさの仮定なしに、データ次元$d$ と逆二次依存$\varepsilon$ に線形依存する。 本研究では、$\varepsilon$への依存を改善するための洗練された分析を示す。 生成プロセスは2つのステップからなる構成としてモデル化する。 この設計は、ODE ステップがワッサースタイン型誤差の制御を可能にし、ノイズ付加による KL の発散に変換可能であり、離散化ステップサイズへの依存度が向上するという事実を活用する。 さらに,この確率フローODEをスムーズな仮定がない場合の離散化による誤差に対する$d$-dependenceの線形化を実現するための新しい解析手法を提案する。 我々は、$\tilde{O}\left(\tfrac{d\log^{3/2}(\frac{1}{\delta})}{\varepsilon}\right)$ steps suffice to approximate the target distribution maled with Gaussian noise of variance $O(\varepsilon^2)$ in KL divergence, improve on the previous best results, required $\tilde{O}\left(\tfrac{d\log^2(\frac{1}{\delta})}{\varepsilon^2}\right)$ steps。

関連論文リスト

• Multi-Step Consistency Models: Fast Generation with Theoretical Guarantees [15.366598179769918]
  所定時刻の入力を逆軌道に沿った任意の点にマッピングできる整合モデルの理論的解析を行う。 Oleft(logleft(fracdvarepsilonright) $ iterations for a constant step size。 我々は,スムーズかつ非スムーズな設定でも,小さな離散化ステップを用いて,正確な学習が実現可能であると結論付けた。
  論文  参考訳（メタデータ） (2025-05-02T06:50:46Z)
• A Sharp Convergence Theory for The Probability Flow ODEs of Diffusion Models [45.60426164657739]
  拡散型サンプリング器の非漸近収束理論を開発する。 我々は、$d/varepsilon$がターゲット分布を$varepsilon$トータル偏差距離に近似するのに十分であることを証明した。 我々の結果は、$ell$のスコア推定誤差がデータ生成プロセスの品質にどのように影響するかも特徴付ける。
  論文  参考訳（メタデータ） (2024-08-05T09:02:24Z)
• Nearly $d$-Linear Convergence Bounds for Diffusion Models via Stochastic Localization [40.808942894229325]
  データ次元において線形である第1収束境界を提供する。 拡散モデルは任意の分布を近似するために少なくとも$tilde O(fracd log2(1/delta)varepsilon2)$ stepsを必要とすることを示す。
  論文  参考訳（メタデータ） (2023-08-07T16:01:14Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Efficient Sampling of Stochastic Differential Equations with Positive Semi-Definite Models [91.22420505636006]
  本稿では, ドリフト関数と拡散行列を考慮し, 微分方程式からの効率的なサンプリング問題を扱う。 1/varepsilonは$m2d log (1/varepsilon)$である。 以上の結果から,真の解がより滑らかになるにつれて,どのような凸性も必要とせず,次元の呪いを回避できることが示唆された。
  論文  参考訳（メタデータ） (2023-03-30T02:50:49Z)
• Restoration-Degradation Beyond Linear Diffusions: A Non-Asymptotic Analysis For DDIM-Type Samplers [90.45898746733397]
  本研究では拡散生成モデルに用いる決定論的サンプリング器の非漸近解析のためのフレームワークを開発する。 確率フローODEに沿った1ステップは,1) 条件付き対数線上を無限に先行して上昇する回復ステップ,2) 雑音を現在の勾配に向けて前向きに進行する劣化ステップの2段階で表すことができる。
  論文  参考訳（メタデータ） (2023-03-06T18:59:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。