論文の概要: Non-asymptotic Convergence of Discrete-time Diffusion Models: New Approach and Improved Rate

• arxiv url: http://arxiv.org/abs/2402.13901v2
• Date: Thu, 30 May 2024 21:18:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 19:52:35.283592
• Title: Non-asymptotic Convergence of Discrete-time Diffusion Models: New Approach and Improved Rate
• Title（参考訳）: 離散時間拡散モデルの非漸近収束:新しいアプローチと改善率
• Authors: Yuchen Liang, Peizhong Ju, Yingbin Liang, Ness Shroff,
• Abstract要約: 我々はDT拡散過程下での分布のかなり大きなクラスに対する収束保証を確立する。 次に、明示的なパラメータ依存を持つ分布の多くの興味深いクラスに結果を専門化します。 そこで本研究では,新しい加速型サンプリング器を提案し,対応する正則サンプリング器の収束率を,全てのシステムパラメータに対して桁違いに向上することを示す。
• 参考スコア（独自算出の注目度）: 49.97755400231656
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The denoising diffusion model has recently emerged as a powerful generative technique that converts noise into data. While there are many studies providing theoretical guarantees for diffusion processes based on discretized stochastic differential equation (D-SDE), many generative samplers in real applications directly employ a discrete-time (DT) diffusion process. However, there are very few studies analyzing these DT processes, e.g., convergence for DT diffusion processes has been obtained only for distributions with bounded support. In this paper, we establish the convergence guarantee for substantially larger classes of distributions under DT diffusion processes and further improve the convergence rate for distributions with bounded support. In particular, we first establish the convergence rates for both smooth and general (possibly non-smooth) distributions having a finite second moment. We then specialize our results to a number of interesting classes of distributions with explicit parameter dependencies, including distributions with Lipschitz scores, Gaussian mixture distributions, and any distributions with early-stopping. We further propose a novel accelerated sampler and show that it improves the convergence rates of the corresponding regular sampler by orders of magnitude with respect to all system parameters. Our study features a novel analytical technique that constructs a tilting factor representation of the convergence error and exploits Tweedie's formula for handling Taylor expansion power terms.
• Abstract（参考訳）: 近年,ノイズをデータに変換する強力な生成手法として,デノナイジング拡散モデルが登場している。 離散化確率微分方程式(D-SDE)に基づく拡散過程の理論的保証を提供する多くの研究があるが、実際の応用における多くの生成標本は離散時間拡散過程(DT)を直接利用している。 しかし、これらのDT過程を解析する研究はほとんどなく、例えば、DT拡散過程の収束は、有界な支持を持つ分布に対してのみ得られている。 本稿では,DT拡散過程下での分布のかなり大きなクラスに対する収束保証を確立するとともに,有界支持を伴う分布の収束率をさらに向上する。 特に、まず、有限第二モーメントを持つ滑らかかつ一般(おそらく非滑らかな)分布の収束率を確立する。 次に、これらの結果を、明示的なパラメータ依存を持つ多くの興味深い分布のクラスに特化させ、例えば、リプシッツのスコアを持つ分布、ガウス混合分布、およびアーリーストッピングを持つ任意の分布を含む。 さらに,新しい加速サンプリング器を提案し,対応する正則サンプリング器の収束率を,全てのシステムパラメータに対して桁違いに向上させることを示す。 本研究は、収束誤差の傾き係数表現を構築し、Tweedieの公式を利用してTaylor拡張パワー項を扱う新しい解析手法を特徴とする。

関連論文リスト

• Provable Acceleration for Diffusion Models under Minimal Assumptions [8.15094483029656]
  そこで本研究では,スコアベースサンプルの学習自由化手法を提案する。 最小限の仮定で、我々のスキームは$widetildeO(d5/4/sqrtvarepsilon)$ iterationsの総変量で$varepsilon$-accuracyを達成する。
  論文  参考訳（メタデータ） (2024-10-30T17:59:06Z)
• Straightness of Rectified Flow: A Theoretical Insight into Wasserstein Convergence [54.580605276017096]
  拡散モデルは画像生成とデノナイズのための強力なツールとして登場した。 最近、Liuらは新しい代替生成モデル Rectified Flow (RF) を設計した。 RFは,一連の凸最適化問題を用いて,ノイズからデータへの直流軌跡の学習を目的としている。
  論文  参考訳（メタデータ） (2024-10-19T02:36:11Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• $O(d/T)$ Convergence Theory for Diffusion Probabilistic Models under Minimal Assumptions [6.76974373198208]
  我々は、最小限の仮定の下で、人気のあるSDEベースのサンプルラーに対して高速収束理論を確立する。 解析の結果, スコア関数の$ell_2$-accurate推定値が与えられた場合, 対象分布と生成分布の総変動距離は$O(d/T)$で上限値となることがわかった。 これは、逆プロセスの各ステップでエラーがどのように伝播するかの詳細な特徴を提供する、新しい分析ツールセットによって達成される。
  論文  参考訳（メタデータ） (2024-09-27T17:59:10Z)
• A Sharp Convergence Theory for The Probability Flow ODEs of Diffusion Models [45.60426164657739]
  拡散型サンプリング器の非漸近収束理論を開発する。 我々は、$d/varepsilon$がターゲット分布を$varepsilon$トータル偏差距離に近似するのに十分であることを証明した。 我々の結果は、$ell$のスコア推定誤差がデータ生成プロセスの品質にどのように影響するかも特徴付ける。
  論文  参考訳（メタデータ） (2024-08-05T09:02:24Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
  拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。 実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
  論文  参考訳（メタデータ） (2023-03-03T11:31:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。