論文の概要: Convergence of the denoising diffusion probabilistic models

• arxiv url: http://arxiv.org/abs/2406.01320v1
• Date: Mon, 3 Jun 2024 13:38:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 22:59:31.666878
• Title: Convergence of the denoising diffusion probabilistic models
• Title（参考訳）: 縮退拡散確率モデルの収束性
• Authors: Yumiharu Nakano,
• Abstract要約: 我々は,Ho,J.,Jain,A.,Abbeelで提示された拡散確率モデル(DDPM)の原版を理論的に解析した。 我々の主定理は、元のDDPMサンプリングアルゴリズムによって構築されたシーケンスは、時間ステップの回数が無限大になるにつれて、与えられたデータ分布に弱収束することを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We theoretically analyze the original version of the denoising diffusion probabilistic models (DDPMs) presented in Ho, J., Jain, A., and Abbeel, P., Advances in Neural Information Processing Systems, 33 (2020), pp. 6840-6851. Our main theorem states that the sequence constructed by the original DDPM sampling algorithm weakly converges to a given data distribution as the number of time steps goes to infinity, under some asymptotic conditions on the parameters for the variance schedule, the $L^2$-based score estimation error, and the noise estimating function with respect to the number of time steps. In proving the theorem, we reveal that the sampling sequence can be seen as an exponential integrator type approximation of a reverse time stochastic differential equation (SDE). Moreover, we give a proper definition of the backward It\^o integral for general continuous processes and prove rigorously the reverse time representation of a given SDE with backward It\^o integral, without using the smoothness and uniqueness of the associated forward Kolmogorov equations.
• Abstract（参考訳）: 我々は,Ho,J.,Jain,A.,Abbeel,P.,Advanceds in Neural Information Processing Systems, 33 (2020), pp. 6840-6851で提示された拡散確率モデル(DDPM)の原版を理論的に解析した。 我々の主定理は、分散スケジュールのパラメータの漸近条件、$L^2$ベースのスコア推定誤差、および時間ステップ数に対するノイズ推定関数の下で、元のDDPMサンプリングアルゴリズムによって構築されたシーケンスが、無限大となるにつれて、与えられたデータ分布に弱収束することを示している。 定理の証明において、サンプリング列は逆時間確率微分方程式(SDE)の指数積分器型近似として見ることができる。 さらに、一般的な連続過程の逆イットイットイットイットイットイットイットイットイットイットイットイットイットイットイットイットイットイットイットイットイットイットイットイットイットイットイットイットイットイットイットイットイットイットイットイットイットイットイットイットイットイットイットイットの逆時間表現を厳密に証明する。

関連論文リスト

• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Non-asymptotic bounds for forward processes in denoising diffusions: Ornstein-Uhlenbeck is hard to beat [49.1574468325115]
  本稿では,全変動(TV)における前方拡散誤差の非漸近的境界について述べる。 我々は、R$からFarthestモードまでの距離でマルチモーダルデータ分布をパラメライズし、加法的および乗法的雑音による前方拡散を考察する。
  論文  参考訳（メタデータ） (2024-08-25T10:28:31Z)
• Online Identification of Stochastic Continuous-Time Wiener Models Using Sampled Data [4.037738063437126]
  連続時間ウィナーモデルの同定のための出力エラー予測器に基づくオンライン推定アルゴリズムを開発した。 この方法は、外乱過程のスペクトルに関する仮定に対して堅牢である。
  論文  参考訳（メタデータ） (2024-03-09T12:33:09Z)
• Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals [3.4240632942024685]
  ポテンシャル関数が支配する分布からサンプリングする問題を考察する。 本研究は, 決定論的な楽譜に基づくMCMC法を提案し, 粒子に対する決定論的進化をもたらす。
  論文  参考訳（メタデータ） (2023-08-28T23:51:33Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Interacting Particle Langevin Algorithm for Maximum Marginal Likelihood Estimation [2.53740603524637]
  我々は,最大限界推定法を実装するための相互作用粒子系のクラスを開発する。 特に、この拡散の定常測度のパラメータ境界がギブス測度の形式であることを示す。 特定の再スケーリングを用いて、このシステムの幾何学的エルゴディディティを証明し、離散化誤差を限定する。 時間的に一様で、粒子の数で増加しない方法で。
  論文  参考訳（メタデータ） (2023-03-23T16:50:08Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• The Connection between Discrete- and Continuous-Time Descriptions of Gaussian Continuous Processes [60.35125735474386]
  我々は、一貫した推定子をもたらす離散化が粗粒化下での不変性を持つことを示す。 この結果は、導関数再構成のための微分スキームと局所時間推論アプローチの組み合わせが、2次または高次微分方程式の時系列解析に役立たない理由を説明する。
  論文  参考訳（メタデータ） (2021-01-16T17:11:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。