論文の概要: A Note on the Convergence of Denoising Diffusion Probabilistic Models
- arxiv url: http://arxiv.org/abs/2312.05989v2
- Date: Sun, 15 Sep 2024 20:53:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-18 03:27:25.376237
- Title: A Note on the Convergence of Denoising Diffusion Probabilistic Models
- Title(参考訳): Denoising Diffusion Probabilistic Modelの収束性についての一考察
- Authors: Sokhna Diarra Mbacke, Omar Rivasplata,
- Abstract要約: 拡散モデルにより得られたデータ生成分布と分布との間のワッサーシュタイン距離の定量的上限を導出する。
この分野でのこれまでの研究とは異なり、我々の結果は学習したスコア関数を仮定しない。
- 参考スコア(独自算出の注目度): 3.1767625261233046
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Diffusion models are one of the most important families of deep generative models. In this note, we derive a quantitative upper bound on the Wasserstein distance between the data-generating distribution and the distribution learned by a diffusion model. Unlike previous works in this field, our result does not make assumptions on the learned score function. Moreover, our bound holds for arbitrary data-generating distributions on bounded instance spaces, even those without a density w.r.t. the Lebesgue measure, and the upper bound does not suffer from exponential dependencies. Our main result builds upon the recent work of Mbacke et al. (2023) and our proofs are elementary.
- Abstract(参考訳): 拡散モデルは、深層生成モデルの最も重要なファミリーの1つである。
本稿では,データ生成分布と拡散モデルで学習した分布との間のワッサーシュタイン距離の定量的上限を導出する。
この分野でのこれまでの研究とは異なり、我々の結果は学習したスコア関数を仮定しない。
さらに、この境界は、ルベーグ測度のような密度 w.r.t のないものであっても、有界なインスタンス空間上の任意のデータ生成分布を保ち、上界は指数的依存に悩まされない。
我々の主な成果は、Mbacke et al (2023) の最近の研究に基づいており、我々の証明は初等的である。
関連論文リスト
- Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。
我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
論文 参考訳(メタデータ) (2024-05-31T16:18:46Z) - Non-asymptotic Convergence of Discrete-time Diffusion Models: New Approach and Improved Rate [49.97755400231656]
我々はDT拡散過程下での分布のかなり大きなクラスに対する収束保証を確立する。
次に、明示的なパラメータ依存を持つ分布の多くの興味深いクラスに結果を専門化します。
そこで本研究では,新しい加速型サンプリング器を提案し,対応する正則サンプリング器の収束率を,全てのシステムパラメータに対して桁違いに向上することを示す。
論文 参考訳(メタデータ) (2024-02-21T16:11:47Z) - Causal Modeling with Stationary Diffusions [89.94899196106223]
定常密度が干渉下でのシステムの挙動をモデル化する微分方程式を学習する。
古典的アプローチよりもよく、変数に対する見当たらない介入を一般化することを示します。
提案手法は,再生カーネルヒルベルト空間における拡散発生器の定常状態を表す新しい理論結果に基づく。
論文 参考訳(メタデータ) (2023-10-26T14:01:17Z) - Statistically Optimal Generative Modeling with Maximum Deviation from the Empirical Distribution [2.1146241717926664]
本稿では, 左非可逆なプッシュフォワード写像に制約されたワッサーシュタインGANが, 複製を回避し, 経験的分布から著しく逸脱する分布を生成することを示す。
我々の最も重要な寄与は、生成分布と経験的分布の間のワッサーシュタイン-1距離の有限サンプル下界を与える。
また、生成分布と真のデータ生成との距離に有限サンプル上限を確立する。
論文 参考訳(メタデータ) (2023-07-31T06:11:57Z) - Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。
暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。
提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
論文 参考訳(メタデータ) (2023-06-21T18:49:22Z) - Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。
実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
論文 参考訳(メタデータ) (2023-03-03T11:31:55Z) - Score Approximation, Estimation and Distribution Recovery of Diffusion
Models on Low-Dimensional Data [68.62134204367668]
本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。
適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。
推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
論文 参考訳(メタデータ) (2023-02-14T17:02:35Z) - Score-based Generative Modeling Secretly Minimizes the Wasserstein
Distance [14.846377138993642]
スコアベースモデルはまた、モデル上の適切な仮定の下で、それらの間のワッサーシュタイン距離を最小化することを示した。
我々の証明は、社会に独立した関心を持つことのできる最適輸送理論の新たな応用に基づいている。
論文 参考訳(メタデータ) (2022-12-13T03:48:01Z) - On the detrimental effect of invariances in the likelihood for
variational inference [21.912271882110986]
変分ベイズ後部推論は、トラクタビリティを確保するために平均場パラメトリゼーションのような近似を単純化する必要があることが多い。
これまでの研究は、ベイズニューラルネットワークの変動平均場近似と、小さなデータセットや大きなモデルサイズの場合の不適合を関連付けてきた。
論文 参考訳(メタデータ) (2022-09-15T09:13:30Z) - Convergence of denoising diffusion models under the manifold hypothesis [3.096615629099617]
デノイング拡散モデル(Denoising diffusion model)は、画像および音声合成における最先端性能を示す最近の生成モデルのクラスである。
本稿では、拡散モデルに対するより一般的な設定での最初の収束結果を提供する。
論文 参考訳(メタデータ) (2022-08-10T12:50:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。