論文の概要: A Note on the Convergence of Denoising Diffusion Probabilistic Models
- arxiv url: http://arxiv.org/abs/2312.05989v1
- Date: Sun, 10 Dec 2023 20:29:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 17:43:12.429086
- Title: A Note on the Convergence of Denoising Diffusion Probabilistic Models
- Title(参考訳): Denoising Diffusion Probabilistic Modelの収束性に関する一考察
- Authors: Sokhna Diarra Mbacke, Omar Rivasplata
- Abstract要約: 拡散モデルにより得られたデータ生成分布と分布との間のワッサーシュタイン距離の定量的上限を導出する。
この分野でのこれまでの研究とは異なり、我々の結果は学習したスコア関数を仮定しない。
- 参考スコア(独自算出の注目度): 3.75292409381511
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Diffusion models are one of the most important families of deep generative
models. In this note, we derive a quantitative upper bound on the Wasserstein
distance between the data-generating distribution and the distribution learned
by a diffusion model. Unlike previous works in this field, our result does not
make assumptions on the learned score function. Moreover, our bound holds for
arbitrary data-generating distributions on bounded instance spaces, even those
without a density w.r.t. the Lebesgue measure, and the upper bound does not
suffer from exponential dependencies. Our main result builds upon the recent
work of Mbacke et al. (2023) and our proofs are elementary.
- Abstract(参考訳): 拡散モデルは深層生成モデルの最も重要なファミリーの1つである。
本稿では,データ生成分布と拡散モデルで学習した分布との間のワッサーシュタイン距離の定量的上限を導出する。
この分野の先行研究とは異なり、この結果は学習スコア関数を仮定しない。
さらに、有界なインスタンス空間上の任意のデータ生成分布に対する束縛は、密度 w.r.t. を持たないものでさえも、ルベーグ測度であり、上界は指数的依存関係を伴わない。
我々の主な成果は、Mbacke et al. (2023) の最近の研究に基づいている。
関連論文リスト
- Non-asymptotic Convergence of Discrete-time Diffusion Models: New
Approach and Improved Rate [54.596887384531236]
我々は離散時間拡散モデルの下で、分布のかなり大きなクラスに対する収束保証を確立する。
パラメータ依存を明示した分布の興味深いクラスに対して,結果の専門化を行う。
本稿では,新しい加速サンプリング器を提案し,対応する正則サンプリング器の収束率を桁違いに向上することを示す。
論文 参考訳(メタデータ) (2024-02-21T16:11:47Z) - Causal Modeling with Stationary Diffusions [58.4405484308163]
定常密度が干渉下でのシステムの挙動をモデル化する微分方程式を学習する。
古典的アプローチよりもよく、変数に対する見当たらない介入を一般化することを示します。
提案手法は,再生カーネルヒルベルト空間における拡散発生器の定常状態を表す新しい理論結果に基づく。
論文 参考訳(メタデータ) (2023-10-26T14:01:17Z) - Score diffusion models without early stopping: finite Fisher information
is all you need [10.810200596141332]
注目すべき課題は、包括的な定量的結果の欠如という形で続いている。
Kullback Leibler (KL) の発散の報告されたほとんど全ての境界において、スコア関数または近似は時間内に一様リプシッツであると仮定される。
本稿では,Ornstein-Ulhenbeck半群とその運動論的対応から生じる一定のステップサイズを持つスコア拡散モデルに焦点をあてて,上記の制限に対処する。
論文 参考訳(メタデータ) (2023-08-23T16:31:08Z) - Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。
暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。
提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
論文 参考訳(メタデータ) (2023-06-21T18:49:22Z) - Learning Linear Causal Representations from Interventions under General
Nonlinear Mixing [52.66151568785088]
介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。
これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
論文 参考訳(メタデータ) (2023-06-04T02:32:12Z) - Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。
実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
論文 参考訳(メタデータ) (2023-03-03T11:31:55Z) - Score Approximation, Estimation and Distribution Recovery of Diffusion
Models on Low-Dimensional Data [68.62134204367668]
本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。
適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。
推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
論文 参考訳(メタデータ) (2023-02-14T17:02:35Z) - Score-based Generative Modeling Secretly Minimizes the Wasserstein
Distance [14.846377138993642]
スコアベースモデルはまた、モデル上の適切な仮定の下で、それらの間のワッサーシュタイン距離を最小化することを示した。
我々の証明は、社会に独立した関心を持つことのできる最適輸送理論の新たな応用に基づいている。
論文 参考訳(メタデータ) (2022-12-13T03:48:01Z) - On the detrimental effect of invariances in the likelihood for
variational inference [21.912271882110986]
変分ベイズ後部推論は、トラクタビリティを確保するために平均場パラメトリゼーションのような近似を単純化する必要があることが多い。
これまでの研究は、ベイズニューラルネットワークの変動平均場近似と、小さなデータセットや大きなモデルサイズの場合の不適合を関連付けてきた。
論文 参考訳(メタデータ) (2022-09-15T09:13:30Z) - Convergence of denoising diffusion models under the manifold hypothesis [3.096615629099617]
デノイング拡散モデル(Denoising diffusion model)は、画像および音声合成における最先端性能を示す最近の生成モデルのクラスである。
本稿では、拡散モデルに対するより一般的な設定での最初の収束結果を提供する。
論文 参考訳(メタデータ) (2022-08-10T12:50:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。