論文の概要: Convergence of denoising diffusion models under the manifold hypothesis
- arxiv url: http://arxiv.org/abs/2208.05314v2
- Date: Mon, 29 May 2023 11:12:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 03:52:39.399317
- Title: Convergence of denoising diffusion models under the manifold hypothesis
- Title(参考訳): 多様体仮説の下での消音拡散モデルの収束
- Authors: Valentin De Bortoli
- Abstract要約: デノイング拡散モデル(Denoising diffusion model)は、画像および音声合成における最先端性能を示す最近の生成モデルのクラスである。
本稿では、拡散モデルに対するより一般的な設定での最初の収束結果を提供する。
- 参考スコア(独自算出の注目度): 3.096615629099617
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Denoising diffusion models are a recent class of generative models exhibiting
state-of-the-art performance in image and audio synthesis. Such models
approximate the time-reversal of a forward noising process from a target
distribution to a reference density, which is usually Gaussian. Despite their
strong empirical results, the theoretical analysis of such models remains
limited. In particular, all current approaches crucially assume that the target
density admits a density w.r.t. the Lebesgue measure. This does not cover
settings where the target distribution is supported on a lower-dimensional
manifold or is given by some empirical distribution. In this paper, we bridge
this gap by providing the first convergence results for diffusion models in
this more general setting. In particular, we provide quantitative bounds on the
Wasserstein distance of order one between the target data distribution and the
generative distribution of the diffusion model.
- Abstract(参考訳): 雑音拡散モデル(denoising diffusion model)は、画像および音声合成における最先端のパフォーマンスを示す最近の生成モデルである。
そのようなモデルは、目標分布から基準密度(通常ガウス的)へのフォワードノイズ過程の時間反転を近似する。
その強い経験的結果にもかかわらず、そのようなモデルの理論的解析は限定的である。
特に、全ての現在のアプローチは、目標密度がルベーグ測度の密度 w.r.t を持つことを決定的に仮定している。
これは、対象分布が低次元多様体上でサポートされたり、経験的分布によって与えられるような設定はカバーしない。
本稿では,拡散モデルに対する最初の収束結果を提供することにより,このギャップを橋渡しする。
特に,対象データ分布と拡散モデルの生成分布との間には,次数1のワッサーシュタイン距離の定量的な境界がある。
関連論文リスト
- Non-asymptotic Convergence of Discrete-time Diffusion Models: New
Approach and Improved Rate [54.596887384531236]
我々は離散時間拡散モデルの下で、分布のかなり大きなクラスに対する収束保証を確立する。
パラメータ依存を明示した分布の興味深いクラスに対して,結果の専門化を行う。
本稿では,新しい加速サンプリング器を提案し,対応する正則サンプリング器の収束率を桁違いに向上することを示す。
論文 参考訳(メタデータ) (2024-02-21T16:11:47Z) - Particle Denoising Diffusion Sampler [34.23716415769885]
Particle Denoising Diffusion Sampler (PDDS) は、軽微な仮定の下で一貫した推定を提供する。
マルチモーダルおよび高次元サンプリングタスクにおけるPDDSの実証を行った。
論文 参考訳(メタデータ) (2024-02-09T11:01:35Z) - A Note on the Convergence of Denoising Diffusion Probabilistic Models [3.75292409381511]
拡散モデルにより得られたデータ生成分布と分布との間のワッサーシュタイン距離の定量的上限を導出する。
この分野でのこれまでの研究とは異なり、我々の結果は学習したスコア関数を仮定しない。
論文 参考訳(メタデータ) (2023-12-10T20:29:58Z) - On the Generalization Properties of Diffusion Models [33.93850788633184]
この研究は拡散モデルの一般化特性を包括的に理論的に探求することを目的としている。
我々は、スコアベース拡散モデルのトレーニング力学と合わせて、タンデムで進化する一般化ギャップの理論的推定値を確立する。
我々は定量分析をデータ依存のシナリオに拡張し、対象の分布を密度の連続として表現する。
論文 参考訳(メタデータ) (2023-11-03T09:20:20Z) - Soft Mixture Denoising: Beyond the Expressive Bottleneck of Diffusion
Models [76.46246743508651]
我々は,現在の拡散モデルが後方認知において表現力のあるボトルネックを持っていることを示した。
本稿では,後方復調のための表現的かつ効率的なモデルであるソフトミキシング・デノナイジング(SMD)を導入する。
論文 参考訳(メタデータ) (2023-09-25T12:03:32Z) - Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。
実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
論文 参考訳(メタデータ) (2023-03-03T11:31:55Z) - Denoising Diffusion Samplers [41.796349001299156]
拡散モデルの認知は、多くの領域で最先端の結果を提供する生成モデルの一般的なクラスである。
我々は、非正規化確率密度関数から大まかにサンプリングし、それらの正規化定数を推定する類似のアイデアを探求する。
この文脈ではスコアマッチングは適用できないが、モンテカルロサンプリングのために生成的モデリングで導入された多くのアイデアを利用することができる。
論文 参考訳(メタデータ) (2023-02-27T14:37:16Z) - Score Approximation, Estimation and Distribution Recovery of Diffusion
Models on Low-Dimensional Data [68.62134204367668]
本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。
適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。
推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
論文 参考訳(メタデータ) (2023-02-14T17:02:35Z) - Unifying Diffusion Models' Latent Space, with Applications to
CycleDiffusion and Guidance [95.12230117950232]
関係領域で独立に訓練された2つの拡散モデルから共通潜時空間が現れることを示す。
テキスト・画像拡散モデルにCycleDiffusionを適用することで、大規模なテキスト・画像拡散モデルがゼロショット画像・画像拡散エディタとして使用できることを示す。
論文 参考訳(メタデータ) (2022-10-11T15:53:52Z) - How Much is Enough? A Study on Diffusion Times in Score-based Generative
Models [76.76860707897413]
現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。
本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
論文 参考訳(メタデータ) (2022-06-10T15:09:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。