論文の概要: Diffusion Models are Minimax Optimal Distribution Estimators
- arxiv url: http://arxiv.org/abs/2303.01861v1
- Date: Fri, 3 Mar 2023 11:31:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-06 15:25:37.346122
- Title: Diffusion Models are Minimax Optimal Distribution Estimators
- Title(参考訳): 拡散モデルは最小分布推定器である
- Authors: Kazusato Oko, Shunta Akiyama, Taiji Suzuki
- Abstract要約: 拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。
実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
- 参考スコア(独自算出の注目度): 49.47503258639454
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While efficient distribution learning is no doubt behind the groundbreaking
success of diffusion modeling, its theoretical guarantees are quite limited. In
this paper, we provide the first rigorous analysis on approximation and
generalization abilities of diffusion modeling for well-known function spaces.
The highlight of this paper is that when the true density function belongs to
the Besov space and the empirical score matching loss is properly minimized,
the generated data distribution achieves the nearly minimax optimal estimation
rates in the total variation distance and in the Wasserstein distance of order
one. Furthermore, we extend our theory to demonstrate how diffusion models
adapt to low-dimensional data distributions. We expect these results advance
theoretical understandings of diffusion modeling and its ability to generate
verisimilar outputs.
- Abstract(参考訳): 効率的な分布学習は拡散モデリングの画期的な成功の裏にあることは間違いないが、理論上の保証はかなり限られている。
本稿では,よく知られた関数空間に対する拡散モデリングの近似および一般化能力に関する最初の厳密な解析を行う。
本稿では,真の密度関数がベッソフ空間に属し,経験的スコアマッチング損失を適切に最小化すると,生成されたデータ分布は,総変動距離および1次ワッサーシュタイン距離において,ほぼ最小の最適推定率が得られることを示す。
さらに, 拡散モデルが低次元データ分布にどのように適応するかを示すために, 理論を拡張した。
これらの結果は、拡散モデリングの理論的理解と、その検証結果を生成する能力の進歩を期待する。
関連論文リスト
- Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian
Mixture Models [59.331993845831946]
拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。
本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
論文 参考訳(メタデータ) (2024-03-03T23:15:48Z) - Analyzing Neural Network-Based Generative Diffusion Models through
Convex Optimization [54.01594785269913]
拡散モデルは画像、ビデオ、オーディオ生成に広く使われている。
スコアベース拡散モデルでは,入力データ分布のスコア関数を推定する必要がある。
この研究は、ニューラルネットワークベースの拡散モデルが漸近的でない環境で何を学ぶかを理解するのに寄与する。
論文 参考訳(メタデータ) (2024-02-03T00:20:25Z) - On the Generalization Properties of Diffusion Models [33.93850788633184]
この研究は拡散モデルの一般化特性を包括的に理論的に探求することを目的としている。
我々は、スコアベース拡散モデルのトレーニング力学と合わせて、タンデムで進化する一般化ギャップの理論的推定値を確立する。
我々は定量分析をデータ依存のシナリオに拡張し、対象の分布を密度の連続として表現する。
論文 参考訳(メタデータ) (2023-11-03T09:20:20Z) - Eliminating Lipschitz Singularities in Diffusion Models [51.806899946775076]
拡散モデルは、時間ステップの零点付近で無限のリプシッツをしばしば表すことを示す。
これは、積分演算に依存する拡散過程の安定性と精度に脅威をもたらす。
我々はE-TSDMと呼ばれる新しい手法を提案し、これは0に近い拡散モデルのリプシッツを除去する。
論文 参考訳(メタデータ) (2023-06-20T03:05:28Z) - Infinite-Dimensional Diffusion Models [4.342241136871849]
拡散に基づく生成モデルを無限次元で定式化し、関数の生成モデルに適用する。
我々の定式化は無限次元の設定においてよく成り立っていることを示し、サンプルから目標測度への次元非依存距離境界を提供する。
また,無限次元拡散モデルの設計ガイドラインも作成する。
論文 参考訳(メタデータ) (2023-02-20T18:00:38Z) - Score Approximation, Estimation and Distribution Recovery of Diffusion
Models on Low-Dimensional Data [68.62134204367668]
本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。
適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。
推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
論文 参考訳(メタデータ) (2023-02-14T17:02:35Z) - Convergence of denoising diffusion models under the manifold hypothesis [3.096615629099617]
デノイング拡散モデル(Denoising diffusion model)は、画像および音声合成における最先端性能を示す最近の生成モデルのクラスである。
本稿では、拡散モデルに対するより一般的な設定での最初の収束結果を提供する。
論文 参考訳(メタデータ) (2022-08-10T12:50:47Z) - How Much is Enough? A Study on Diffusion Times in Score-based Generative
Models [76.76860707897413]
現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。
本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
論文 参考訳(メタデータ) (2022-06-10T15:09:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。