論文の概要: Non-asymptotic Convergence of Discrete-time Diffusion Models: New
Approach and Improved Rate
- arxiv url: http://arxiv.org/abs/2402.13901v1
- Date: Wed, 21 Feb 2024 16:11:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-22 14:42:49.748658
- Title: Non-asymptotic Convergence of Discrete-time Diffusion Models: New
Approach and Improved Rate
- Title(参考訳): 離散時間拡散モデルの非漸近収束:新しいアプローチと改善率
- Authors: Yuchen Liang, Peizhong Ju, Yingbin Liang, Ness Shroff
- Abstract要約: 我々は離散時間拡散モデルの下で、分布のかなり大きなクラスに対する収束保証を確立する。
パラメータ依存を明示した分布の興味深いクラスに対して,結果の専門化を行う。
本稿では,新しい加速サンプリング器を提案し,対応する正則サンプリング器の収束率を桁違いに向上することを示す。
- 参考スコア(独自算出の注目度): 54.596887384531236
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The denoising diffusion model emerges recently as a powerful generative
technique that converts noise into data. Theoretical convergence guarantee has
been mainly studied for continuous-time diffusion models, and has been obtained
for discrete-time diffusion models only for distributions with bounded support
in the literature. In this paper, we establish the convergence guarantee for
substantially larger classes of distributions under discrete-time diffusion
models and further improve the convergence rate for distributions with bounded
support. In particular, we first establish the convergence rates for both
smooth and general (possibly non-smooth) distributions having finite second
moment. We then specialize our results to a number of interesting classes of
distributions with explicit parameter dependencies, including distributions
with Lipschitz scores, Gaussian mixture distributions, and distributions with
bounded support. We further propose a novel accelerated sampler and show that
it improves the convergence rates of the corresponding regular sampler by
orders of magnitude with respect to all system parameters. For distributions
with bounded support, our result improves the dimensional dependence of the
previous convergence rate by orders of magnitude. Our study features a novel
analysis technique that constructs tilting factor representation of the
convergence error and exploits Tweedie's formula for handling Taylor expansion
power terms.
- Abstract(参考訳): ノイズをデータに変換する強力な生成技術として,近年,デノナイジング拡散モデルが登場している。
理論収束保証は連続時間拡散モデルで主に研究されており、離散時間拡散モデルでは、文献において有界な支持を持つ分布に対してのみ得られる。
本稿では,離散時間拡散モデルに基づく分布のかなり大きなクラスに対する収束保証を確立するとともに,有界な分布に対する収束率をさらに向上する。
特に、まず、有限第二モーメントを持つ滑らかかつ一般(おそらくは非スムース)分布の収束率を確立する。
この結果から,リプシッツスコアの分布,ガウス混合分布,有界サポートのある分布など,パラメータ依存性が明示された多数の興味深い分布クラスを特殊化する。
さらに,新しい加速サンプリング器を提案し,対応する正則サンプリング器の収束率を,全てのシステムパラメータに対して桁違いに向上させることを示す。
有界な支持を持つ分布に対しては, 従来の収束率の次元依存性を桁違いに改善する。
本研究は,収束誤差の傾き係数表現を構築し,Tweedieの公式を利用してTaylor拡張パワー項を扱う新しい解析手法を特徴とする。
関連論文リスト
- Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian
Mixture Models [59.331993845831946]
拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。
本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
論文 参考訳(メタデータ) (2024-03-03T23:15:48Z) - Convergence Analysis of Discrete Diffusion Model: Exact Implementation
through Uniformization [17.535229185525353]
連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。
我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
論文 参考訳(メタデータ) (2024-02-12T22:26:52Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳(メタデータ) (2024-01-29T02:08:40Z) - Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。
実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
論文 参考訳(メタデータ) (2023-03-03T11:31:55Z) - Score Approximation, Estimation and Distribution Recovery of Diffusion
Models on Low-Dimensional Data [68.62134204367668]
本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。
適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。
推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
論文 参考訳(メタデータ) (2023-02-14T17:02:35Z) - Convergence of score-based generative modeling for general data
distributions [9.953088581242845]
機能的不等式や強い滑らかさの仮定を満たすデータ分布に依存しない拡散モデルに収束保証を与える。
ワッサーシュタイン距離保証は、有界な支持あるいは十分に崩壊するテールの分布に対して、さらに滑らかな仮定を持つ分布に対するテレビ保証と同様に得られる。
論文 参考訳(メタデータ) (2022-09-26T02:38:36Z) - Convergence of denoising diffusion models under the manifold hypothesis [3.096615629099617]
デノイング拡散モデル(Denoising diffusion model)は、画像および音声合成における最先端性能を示す最近の生成モデルのクラスである。
本稿では、拡散モデルに対するより一般的な設定での最初の収束結果を提供する。
論文 参考訳(メタデータ) (2022-08-10T12:50:47Z) - Loss function based second-order Jensen inequality and its application
to particle variational inference [112.58907653042317]
粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。
PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。
我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
論文 参考訳(メタデータ) (2021-06-09T12:13:51Z) - Exponential ergodicity of mirror-Langevin diffusions [16.012656579770827]
我々はNewton-Langevin拡散と呼ばれる拡散のクラスを提案し、それらが指数関数的に定常性に収束することを証明した。
本研究では, 内部点法に着想を得た戦略を用いて, 凸体上の均一分布からのサンプリング問題に適用する。
論文 参考訳(メタデータ) (2020-05-19T18:00:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。