論文の概要: KL Convergence Guarantees for Score diffusion models under minimal data assumptions
- arxiv url: http://arxiv.org/abs/2308.12240v2
- Date: Thu, 12 Sep 2024 14:22:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-13 22:36:48.217026
- Title: KL Convergence Guarantees for Score diffusion models under minimal data assumptions
- Title(参考訳): 最小データ仮定下でのスコア拡散モデルのKL収束保証
- Authors: Giovanni Conforti, Alain Durmus, Marta Gentiloni Silveri,
- Abstract要約: 注目すべき課題は、包括的な定量的結果の欠如という形で続いている。
この記事では、Ornstein-Uhlenbeck半群とその運動論的対応から生じる一定のステップサイズを持つスコア拡散モデルに焦点を当てる。
- 参考スコア(独自算出の注目度): 9.618473763561418
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models are a new class of generative models that revolve around the estimation of the score function associated with a stochastic differential equation. Subsequent to its acquisition, the approximated score function is then harnessed to simulate the corresponding time-reversal process, ultimately enabling the generation of approximate data samples. Despite their evident practical significance these models carry, a notable challenge persists in the form of a lack of comprehensive quantitative results, especially in scenarios involving non-regular scores and estimators. In almost all reported bounds in Kullback Leibler (KL) divergence, it is assumed that either the score function or its approximation is Lipschitz uniformly in time. However, this condition is very restrictive in practice or appears to be difficult to establish. To circumvent this issue, previous works mainly focused on establishing convergence bounds in KL for an early stopped version of the diffusion model and a smoothed version of the data distribution, or assuming that the data distribution is supported on a compact manifold. These explorations have led to interesting bounds in either Wasserstein or Fortet-Mourier metrics. However, the question remains about the relevance of such early-stopping procedure or compactness conditions. In particular, if there exist a natural and mild condition ensuring explicit and sharp convergence bounds in KL. In this article, we tackle the aforementioned limitations by focusing on score diffusion models with fixed step size stemming from the Ornstein-Uhlenbeck semigroup and its kinetic counterpart. Our study provides a rigorous analysis, yielding simple, improved and sharp convergence bounds in KL applicable to any data distribution with finite Fisher information with respect to the standard Gaussian distribution.
- Abstract(参考訳): 拡散モデル(英: Diffusion model)は、確率微分方程式に付随するスコア関数の推定を中心に展開する新しい生成モデルのクラスである。
取得後、近似スコア関数を使用して対応する時間反転過程をシミュレートし、最終的に近似データサンプルの生成を可能にする。
これらのモデルが持つ明らかな実用的重要性にもかかわらず、特に非正規スコアや推定器を含むシナリオにおいて、包括的な定量的結果の欠如という形で顕著な課題が続いている。
Kullback Leibler (KL) の発散の報告されたほとんど全ての境界において、スコア関数または近似は時間内に一様リプシッツであると仮定される。
しかし、この条件は実際には極めて厳格であり、確立が困難であるようである。
この問題を回避するために、従来の研究は、拡散モデルの早期停止バージョンとデータ分布の滑らかバージョンに対するKLの収束境界を確立すること、あるいは、データ分布がコンパクトな多様体上でサポートされていることを前提として、主に焦点を当てていた。
これらの探索は、ワッサーシュタインあるいはフォート・モーリエの測度に興味深い境界を導いた。
しかし、そのような早期停止手順やコンパクト性条件の関連性については疑問が残る。
特に、自然で穏やかな条件が存在する場合、KL において明示的で鋭い収束境界が保証される。
本稿では,Ornstein-Uhlenbeck半群とその運動論的対応から生じる一定のステップサイズを持つスコア拡散モデルに焦点をあてて,上記の制限に対処する。
我々の研究は厳密な分析を提供し、標準ガウス分布に関して有限フィッシャー情報を持つ任意のデータ分布に適用可能なKLにおける単純で改善され、鋭い収束境界を与える。
関連論文リスト
- Inference at the data's edge: Gaussian processes for modeling and inference under model-dependency, poor overlap, and extrapolation [0.0]
ガウス過程 (GP) はフレキシブルな非線形回帰法である。
これは、予測された(非現実的な)値に対する不確実性を扱うための原則化されたアプローチを提供する。
これは外挿または弱い重なり合いの条件下では特に有用である。
論文 参考訳(メタデータ) (2024-07-15T05:09:50Z) - Tamed Langevin sampling under weaker conditions [27.872857402255775]
ログコンケーブではなく,弱い散逸性しか持たない分布から抽出する問題について検討する。
そこで本研究では,対象分布の成長と崩壊特性に合わせたテイミング手法を提案する。
提案したサンプルに対して,Kulback-Leiblerの発散,全変動,ワッサーシュタイン距離といった条件で明確な非漸近保証を与える。
論文 参考訳(メタデータ) (2024-05-27T23:00:40Z) - Non-asymptotic Convergence of Discrete-time Diffusion Models: New Approach and Improved Rate [49.97755400231656]
我々はDT拡散過程下での分布のかなり大きなクラスに対する収束保証を確立する。
次に、明示的なパラメータ依存を持つ分布の多くの興味深いクラスに結果を専門化します。
そこで本研究では,新しい加速型サンプリング器を提案し,対応する正則サンプリング器の収束率を,全てのシステムパラメータに対して桁違いに向上することを示す。
論文 参考訳(メタデータ) (2024-02-21T16:11:47Z) - An analysis of the noise schedule for score-based generative models [7.180235086275926]
対象分布と推定分布とのKL分散の上限を確立する。
We provide a tighter error bound in Wasserstein distance than the state-of-the-art results。
論文 参考訳(メタデータ) (2024-02-07T08:24:35Z) - A Note on the Convergence of Denoising Diffusion Probabilistic Models [3.75292409381511]
拡散モデルにより得られたデータ生成分布と分布との間のワッサーシュタイン距離の定量的上限を導出する。
この分野でのこれまでの研究とは異なり、我々の結果は学習したスコア関数を仮定しない。
論文 参考訳(メタデータ) (2023-12-10T20:29:58Z) - Eliminating Lipschitz Singularities in Diffusion Models [51.806899946775076]
拡散モデルは、時間ステップの零点付近で無限のリプシッツをしばしば表すことを示す。
これは、積分演算に依存する拡散過程の安定性と精度に脅威をもたらす。
我々はE-TSDMと呼ばれる新しい手法を提案し、これは0に近い拡散モデルのリプシッツを除去する。
論文 参考訳(メタデータ) (2023-06-20T03:05:28Z) - ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。
我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
論文 参考訳(メタデータ) (2023-04-07T15:17:48Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳(メタデータ) (2022-11-30T05:33:29Z) - Convergence of denoising diffusion models under the manifold hypothesis [3.096615629099617]
デノイング拡散モデル(Denoising diffusion model)は、画像および音声合成における最先端性能を示す最近の生成モデルのクラスである。
本稿では、拡散モデルに対するより一般的な設定での最初の収束結果を提供する。
論文 参考訳(メタデータ) (2022-08-10T12:50:47Z) - Posterior Coreset Construction with Kernelized Stein Discrepancy for
Model-Based Reinforcement Learning [78.30395044401321]
我々は、強化学習(MBRL)のための新しいモデルベースアプローチを開発する。
ターゲット遷移モデルの仮定を緩和し、混合モデルの一般的な族に属する。
連続的な制御環境では、壁時計の時間を最大50%削減することができる。
論文 参考訳(メタデータ) (2022-06-02T17:27:49Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳(メタデータ) (2022-02-23T06:11:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。