論文の概要: Score diffusion models without early stopping: finite Fisher information
is all you need
- arxiv url: http://arxiv.org/abs/2308.12240v1
- Date: Wed, 23 Aug 2023 16:31:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-24 13:24:53.181608
- Title: Score diffusion models without early stopping: finite Fisher information
is all you need
- Title(参考訳): 早期停止のないスコア拡散モデル:有限フィッシャー情報は必要なだけ
- Authors: Giovanni Conforti, Alain Durmus, Marta Gentiloni Silveri
- Abstract要約: 注目すべき課題は、包括的な定量的結果の欠如という形で続いている。
Kullback Leibler (KL) の発散の報告されたほとんど全ての境界において、スコア関数または近似は時間内に一様リプシッツであると仮定される。
本稿では,Ornstein-Ulhenbeck半群とその運動論的対応から生じる一定のステップサイズを持つスコア拡散モデルに焦点をあてて,上記の制限に対処する。
- 参考スコア(独自算出の注目度): 10.810200596141332
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models are a new class of generative models that revolve around the
estimation of the score function associated with a stochastic differential
equation. Subsequent to its acquisition, the approximated score function is
then harnessed to simulate the corresponding time-reversal process, ultimately
enabling the generation of approximate data samples. Despite their evident
practical significance these models carry, a notable challenge persists in the
form of a lack of comprehensive quantitative results, especially in scenarios
involving non-regular scores and estimators. In almost all reported bounds in
Kullback Leibler (KL) divergence, it is assumed that either the score function
or its approximation is Lipschitz uniformly in time. However, this condition is
very restrictive in practice or appears to be difficult to establish.
To circumvent this issue, previous works mainly focused on establishing
convergence bounds in KL for an early stopped version of the diffusion model
and a smoothed version of the data distribution, or assuming that the data
distribution is supported on a compact manifold. These explorations have lead
to interesting bounds in either Wasserstein or Fortet-Mourier metrics. However,
the question remains about the relevance of such early-stopping procedure or
compactness conditions. In particular, if there exist a natural and mild
condition ensuring explicit and sharp convergence bounds in KL.
In this article, we tackle the aforementioned limitations by focusing on
score diffusion models with fixed step size stemming from the
Ornstein-Ulhenbeck semigroup and its kinetic counterpart. Our study provides a
rigorous analysis, yielding simple, improved and sharp convergence bounds in KL
applicable to any data distribution with finite Fisher information with respect
to the standard Gaussian distribution.
- Abstract(参考訳): 拡散モデルは、確率微分方程式に付随するスコア関数の推定を中心に展開する新しい生成モデルである。
取得後、近似スコア関数を使用して対応する時間反転過程をシミュレートし、最終的に近似データサンプルの生成を可能にする。
これらのモデルが持つ明らかな実用的重要性にもかかわらず、特に非正規スコアや推定器を含むシナリオにおいて、包括的な定量的結果の欠如という形で顕著な課題が続いている。
Kullback Leibler (KL) の発散の報告されたほとんど全ての境界において、スコア関数または近似は時間内に一様リプシッツであると仮定される。
しかし、この条件は実際には極めて厳格であり、確立が困難である。
この問題を回避するため、以前の研究は主に拡散モデルの早期停止バージョンとデータ分布の平滑化バージョンに対するklの収束境界を確立すること、またはデータ分布がコンパクト多様体上でサポートされていると仮定することに焦点を当てた。
これらの調査は、wassersteinかfortet-mourierのメトリクスに興味深い限界をもたらした。
しかし、そのような早期停止手順やコンパクト性条件の関連性については疑問が残る。
特に、kl に明示的かつ鋭い収束境界を保証する自然で穏やかな条件が存在する場合。
本稿では,Ornstein-Ulhenbeck半群とその運動論的対応から生じる一定のステップサイズのスコア拡散モデルに着目して,上記の制限に対処する。
我々の研究は厳密な分析を提供し、標準ガウス分布に関して有限フィッシャー情報を持つ任意のデータ分布に適用可能なKLにおける単純で改善され鋭い収束境界を与える。
関連論文リスト
- Non-asymptotic Convergence of Discrete-time Diffusion Models: New
Approach and Improved Rate [54.596887384531236]
我々は離散時間拡散モデルの下で、分布のかなり大きなクラスに対する収束保証を確立する。
パラメータ依存を明示した分布の興味深いクラスに対して,結果の専門化を行う。
本稿では,新しい加速サンプリング器を提案し,対応する正則サンプリング器の収束率を桁違いに向上することを示す。
論文 参考訳(メタデータ) (2024-02-21T16:11:47Z) - A Note on the Convergence of Denoising Diffusion Probabilistic Models [3.75292409381511]
拡散モデルにより得られたデータ生成分布と分布との間のワッサーシュタイン距離の定量的上限を導出する。
この分野でのこれまでの研究とは異なり、我々の結果は学習したスコア関数を仮定しない。
論文 参考訳(メタデータ) (2023-12-10T20:29:58Z) - Eliminating Lipschitz Singularities in Diffusion Models [51.806899946775076]
拡散モデルは、時間ステップの零点付近で無限のリプシッツをしばしば表すことを示す。
これは、積分演算に依存する拡散過程の安定性と精度に脅威をもたらす。
我々はE-TSDMと呼ばれる新しい手法を提案し、これは0に近い拡散モデルのリプシッツを除去する。
論文 参考訳(メタデータ) (2023-06-20T03:05:28Z) - ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。
我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
論文 参考訳(メタデータ) (2023-04-07T15:17:48Z) - Score-based Generative Modeling Secretly Minimizes the Wasserstein
Distance [14.846377138993642]
スコアベースモデルはまた、モデル上の適切な仮定の下で、それらの間のワッサーシュタイン距離を最小化することを示した。
我々の証明は、社会に独立した関心を持つことのできる最適輸送理論の新たな応用に基づいている。
論文 参考訳(メタデータ) (2022-12-13T03:48:01Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳(メタデータ) (2022-11-30T05:33:29Z) - Convergence of denoising diffusion models under the manifold hypothesis [3.096615629099617]
デノイング拡散モデル(Denoising diffusion model)は、画像および音声合成における最先端性能を示す最近の生成モデルのクラスである。
本稿では、拡散モデルに対するより一般的な設定での最初の収束結果を提供する。
論文 参考訳(メタデータ) (2022-08-10T12:50:47Z) - Posterior Coreset Construction with Kernelized Stein Discrepancy for
Model-Based Reinforcement Learning [78.30395044401321]
我々は、強化学習(MBRL)のための新しいモデルベースアプローチを開発する。
ターゲット遷移モデルの仮定を緩和し、混合モデルの一般的な族に属する。
連続的な制御環境では、壁時計の時間を最大50%削減することができる。
論文 参考訳(メタデータ) (2022-06-02T17:27:49Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳(メタデータ) (2022-02-23T06:11:49Z) - Modeling High-Dimensional Data with Unknown Cut Points: A Fusion
Penalized Logistic Threshold Regression [2.520538806201793]
従来のロジスティック回帰モデルでは、リンク関数は線形で連続であると見なされることが多い。
我々は、全ての連続した特徴が順序レベルに離散化され、さらにバイナリ応答が決定されるしきい値モデルを考える。
糖尿病のような慢性疾患の早期発見と予知の問題において,ラッソモデルが好適であることが判明した。
論文 参考訳(メタデータ) (2022-02-17T04:16:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。