論文の概要: Score diffusion models without early stopping: finite Fisher information is all you need

• arxiv url: http://arxiv.org/abs/2308.12240v1
• Date: Wed, 23 Aug 2023 16:31:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-24 13:24:53.181608
• Title: Score diffusion models without early stopping: finite Fisher information is all you need
• Title（参考訳）: 早期停止のないスコア拡散モデル:有限フィッシャー情報は必要なだけ
• Authors: Giovanni Conforti, Alain Durmus, Marta Gentiloni Silveri
• Abstract要約: 注目すべき課題は、包括的な定量的結果の欠如という形で続いている。 Kullback Leibler (KL) の発散の報告されたほとんど全ての境界において、スコア関数または近似は時間内に一様リプシッツであると仮定される。 本稿では,Ornstein-Ulhenbeck半群とその運動論的対応から生じる一定のステップサイズを持つスコア拡散モデルに焦点をあてて,上記の制限に対処する。
• 参考スコア（独自算出の注目度）: 10.810200596141332
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models are a new class of generative models that revolve around the estimation of the score function associated with a stochastic differential equation. Subsequent to its acquisition, the approximated score function is then harnessed to simulate the corresponding time-reversal process, ultimately enabling the generation of approximate data samples. Despite their evident practical significance these models carry, a notable challenge persists in the form of a lack of comprehensive quantitative results, especially in scenarios involving non-regular scores and estimators. In almost all reported bounds in Kullback Leibler (KL) divergence, it is assumed that either the score function or its approximation is Lipschitz uniformly in time. However, this condition is very restrictive in practice or appears to be difficult to establish. To circumvent this issue, previous works mainly focused on establishing convergence bounds in KL for an early stopped version of the diffusion model and a smoothed version of the data distribution, or assuming that the data distribution is supported on a compact manifold. These explorations have lead to interesting bounds in either Wasserstein or Fortet-Mourier metrics. However, the question remains about the relevance of such early-stopping procedure or compactness conditions. In particular, if there exist a natural and mild condition ensuring explicit and sharp convergence bounds in KL. In this article, we tackle the aforementioned limitations by focusing on score diffusion models with fixed step size stemming from the Ornstein-Ulhenbeck semigroup and its kinetic counterpart. Our study provides a rigorous analysis, yielding simple, improved and sharp convergence bounds in KL applicable to any data distribution with finite Fisher information with respect to the standard Gaussian distribution.
• Abstract（参考訳）: 拡散モデルは、確率微分方程式に付随するスコア関数の推定を中心に展開する新しい生成モデルである。 取得後、近似スコア関数を使用して対応する時間反転過程をシミュレートし、最終的に近似データサンプルの生成を可能にする。 これらのモデルが持つ明らかな実用的重要性にもかかわらず、特に非正規スコアや推定器を含むシナリオにおいて、包括的な定量的結果の欠如という形で顕著な課題が続いている。 Kullback Leibler (KL) の発散の報告されたほとんど全ての境界において、スコア関数または近似は時間内に一様リプシッツであると仮定される。 しかし、この条件は実際には極めて厳格であり、確立が困難である。 この問題を回避するため、以前の研究は主に拡散モデルの早期停止バージョンとデータ分布の平滑化バージョンに対するklの収束境界を確立すること、またはデータ分布がコンパクト多様体上でサポートされていると仮定することに焦点を当てた。 これらの調査は、wassersteinかfortet-mourierのメトリクスに興味深い限界をもたらした。 しかし、そのような早期停止手順やコンパクト性条件の関連性については疑問が残る。 特に、kl に明示的かつ鋭い収束境界を保証する自然で穏やかな条件が存在する場合。 本稿では,Ornstein-Ulhenbeck半群とその運動論的対応から生じる一定のステップサイズのスコア拡散モデルに着目して,上記の制限に対処する。 我々の研究は厳密な分析を提供し、標準ガウス分布に関して有限フィッシャー情報を持つ任意のデータ分布に適用可能なKLにおける単純で改善され鋭い収束境界を与える。

関連論文リスト

• Constrained Sampling with Primal-Dual Langevin Monte Carlo [15.634831573546041]
  この研究は、正規化定数まで既知の確率分布からサンプリングする問題を考察する。 一般非線形関数の期待値によって定義された統計的制約の集合を満たす。 我々は,目標分布とサンプルを同時に制約する離散時間原始二元Langevin Monte Carloアルゴリズム(PD-LMC)を提唱した。
  論文  参考訳（メタデータ） (2024-11-01T13:26:13Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Latent Space Score-based Diffusion Model for Probabilistic Multivariate Time Series Imputation [6.9295879301090535]
  確率的時系列計算のための遅延空間スコアベース拡散モデル(LSSDM)を提案する。 LSSDMは、計算機構のより良い説明と不確実性解析を提供しながら、優れた計算性能を実現する。
  論文  参考訳（メタデータ） (2024-09-13T15:32:26Z)
• Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach [49.97755400231656]
  本研究では,新しいDDPMサンプリング器が,これまで考慮されていなかった3種類の分散クラスに対して高速化性能を実現することを示す。 この結果から, DDPM型加速サンプリング器におけるデータ次元$d$への依存性が改善された。
  論文  参考訳（メタデータ） (2024-02-21T16:11:47Z)
• An analysis of the noise schedule for score-based generative models [7.180235086275926]
  対象分布と推定分布とのKL分散の上限を確立する。 We provide a tighter error bound in Wasserstein distance than the state-of-the-art results。
  論文  参考訳（メタデータ） (2024-02-07T08:24:35Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Posterior Coreset Construction with Kernelized Stein Discrepancy for Model-Based Reinforcement Learning [78.30395044401321]
  我々は、強化学習(MBRL)のための新しいモデルベースアプローチを開発する。 ターゲット遷移モデルの仮定を緩和し、混合モデルの一般的な族に属する。 連続的な制御環境では、壁時計の時間を最大50%削減することができる。
  論文  参考訳（メタデータ） (2022-06-02T17:27:49Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。