論文の概要: Unified Convergence Analysis for Score-Based Diffusion Models with Deterministic Samplers

• arxiv url: http://arxiv.org/abs/2410.14237v1
• Date: Fri, 18 Oct 2024 07:37:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:26:17.158266
• Title: Unified Convergence Analysis for Score-Based Diffusion Models with Deterministic Samplers
• Title（参考訳）: 決定論的サンプリングを用いたスコアベース拡散モデルの統一収束解析
• Authors: Runjia Li, Qiwei Di, Quanquan Gu,
• Abstract要約: 決定論的サンプリングのための統合収束分析フレームワークを提案する。 我々のフレームワークは$tilde O(d2/epsilon)$の反復複雑性を実現する。 また,Denoising Implicit Diffusion Models (DDIM) タイプのサンプルについて詳細な分析を行った。
• 参考スコア（独自算出の注目度）: 49.1574468325115
• License:
• Abstract: Score-based diffusion models have emerged as powerful techniques for generating samples from high-dimensional data distributions. These models involve a two-phase process: first, injecting noise to transform the data distribution into a known prior distribution, and second, sampling to recover the original data distribution from noise. Among the various sampling methods, deterministic samplers stand out for their enhanced efficiency. However, analyzing these deterministic samplers presents unique challenges, as they preclude the use of established techniques such as Girsanov's theorem, which are only applicable to stochastic samplers. Furthermore, existing analysis for deterministic samplers usually focuses on specific examples, lacking a generalized approach for general forward processes and various deterministic samplers. Our paper addresses these limitations by introducing a unified convergence analysis framework. To demonstrate the power of our framework, we analyze the variance-preserving (VP) forward process with the exponential integrator (EI) scheme, achieving iteration complexity of $\tilde O(d^2/\epsilon)$. Additionally, we provide a detailed analysis of Denoising Diffusion Implicit Models (DDIM)-type samplers, which have been underexplored in previous research, achieving polynomial iteration complexity.
• Abstract（参考訳）: スコアベース拡散モデルは高次元データ分布からサンプルを生成する強力な手法として登場した。 これらのモデルには、まずノイズを注入して、データ分布を既知の事前分布に変換し、次に、元のデータ分布をノイズから回復するためのサンプリングという2段階のプロセスが含まれる。 種々のサンプリング方法の中で, 決定論的サンプリングは効率の向上に際し顕著である。 しかし、これらの決定論的サンプリングを解析することは、確率的サンプリングにのみ適用可能なジルサノフの定理のような確立されたテクニックの使用を妨げているため、ユニークな課題を示す。 さらに、決定論的サンプリングのための既存の分析は、通常、一般的なフォワードプロセスと様々な決定論的サンプリングのための一般化されたアプローチを欠いている特定の例に焦点を当てている。 本稿では,統合収束分析フレームワークを導入することで,これらの制約に対処する。 フレームワークのパワーを示すために,指数積分器(EI)方式を用いて分散保存(VP)前処理を解析し,$\tilde O(d^2/\epsilon)$の反復複雑性を実現する。 さらに, 直交拡散インプリシットモデル (DDIM) 型サンプルの詳細な解析を行った。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• HJ-sampler: A Bayesian sampler for inverse problems of a stochastic process by leveraging Hamilton-Jacobi PDEs and score-based generative models [1.949927790632678]
  本稿では,ブラウン運動文脈におけるコールホップ変換(Cole-Hopf transform)と呼ばれるログ変換に基づく。 本稿では,HJ-sampler という新しいアルゴリズムを開発し,与えられた終端観測による微分方程式の逆問題に対する推論を行う。
  論文  参考訳（メタデータ） (2024-09-15T05:30:54Z)
• Variational Learning of Gaussian Process Latent Variable Models through Stochastic Gradient Annealed Importance Sampling [22.256068524699472]
  本研究では,これらの問題に対処するために,Annealed Importance Smpling (AIS)アプローチを提案する。 シークエンシャルモンテカルロサンプリング器とVIの強度を組み合わせることで、より広い範囲の後方分布を探索し、徐々にターゲット分布に接近する。 実験結果から,本手法はより厳密な変動境界,高い対数類似度,より堅牢な収束率で最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-13T08:09:05Z)
• Training Implicit Generative Models via an Invariant Statistical Loss [3.139474253994318]
  暗黙的な生成モデルは任意の複雑なデータ分布を学習する能力を持つ。 マイナス面として、トレーニングでは、敵対的判別器を使用して人工的に生成されたデータと実際のデータを区別する必要がある。 本研究では,1次元(1次元)生成暗黙的モデルを学習するための判別器フリーな手法を開発した。
  論文  参考訳（メタデータ） (2024-02-26T09:32:28Z)
• Restoration-Degradation Beyond Linear Diffusions: A Non-Asymptotic Analysis For DDIM-Type Samplers [90.45898746733397]
  本研究では拡散生成モデルに用いる決定論的サンプリング器の非漸近解析のためのフレームワークを開発する。 確率フローODEに沿った1ステップは,1) 条件付き対数線上を無限に先行して上昇する回復ステップ,2) 雑音を現在の勾配に向けて前向きに進行する劣化ステップの2段階で表すことができる。
  論文  参考訳（メタデータ） (2023-03-06T18:59:19Z)
• Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
  まず確率分布をモデル化し,そのモデルからサンプリングする。 これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
  論文  参考訳（メタデータ） (2021-10-20T12:25:22Z)
• Oops I Took A Gradient: Scalable Sampling for Discrete Distributions [53.3142984019796]
  このアプローチは、多くの困難な設定において、ジェネリックサンプリングよりも優れていることを示す。 また,高次元離散データを用いた深部エネルギーモデルトレーニングのための改良型サンプリング器についても実演した。
  論文  参考訳（メタデータ） (2021-02-08T20:08:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。