論文の概要: Unified Convergence Analysis for Score-Based Diffusion Models with Deterministic Samplers

• arxiv url: http://arxiv.org/abs/2410.14237v1
• Date: Fri, 18 Oct 2024 07:37:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:26:17.158266
• Title: Unified Convergence Analysis for Score-Based Diffusion Models with Deterministic Samplers
• Title（参考訳）: 決定論的サンプリングを用いたスコアベース拡散モデルの統一収束解析
• Authors: Runjia Li, Qiwei Di, Quanquan Gu,
• Abstract要約: 決定論的サンプリングのための統合収束分析フレームワークを提案する。 我々のフレームワークは$tilde O(d2/epsilon)$の反復複雑性を実現する。 また,Denoising Implicit Diffusion Models (DDIM) タイプのサンプルについて詳細な分析を行った。
• 参考スコア（独自算出の注目度）: 49.1574468325115
• License:
• Abstract: Score-based diffusion models have emerged as powerful techniques for generating samples from high-dimensional data distributions. These models involve a two-phase process: first, injecting noise to transform the data distribution into a known prior distribution, and second, sampling to recover the original data distribution from noise. Among the various sampling methods, deterministic samplers stand out for their enhanced efficiency. However, analyzing these deterministic samplers presents unique challenges, as they preclude the use of established techniques such as Girsanov's theorem, which are only applicable to stochastic samplers. Furthermore, existing analysis for deterministic samplers usually focuses on specific examples, lacking a generalized approach for general forward processes and various deterministic samplers. Our paper addresses these limitations by introducing a unified convergence analysis framework. To demonstrate the power of our framework, we analyze the variance-preserving (VP) forward process with the exponential integrator (EI) scheme, achieving iteration complexity of $\tilde O(d^2/\epsilon)$. Additionally, we provide a detailed analysis of Denoising Diffusion Implicit Models (DDIM)-type samplers, which have been underexplored in previous research, achieving polynomial iteration complexity.
• Abstract（参考訳）: スコアベース拡散モデルは高次元データ分布からサンプルを生成する強力な手法として登場した。 これらのモデルには、まずノイズを注入して、データ分布を既知の事前分布に変換し、次に、元のデータ分布をノイズから回復するためのサンプリングという2段階のプロセスが含まれる。 種々のサンプリング方法の中で, 決定論的サンプリングは効率の向上に際し顕著である。 しかし、これらの決定論的サンプリングを解析することは、確率的サンプリングにのみ適用可能なジルサノフの定理のような確立されたテクニックの使用を妨げているため、ユニークな課題を示す。 さらに、決定論的サンプリングのための既存の分析は、通常、一般的なフォワードプロセスと様々な決定論的サンプリングのための一般化されたアプローチを欠いている特定の例に焦点を当てている。 本稿では,統合収束分析フレームワークを導入することで,これらの制約に対処する。 フレームワークのパワーを示すために,指数積分器(EI)方式を用いて分散保存(VP)前処理を解析し,$\tilde O(d^2/\epsilon)$の反復複雑性を実現する。 さらに, 直交拡散インプリシットモデル (DDIM) 型サンプルの詳細な解析を行った。

関連論文リスト

• Single-Step Consistent Diffusion Samplers [8.758218443992467]
  既存のサンプリングアルゴリズムは通常、高品質なサンプルを作成するために多くの反復的なステップを必要とする。 単一ステップで高忠実度サンプルを生成するために設計された新しいサンプルクラスである,一貫した拡散サンプリングを導入している。 提案手法は,従来の拡散サンプリング装置で要求されるネットワーク評価の1%以下を用いて,高忠実度サンプルが得られることを示す。
  論文  参考訳（メタデータ） (2025-02-11T14:25:52Z)
• Designing Scheduling for Diffusion Models via Spectral Analysis [23.105365495914644]
  拡散モデル(DM)は、複雑なデータ分散をモデル化するための強力なツールとして登場した。 我々は、DMの推論プロセスの新たな解析を行い、包括的周波数応答の観点を導入する。 提案手法は,ノイズスケジュールの最適化にどのように活用できるかを実証する。
  論文  参考訳（メタデータ） (2025-01-31T21:50:31Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Training Implicit Generative Models via an Invariant Statistical Loss [3.139474253994318]
  暗黙的な生成モデルは任意の複雑なデータ分布を学習する能力を持つ。 マイナス面として、トレーニングでは、敵対的判別器を使用して人工的に生成されたデータと実際のデータを区別する必要がある。 本研究では,1次元(1次元)生成暗黙的モデルを学習するための判別器フリーな手法を開発した。
  論文  参考訳（メタデータ） (2024-02-26T09:32:28Z)
• Restoration-Degradation Beyond Linear Diffusions: A Non-Asymptotic Analysis For DDIM-Type Samplers [90.45898746733397]
  本研究では拡散生成モデルに用いる決定論的サンプリング器の非漸近解析のためのフレームワークを開発する。 確率フローODEに沿った1ステップは,1) 条件付き対数線上を無限に先行して上昇する回復ステップ,2) 雑音を現在の勾配に向けて前向きに進行する劣化ステップの2段階で表すことができる。
  論文  参考訳（メタデータ） (2023-03-06T18:59:19Z)
• Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
  まず確率分布をモデル化し,そのモデルからサンプリングする。 これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
  論文  参考訳（メタデータ） (2021-10-20T12:25:22Z)
• Oops I Took A Gradient: Scalable Sampling for Discrete Distributions [53.3142984019796]
  このアプローチは、多くの困難な設定において、ジェネリックサンプリングよりも優れていることを示す。 また,高次元離散データを用いた深部エネルギーモデルトレーニングのための改良型サンプリング器についても実演した。
  論文  参考訳（メタデータ） (2021-02-08T20:08:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。