論文の概要: Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach

• arxiv url: http://arxiv.org/abs/2402.13901v3
• Date: Tue, 01 Oct 2024 23:39:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-03 15:17:52.458368
• Title: Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach
• Title（参考訳）: 新しい解析手法による加速拡散モデルのターゲット分布の拡充
• Authors: Yuchen Liang, Peizhong Ju, Yingbin Liang, Ness Shroff,
• Abstract要約: 本研究では,新しいDDPMサンプリング器が,これまで考慮されていなかった3種類の分散クラスに対して高速化性能を実現することを示す。 この結果から, DDPM型加速サンプリング器におけるデータ次元$d$への依存性が改善された。
• 参考スコア（独自算出の注目度）: 49.97755400231656
• License:
• Abstract: Accelerated diffusion models hold the potential to significantly enhance the efficiency of standard diffusion processes. Theoretically, these models have been shown to achieve faster convergence rates than the standard $\mathcal O(1/\epsilon^2)$ rate of vanilla diffusion models, where $\epsilon$ denotes the target accuracy. However, current theoretical studies have established the acceleration advantage only for restrictive target distribution classes, such as those with smoothness conditions imposed along the entire sampling path or with bounded support. In this work, we significantly broaden the target distribution classes with a novel accelerated stochastic DDPM sampler. In particular, we show that it achieves accelerated performance for three broad distribution classes not considered before. Our first class relies on the smoothness condition posed only to the target density $q_0$, which is far more relaxed than the existing smoothness conditions posed to all $q_t$ along the entire sampling path. Our second class requires only a finite second moment condition, allowing for a much wider class of target distributions than the existing finite-support condition. Our third class is Gaussian mixture, for which our result establishes the first acceleration guarantee. Moreover, among accelerated DDPM type samplers, our results specialized for bounded-support distributions show an improved dependency on the data dimension $d$. Our analysis introduces a novel technique for establishing performance guarantees via constructing a tilting factor representation of the convergence error and utilizing Tweedie's formula to handle Taylor expansion terms. This new analytical framework may be of independent interest.
• Abstract（参考訳）: 加速拡散モデルは標準拡散過程の効率を大幅に向上させる可能性を持っている。 理論的には、これらのモデルは標準の$\mathcal O(1/\epsilon^2)$のバニラ拡散モデルよりも高速な収束率を達成することが示されている。 しかし、現在の理論的研究は、サンプリングパス全体に沿って課された滑らかさ条件や有界支持など、限定的な目標分布クラスに対してのみ加速優位性を確立している。 本研究では,新しい高速化型DDPMサンプリング装置により,ターゲット分布クラスを著しく拡張する。 特に,これまで検討されなかった3つの分散クラスに対して,高速化性能を実現することを示す。 私たちの最初のクラスは、ターゲット密度$q_0$にのみ作用する滑らかさ条件に依存しており、サンプリングパス全体に沿って全ての$q_t$に作用する既存の滑らかさ条件よりもはるかに緩やかである。 我々の第二クラスは有限第二モーメント条件しか必要とせず、既存の有限支持条件よりもはるかに広い対象分布のクラスを可能にする。 3つ目のクラスはガウス混合であり、その結果が最初の加速保証を確立する。 さらに, DDPM型検層を高速化し, 有界分布に特化してデータ次元を$d$に改善した。 本稿では,収束誤差の傾き係数表現を構築し,Tweedieの公式を用いてテイラー展開項を扱うことによって,性能保証を確立する手法を提案する。 この新たな分析フレームワークは、独立した関心を持つかもしれない。

関連論文リスト

• Provable Acceleration for Diffusion Models under Minimal Assumptions [8.15094483029656]
  そこで本研究では,スコアベースサンプルの学習自由化手法を提案する。 最小限の仮定で、我々のスキームは$widetildeO(d5/4/sqrtvarepsilon)$ iterationsの総変量で$varepsilon$-accuracyを達成する。
  論文  参考訳（メタデータ） (2024-10-30T17:59:06Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• $O(d/T)$ Convergence Theory for Diffusion Probabilistic Models under Minimal Assumptions [6.76974373198208]
  我々は、最小限の仮定の下で、人気のあるSDEベースのサンプルラーに対して高速収束理論を確立する。 解析の結果, スコア関数の$ell_2$-accurate推定値が与えられた場合, 対象分布と生成分布の総変動距離は$O(d/T)$で上限値となることがわかった。 これは、逆プロセスの各ステップでエラーがどのように伝播するかの詳細な特徴を提供する、新しい分析ツールセットによって達成される。
  論文  参考訳（メタデータ） (2024-09-27T17:59:10Z)
• A Sharp Convergence Theory for The Probability Flow ODEs of Diffusion Models [45.60426164657739]
  拡散型サンプリング器の非漸近収束理論を開発する。 我々は、$d/varepsilon$がターゲット分布を$varepsilon$トータル偏差距離に近似するのに十分であることを証明した。 我々の結果は、$ell$のスコア推定誤差がデータ生成プロセスの品質にどのように影響するかも特徴付ける。
  論文  参考訳（メタデータ） (2024-08-05T09:02:24Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
  拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。 実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
  論文  参考訳（メタデータ） (2023-03-03T11:31:55Z)
• Optimal Scaling for Locally Balanced Proposals in Discrete Spaces [65.14092237705476]
  離散空間におけるMetropolis-Hastings (M-H) アルゴリズムの効率は、対象分布に依存しない受容率によって特徴づけられることを示す。 最適受容率の知識は、連続空間におけるステップサイズ制御と直接的に類似して、離散空間における提案分布の近傍サイズを自動的に調整することを可能にする。
  論文  参考訳（メタデータ） (2022-09-16T22:09:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。