論文の概要: Instance-dependent Convergence Theory for Diffusion Models

• arxiv url: http://arxiv.org/abs/2410.13738v2
• Date: Thu, 29 May 2025 05:33:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 15:42:32.602463
• Title: Instance-dependent Convergence Theory for Diffusion Models
• Title（参考訳）: 拡散モデルに対するインスタンス依存収束理論
• Authors: Yuchen Jiao, Gen Li,
• Abstract要約: 我々は、異なる対象分布の滑らかさに適応する収束率を開発し、これをインスタンス依存境界と呼ぶ。 さらに、$L$は緩和されたリプシッツ定数を表し、ガウス混合モデルの場合、成分の数と対数的にしかスケールしない。
• 参考スコア（独自算出の注目度）: 7.237817437521988
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Score-based diffusion models have demonstrated outstanding empirical performance in machine learning and artificial intelligence, particularly in generating high-quality new samples from complex probability distributions. Improving the theoretical understanding of diffusion models, with a particular focus on the convergence analysis, has attracted significant attention. In this work, we develop a convergence rate that is adaptive to the smoothness of different target distributions, referred to as instance-dependent bound. Specifically, we establish an iteration complexity of $\min\{d,d^{2/3}L^{1/3},d^{1/3}L\}\varepsilon^{-2/3}$ (up to logarithmic factors), where $d$ denotes the data dimension, and $\varepsilon$ quantifies the output accuracy in terms of total variation (TV) distance. In addition, $L$ represents a relaxed Lipschitz constant, which, in the case of Gaussian mixture models, scales only logarithmically with the number of components, the dimension and iteration number, demonstrating broad applicability.
• Abstract（参考訳）: スコアベース拡散モデルは、機械学習と人工知能において、特に複雑な確率分布から高品質な新しいサンプルを生成する際、優れた経験的性能を示した。 拡散モデルの理論的理解の改善は、収束解析に特に焦点をあてて、大きな注目を集めている。 本研究では、異なる対象分布の滑らかさに適応する収束率を、インスタンス依存境界(英語版)と呼ぶ。 具体的には、$\min\{d,d^{2/3}L^{1/3},d^{1/3}L\}\}\varepsilon^{-2/3}$(対数因子まで)の反復複雑性を確立し、$d$はデータ次元を表し、$\varepsilon$は総変動(TV)距離で出力精度を定量化する。 さらに、$L$は緩和されたリプシッツ定数を表しており、ガウス混合モデルの場合、成分数、寸法、反復数と対数的にしかスケールせず、広い適用性を示している。

関連論文リスト

• Advancing Wasserstein Convergence Analysis of Score-Based Models: Insights from Discretization and Second-Order Acceleration [5.548787731232499]
  スコアベース拡散モデルのワッサーシュタイン収束解析に着目する。 我々は、オイラー離散化、指数中点法、ランダム化法など、様々な離散化スキームを比較する。 局所線形化法に基づく加速型サンプリング器を提案する。
  論文  参考訳（メタデータ） (2025-02-07T11:37:51Z)
• Parallel simulation for sampling under isoperimetry and score-based diffusion models [56.39904484784127]
  データサイズが大きくなるにつれて、イテレーションコストの削減が重要な目標になります。 科学計算における初期値問題の並列シミュレーションの成功に触発されて,タスクをサンプリングするための並列Picard法を提案する。 本研究は,動力学に基づくサンプリング・拡散モデルの科学的計算におけるシミュレーション手法の潜在的利点を強調した。
  論文  参考訳（メタデータ） (2024-12-10T11:50:46Z)
• Non-asymptotic bounds for forward processes in denoising diffusions: Ornstein-Uhlenbeck is hard to beat [49.1574468325115]
  本稿では,全変動(TV)における前方拡散誤差の非漸近的境界について述べる。 我々は、R$からFarthestモードまでの距離でマルチモーダルデータ分布をパラメライズし、加法的および乗法的雑音による前方拡散を考察する。
  論文  参考訳（メタデータ） (2024-08-25T10:28:31Z)
• A Sharp Convergence Theory for The Probability Flow ODEs of Diffusion Models [45.60426164657739]
  拡散型サンプリング器の非漸近収束理論を開発する。 我々は、$d/varepsilon$がターゲット分布を$varepsilon$トータル偏差距離に近似するのに十分であることを証明した。 我々の結果は、$ell$のスコア推定誤差がデータ生成プロセスの品質にどのように影響するかも特徴付ける。
  論文  参考訳（メタデータ） (2024-08-05T09:02:24Z)
• Flow matching achieves almost minimax optimal convergence [50.38891696297888]
  フローマッチング (FM) は, シミュレーションのない生成モデルとして注目されている。 本稿では,大試料径のFMの収束特性を$p$-Wasserstein 距離で論じる。 我々は、FMが1leq p leq 2$でほぼ最小の収束率を達成できることを確立し、FMが拡散モデルに匹敵する収束率に達するという最初の理論的証拠を示す。
  論文  参考訳（メタデータ） (2024-05-31T14:54:51Z)
• Accelerating Diffusion Models with Parallel Sampling: Inference at Sub-Linear Time Complexity [11.71206628091551]
  拡散モデルは、訓練と評価に費用がかかるため、拡散モデルの推論コストを削減することが大きな目標である。 並列サンプリング手法であるHh2024parallelを用いて拡散モデルを高速化する実験的な成功に触発されて,サンプリングプロセスを各ブロック内に並列化可能なPicard繰り返しを持つ$mathcalO(1)$ブロックに分割することを提案する。 我々の結果は、高速で効率的な高次元データサンプリングの可能性に光を当てた。
  論文  参考訳（メタデータ） (2024-05-24T23:59:41Z)
• Convergence Analysis of Probability Flow ODE for Score-based Generative Models [5.939858158928473]
  確率フローODEに基づく決定論的サンプリング器の収束特性を理論的・数値的両面から検討する。 連続時間レベルでは、ターゲットと生成されたデータ分布の総変動を$mathcalO(d3/4delta1/2)$で表すことができる。
  論文  参考訳（メタデータ） (2024-04-15T12:29:28Z)
• Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach [49.97755400231656]
  本研究では,新しいDDPMサンプリング器が,これまで考慮されていなかった3種類の分散クラスに対して高速化性能を実現することを示す。 この結果から, DDPM型加速サンプリング器におけるデータ次元$d$への依存性が改善された。
  論文  参考訳（メタデータ） (2024-02-21T16:11:47Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Improved Analysis of Score-based Generative Modeling: User-Friendly Bounds under Minimal Smoothness Assumptions [9.953088581242845]
  2次モーメントを持つ任意のデータ分布に対して,コンバージェンス保証と複雑性を提供する。 我々の結果は、対数共空性や機能的不等式を前提としない。 我々の理論解析は、異なる離散近似の比較を提供し、実際の離散化点の選択を導くかもしれない。
  論文  参考訳（メタデータ） (2022-11-03T15:51:00Z)
• KL-Entropy-Regularized RL with a Generative Model is Minimax Optimal [70.15267479220691]
  モデル強化学習のサンプル複雑性を,生成的分散自由モデルを用いて検討・解析する。 我々の分析は、$varepsilon$が十分小さい場合、$varepsilon$-optimal Policyを見つけるのが、ほぼ最小の最適化であることを示している。
  論文  参考訳（メタデータ） (2022-05-27T19:39:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。