論文の概要: Advancing Wasserstein Convergence Analysis of Score-Based Models: Insights from Discretization and Second-Order Acceleration

• arxiv url: http://arxiv.org/abs/2502.04849v1
• Date: Fri, 07 Feb 2025 11:37:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:57:34.237645
• Title: Advancing Wasserstein Convergence Analysis of Score-Based Models: Insights from Discretization and Second-Order Acceleration
• Title（参考訳）: スコアモデルにおけるワッサーシュタイン収束解析の促進:離散化と2次加速度による考察
• Authors: Yifeng Yu, Lu Yu,
• Abstract要約: スコアベース拡散モデルのワッサーシュタイン収束解析に着目する。 我々は、オイラー離散化、指数中点法、ランダム化法など、様々な離散化スキームを比較する。 局所線形化法に基づく加速型サンプリング器を提案する。
• 参考スコア（独自算出の注目度）: 5.548787731232499
• License:
• Abstract: Score-based diffusion models have emerged as powerful tools in generative modeling, yet their theoretical foundations remain underexplored. In this work, we focus on the Wasserstein convergence analysis of score-based diffusion models. Specifically, we investigate the impact of various discretization schemes, including Euler discretization, exponential integrators, and midpoint randomization methods. Our analysis provides a quantitative comparison of these discrete approximations, emphasizing their influence on convergence behavior. Furthermore, we explore scenarios where Hessian information is available and propose an accelerated sampler based on the local linearization method. We demonstrate that this Hessian-based approach achieves faster convergence rates of order $\widetilde{\mathcal{O}}\left(\frac{1}{\varepsilon}\right)$ significantly improving upon the standard rate $\widetilde{\mathcal{O}}\left(\frac{1}{\varepsilon^2}\right)$ of vanilla diffusion models, where $\varepsilon$ denotes the target accuracy.
• Abstract（参考訳）: スコアベース拡散モデルが生成モデリングの強力なツールとして登場したが、理論上の基礎は未解明のままである。 本研究では、スコアベース拡散モデルのワッサーシュタイン収束解析に焦点を当てる。 具体的には、オイラー離散化、指数積分器、中間点ランダム化法など、様々な離散化スキームの影響について検討する。 我々の分析は、これらの離散近似を定量的に比較し、収束挙動への影響を強調している。 さらに,ヘッセン情報が利用可能なシナリオについて検討し,局所線形化法に基づく高速化されたサンプリング手法を提案する。 このヘッセン系アプローチは、次数$\widetilde{\mathcal{O}}\left(\frac{1}{\varepsilon}\right)$ 標準レート$\widetilde{\mathcal{O}}\left(\frac{1}{\varepsilon^2}\right)$ バニラ拡散モデルにおいて、目標精度を示す。

関連論文リスト

• Wasserstein Bounds for generative diffusion models with Gaussian tail targets [0.0]
  本稿では,データ分布とスコアベース生成モデルの生成の間のワッサースタイン距離を推定する。 次元で有界な複雑性は、対数定数を持つ$O(sqrtd)$である。
  論文  参考訳（メタデータ） (2024-12-15T17:20:42Z)
• Improved Convergence Rate for Diffusion Probabilistic Models [7.237817437521988]
  スコアベース拡散モデルは、機械学習と人工知能の分野で顕著な経験的性能を達成した。 多くの理論的な試みにもかかわらず、理論と実践の間には大きなギャップがある。 繰り返しの複雑性を$d2/3varepsilon-2/3$とすると、$d5/12varepsilon-1$よりよい。 我々の理論は、$varepsilon$-accurate score estimatesを許容し、ターゲット分布の対数共振を必要としない。
  論文  参考訳（メタデータ） (2024-10-17T16:37:33Z)
• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Kinetic Interacting Particle Langevin Monte Carlo [0.0]
  本稿では,潜在変数モデルにおける統計的推論のために,アンダーダム付きランゲヴィンアルゴリズムの相互作用について紹介し,解析する。 本稿では,パラメータと潜伏変数の空間内で共同で進化する拡散過程を提案する。 統計モデルのパラメータを推定する実用的なアルゴリズムとして,この拡散について2つの明確な考察を行う。
  論文  参考訳（メタデータ） (2024-07-08T09:52:46Z)
• Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
  本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。 我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
  論文  参考訳（メタデータ） (2024-05-31T16:18:46Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。