論文の概要: Provable acceleration for diffusion models under minimal assumptions

• arxiv url: http://arxiv.org/abs/2410.23285v1
• Date: Wed, 30 Oct 2024 17:59:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:29:21.984073
• Title: Provable acceleration for diffusion models under minimal assumptions
• Title（参考訳）: 最小仮定下での拡散モデルの確率加速度
• Authors: Gen Li, Changxiao Cai,
• Abstract要約: そこで本研究では,スコアベースサンプルの学習自由化手法を提案する。 最小限の仮定で、我々のスキームは$widetildeO(d5/4/sqrtvarepsilon)$ iterationsの総変量で$varepsilon$-accuracyを達成する。
• 参考スコア（独自算出の注目度）: 8.15094483029656
• License:
• Abstract: While score-based diffusion models have achieved exceptional sampling quality, their sampling speeds are often limited by the high computational burden of score function evaluations. Despite the recent remarkable empirical advances in speeding up the score-based samplers, theoretical understanding of acceleration techniques remains largely limited. To bridge this gap, we propose a novel training-free acceleration scheme for stochastic samplers. Under minimal assumptions -- namely, $L^2$-accurate score estimates and a finite second-moment condition on the target distribution -- our accelerated sampler provably achieves $\varepsilon$-accuracy in total variation within $\widetilde{O}(d^{5/4}/\sqrt{\varepsilon})$ iterations, thereby significantly improving upon the $\widetilde{O}(d/\varepsilon)$ iteration complexity of standard score-based samplers. Notably, our convergence theory does not rely on restrictive assumptions on the target distribution or higher-order score estimation guarantees.
• Abstract（参考訳）: スコアベース拡散モデルは、例外的なサンプリング品質を達成したが、スコア関数評価の計算負荷が大きいため、サンプリング速度は制限されることが多い。 スコアベースのサンプリング器の高速化における最近の顕著な経験的進歩にもかかわらず、加速技術の理論的理解は依然としてほとんど限られている。 このギャップを埋めるために,確率的サンプリングのための新しいトレーニングフリー加速法を提案する。 L^2$-正確なスコア推定値とターゲット分布上の有限第二モーメント条件の下では、我々の加速サンプリングは、$\widetilde{O}(d^{5/4}/\sqrt{\varepsilon})$イテレーションにおいて、$\widetilde{O}(d/\varepsilon)$イテレーションの複雑さを確実に達成し、その結果、$\widetilde{O}(d/\varepsilon)$標準スコアベースのサンプルラーのイテレーション複雑性を大幅に改善する。 特に、収束理論は、目標分布や高次スコア推定保証に制限的な仮定に依存しない。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Stochastic Runge-Kutta Methods: Provable Acceleration of Diffusion Models [21.961189407928853]
  我々は,KL Runge-Kutta法に基づいて,SDEスタイルの拡散サンプリングのための学習自由加速アルゴリズムを提案し,解析する。 提案したサンプルは、$widetilde O(d3/2 / varepsilon)$ score function Evaluationsを用いて、確実に$varepsilon2$エラー(ばらつきで測定)を得る。
  論文  参考訳（メタデータ） (2024-10-07T05:34:51Z)
• $O(d/T)$ Convergence Theory for Diffusion Probabilistic Models under Minimal Assumptions [6.76974373198208]
  我々は、最小限の仮定の下で、人気のあるSDEベースのサンプルラーに対して高速収束理論を確立する。 解析の結果, スコア関数の$ell_2$-accurate推定値が与えられた場合, 対象分布と生成分布の総変動距離は$O(d/T)$で上限値となることがわかった。 これは、逆プロセスの各ステップでエラーがどのように伝播するかの詳細な特徴を提供する、新しい分析ツールセットによって達成される。
  論文  参考訳（メタデータ） (2024-09-27T17:59:10Z)
• Accelerating Convergence of Score-Based Diffusion Models, Provably [44.11766377798812]
  スコアベース拡散モデルはしばしばサンプリングフェーズで必要とされる広範な機能評価のためにサンプリング速度の低下に悩まされる。 我々は、一般的な決定論的(DDIM)および(DDPM)サンプリングを高速化する、新しいトレーニングフリーアルゴリズムを設計する。 我々の理論は、$ell$-accurate score estimatesを許容し、ターゲット分布に対数凹凸や滑らかさを必要としない。
  論文  参考訳（メタデータ） (2024-03-06T17:02:39Z)
• Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach [49.97755400231656]
  本研究では,新しいDDPMサンプリング器が,これまで考慮されていなかった3種類の分散クラスに対して高速化性能を実現することを示す。 この結果から, DDPM型加速サンプリング器におけるデータ次元$d$への依存性が改善された。
  論文  参考訳（メタデータ） (2024-02-21T16:11:47Z)
• Stochastic Approximation with Delayed Updates: Finite-Time Rates under Markovian Sampling [73.5602474095954]
  マルコフサンプリングの遅延更新による近似スキームの非漸近的性能について検討した。 我々の理論的な発見は、幅広いアルゴリズムの遅延の有限時間効果に光を当てた。
  論文  参考訳（メタデータ） (2024-02-19T03:08:02Z)
• A Specialized Semismooth Newton Method for Kernel-Based Optimal Transport [92.96250725599958]
  カーネルベース最適輸送(OT)推定器は、サンプルからOT問題に対処するための代替的機能的推定手順を提供する。 SSN法は, 標準正規性条件下でのグローバル収束率$O (1/sqrtk)$, 局所二次収束率を達成できることを示す。
  論文  参考訳（メタデータ） (2023-10-21T18:48:45Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Fast Minimum-norm Adversarial Attacks through Adaptive Norm Constraints [29.227720674726413]
  異なる$ell_p$-norm摂動モデルで動作する高速最小ノルム(FMN)攻撃を提案する。 実験の結果、FMNは収束速度と時間において既存の攻撃よりも著しく優れていた。
  論文  参考訳（メタデータ） (2021-02-25T12:56:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。