論文の概要: Accelerating Convergence of Score-Based Diffusion Models, Provably
- arxiv url: http://arxiv.org/abs/2403.03852v1
- Date: Wed, 6 Mar 2024 17:02:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 14:24:27.648414
- Title: Accelerating Convergence of Score-Based Diffusion Models, Provably
- Title（参考訳）: スコアベース拡散モデルの収束の促進, 実現可能
- Authors: Gen Li, Yu Huang, Timofey Efimov, Yuting Wei, Yuejie Chi, Yuxin Chen
- Abstract要約: スコアベース拡散モデルはしばしばサンプリングフェーズで必要とされる広範な機能評価のためにサンプリング速度の低下に悩まされる。
我々は、一般的な決定論的(DDIM)および(DDPM)サンプリングを高速化する、新しいトレーニングフリーアルゴリズムを設計する。
我々の理論は、$ell$-accurate score estimatesを許容し、ターゲット分布に対数凹凸や滑らかさを必要としない。
- 参考スコア（独自算出の注目度）: 44.11766377798812
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Score-based diffusion models, while achieving remarkable empirical
performance, often suffer from low sampling speed, due to extensive function
evaluations needed during the sampling phase. Despite a flurry of recent
activities towards speeding up diffusion generative modeling in practice,
theoretical underpinnings for acceleration techniques remain severely limited.
In this paper, we design novel training-free algorithms to accelerate popular
deterministic (i.e., DDIM) and stochastic (i.e., DDPM) samplers. Our
accelerated deterministic sampler converges at a rate $O(1/{T}^2)$ with $T$ the
number of steps, improving upon the $O(1/T)$ rate for the DDIM sampler; and our
accelerated stochastic sampler converges at a rate $O(1/T)$, outperforming the
rate $O(1/\sqrt{T})$ for the DDPM sampler. The design of our algorithms
leverages insights from higher-order approximation, and shares similar
intuitions as popular high-order ODE solvers like the DPM-Solver-2. Our theory
accommodates $\ell_2$-accurate score estimates, and does not require
log-concavity or smoothness on the target distribution.
- Abstract（参考訳）: スコアベース拡散モデルは、顕著な経験的性能を達成する一方で、サンプリングフェーズで必要とされる広範な機能評価のために、サンプリング速度の低下に悩まされることが多い。
近年, 拡散生成モデリングの高速化に向けた活動が盛んに行われているが, 加速技術の理論的基盤は極めて限られている。
本稿では,一般的な決定論的(DDIM)および確率的(DDPM)サンプリングを高速化する,新しい学習自由アルゴリズムを設計する。
我々の加速式決定型サンプリング器はO(1/{T}^2)$とT$で収束し、DDIMサンプル器のO(1/T)$レートを改善し、加速式確率型サンプリング器はO(1/T)$で収束し、DDPMサンプル器のO(1/\sqrt{T})$より優れる。
アルゴリズムの設計は高次近似からの洞察を利用しており、DPM-Solver-2のような高次ODE解法と同様の直観を共有している。
我々の理論は、$\ell_2$-accurate score estimatesを許容し、ターゲット分布に対数凹凸や滑らかさを必要としない。
関連論文リスト
- Provable Acceleration for Diffusion Models under Minimal Assumptions [8.15094483029656]
そこで本研究では,スコアベースサンプルの学習自由化手法を提案する。
最小限の仮定で、我々のスキームは$widetildeO(d5/4/sqrtvarepsilon)$ iterationsの総変量で$varepsilon$-accuracyを達成する。
論文 参考訳（メタデータ） (2024-10-30T17:59:06Z) - Stochastic Runge-Kutta Methods: Provable Acceleration of Diffusion Models [21.961189407928853]
我々は,KL Runge-Kutta法に基づいて,SDEスタイルの拡散サンプリングのための学習自由加速アルゴリズムを提案し,解析する。
提案したサンプルは、$widetilde O(d3/2 / varepsilon)$ score function Evaluationsを用いて、確実に$varepsilon2$エラー(ばらつきで測定)を得る。
論文 参考訳（メタデータ） (2024-10-07T05:34:51Z) - Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach [49.97755400231656]
本研究では,新しいDDPMサンプリング器が,これまで考慮されていなかった3種類の分散クラスに対して高速化性能を実現することを示す。
この結果から, DDPM型加速サンプリング器におけるデータ次元$d$への依存性が改善された。
論文 参考訳（メタデータ） (2024-02-21T16:11:47Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳（メタデータ） (2023-06-15T16:30:08Z) - Fast Diffusion Model [122.36693015093041]
拡散モデル(DM)は、複雑なデータ分布を捉える能力を持つ様々な分野に採用されている。
本稿では,DM最適化の観点から,高速拡散モデル (FDM) を提案する。
論文 参考訳（メタデータ） (2023-06-12T09:38:04Z) - Fast Diffusion Probabilistic Model Sampling through the lens of Backward
Error Analysis [26.907301901503835]
拡散確率モデル (DDPM) は強力な生成モデルの一種である。
DDPMは通常、サンプルを生成するために数百から数千の連続関数評価(ステップ)を必要とする。
本稿では,高い試料品質を維持しつつ,ステップの少ないDDPMの高速サンプリング法を開発することを目的とする。
論文 参考訳（メタデータ） (2023-04-22T16:58:47Z) - Accelerating Diffusion Models via Early Stop of the Diffusion Process [114.48426684994179]
Denoising Diffusion Probabilistic Models (DDPM) は、様々な世代タスクにおいて優れたパフォーマンスを実現している。
実際には、DDPMは高品質なサンプルを得るために何十万ものデノナイジングステップを必要とすることが多い。
本稿では,DDPMの早期停止型DDPM(Early-Stopped DDPM, ES-DDPM)の原理的高速化戦略を提案する。
論文 参考訳（メタデータ） (2022-05-25T06:40:09Z) - Denoising Diffusion Implicit Models [117.03720513930335]
DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。
DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
論文 参考訳（メタデータ） (2020-10-06T06:15:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。