論文の概要: Accelerating Convergence of Score-Based Diffusion Models, Provably
- arxiv url: http://arxiv.org/abs/2403.03852v1
- Date: Wed, 6 Mar 2024 17:02:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 14:24:27.648414
- Title: Accelerating Convergence of Score-Based Diffusion Models, Provably
- Title(参考訳): スコアベース拡散モデルの収束の促進, 実現可能
- Authors: Gen Li, Yu Huang, Timofey Efimov, Yuting Wei, Yuejie Chi, Yuxin Chen
- Abstract要約: スコアベース拡散モデルはしばしばサンプリングフェーズで必要とされる広範な機能評価のためにサンプリング速度の低下に悩まされる。
我々は、一般的な決定論的(DDIM)および(DDPM)サンプリングを高速化する、新しいトレーニングフリーアルゴリズムを設計する。
我々の理論は、$ell$-accurate score estimatesを許容し、ターゲット分布に対数凹凸や滑らかさを必要としない。
- 参考スコア(独自算出の注目度): 44.11766377798812
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Score-based diffusion models, while achieving remarkable empirical
performance, often suffer from low sampling speed, due to extensive function
evaluations needed during the sampling phase. Despite a flurry of recent
activities towards speeding up diffusion generative modeling in practice,
theoretical underpinnings for acceleration techniques remain severely limited.
In this paper, we design novel training-free algorithms to accelerate popular
deterministic (i.e., DDIM) and stochastic (i.e., DDPM) samplers. Our
accelerated deterministic sampler converges at a rate $O(1/{T}^2)$ with $T$ the
number of steps, improving upon the $O(1/T)$ rate for the DDIM sampler; and our
accelerated stochastic sampler converges at a rate $O(1/T)$, outperforming the
rate $O(1/\sqrt{T})$ for the DDPM sampler. The design of our algorithms
leverages insights from higher-order approximation, and shares similar
intuitions as popular high-order ODE solvers like the DPM-Solver-2. Our theory
accommodates $\ell_2$-accurate score estimates, and does not require
log-concavity or smoothness on the target distribution.
- Abstract(参考訳): スコアベース拡散モデルは、顕著な経験的性能を達成する一方で、サンプリングフェーズで必要とされる広範な機能評価のために、サンプリング速度の低下に悩まされることが多い。
近年, 拡散生成モデリングの高速化に向けた活動が盛んに行われているが, 加速技術の理論的基盤は極めて限られている。
本稿では,一般的な決定論的(DDIM)および確率的(DDPM)サンプリングを高速化する,新しい学習自由アルゴリズムを設計する。
我々の加速式決定型サンプリング器はO(1/{T}^2)$とT$で収束し、DDIMサンプル器のO(1/T)$レートを改善し、加速式確率型サンプリング器はO(1/T)$で収束し、DDPMサンプル器のO(1/\sqrt{T})$より優れる。
アルゴリズムの設計は高次近似からの洞察を利用しており、DPM-Solver-2のような高次ODE解法と同様の直観を共有している。
我々の理論は、$\ell_2$-accurate score estimatesを許容し、ターゲット分布に対数凹凸や滑らかさを必要としない。
関連論文リスト
- Towards Fast Stochastic Sampling in Diffusion Generative Models [22.01769257075573]
拡散モデルは、推論時に遅いサンプル生成に悩まされる。
拡張空間における事前学習拡散モデルにおける高速サンプリングのための分割法を提案する。
本研究では,スプリッティングの単純適用が高速サンプリングに最適であることを示す。
論文 参考訳(メタデータ) (2024-02-11T14:04:13Z) - Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [111.90150190668555]
反復Denoising Energy Matching (iDEM)
iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。
提案手法は,全測定値の最先端性能を達成し,2~5倍の速さでトレーニングを行う。
論文 参考訳(メタデータ) (2024-02-09T01:11:23Z) - Efficient Integrators for Diffusion Generative Models [22.01769257075573]
拡散モデルは、推論時に遅いサンプル生成に悩まされる。
事前学習モデルにおけるサンプル生成を高速化するための2つの補完的フレームワークを提案する。
本稿では,拡張空間における拡散モデルにおける最良報告性能を実現するハイブリッド手法を提案する。
論文 参考訳(メタデータ) (2023-10-11T21:04:42Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳(メタデータ) (2023-06-15T16:30:08Z) - Fast Diffusion Model [122.36693015093041]
拡散モデル(DM)は、複雑なデータ分布を捉える能力を持つ様々な分野に採用されている。
本稿では,DM最適化の観点から,高速拡散モデル (FDM) を提案する。
論文 参考訳(メタデータ) (2023-06-12T09:38:04Z) - Fast Diffusion Probabilistic Model Sampling through the lens of Backward
Error Analysis [26.907301901503835]
拡散確率モデル (DDPM) は強力な生成モデルの一種である。
DDPMは通常、サンプルを生成するために数百から数千の連続関数評価(ステップ)を必要とする。
本稿では,高い試料品質を維持しつつ,ステップの少ないDDPMの高速サンプリング法を開発することを目的とする。
論文 参考訳(メタデータ) (2023-04-22T16:58:47Z) - Accelerating Diffusion Models via Early Stop of the Diffusion Process [114.48426684994179]
Denoising Diffusion Probabilistic Models (DDPM) は、様々な世代タスクにおいて優れたパフォーマンスを実現している。
実際には、DDPMは高品質なサンプルを得るために何十万ものデノナイジングステップを必要とすることが多い。
本稿では,DDPMの早期停止型DDPM(Early-Stopped DDPM, ES-DDPM)の原理的高速化戦略を提案する。
論文 参考訳(メタデータ) (2022-05-25T06:40:09Z) - Denoising Diffusion Implicit Models [117.03720513930335]
DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。
DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
論文 参考訳(メタデータ) (2020-10-06T06:15:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。