論文の概要: SciRE-Solver: Efficient Sampling of Diffusion Probabilistic Models by
Score-integrand Solver with Recursive Derivative Estimation
- arxiv url: http://arxiv.org/abs/2308.07896v2
- Date: Wed, 16 Aug 2023 08:00:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-17 10:24:31.030162
- Title: SciRE-Solver: Efficient Sampling of Diffusion Probabilistic Models by
Score-integrand Solver with Recursive Derivative Estimation
- Title（参考訳）: SciRE-Solver:再帰微分推定を用いたスコア積分解法による拡散確率モデルの効率的なサンプリング
- Authors: Shigui Li, Wei Chen, Delu Zeng
- Abstract要約: 拡散モデル(DPM)は、高忠実度画像サンプルを生成する能力で知られる強力な生成モデルである。
本稿では,DPMのサンプリングプロセスに対応する拡散ODEに対して,スコアに基づく正確な解法パラダイムを提案する。
効率的なサンプリングを実現するために,拡散ODEを解くための収束順序保証(SciRE-r)を用いたスコア積分解法を提案する。
- 参考スコア（独自算出の注目度）: 9.290084484156932
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion probabilistic models (DPMs) are a powerful class of generative
models known for their ability to generate high-fidelity image samples. A major
challenge in the implementation of DPMs is the slow sampling process. In this
work, we bring a high-efficiency sampler for DPMs. Specifically, we propose a
score-based exact solution paradigm for the diffusion ODEs corresponding to the
sampling process of DPMs, which introduces a new perspective on developing
numerical algorithms for solving diffusion ODEs. To achieve an efficient
sampler, we propose a recursive derivative estimation (RDE) method to reduce
the estimation error. With our proposed solution paradigm and RDE method, we
propose the score-integrand solver with the convergence order guarantee as
efficient solver (SciRE-Solver) for solving diffusion ODEs. The SciRE-Solver
attains state-of-the-art (SOTA) sampling performance with a limited number of
score function evaluations (NFE) on both discrete-time and continuous-time DPMs
in comparison to existing training-free sampling algorithms. Such as, we
achieve $3.48$ FID with $12$ NFE and $2.42$ FID with $20$ NFE for
continuous-time DPMs on CIFAR10, respectively. Different from other samplers,
SciRE-Solver has the promising potential to surpass the FIDs achieved in the
original papers of some pre-trained models with a small NFEs. For example, we
reach SOTA value of $2.40$ FID with $100$ NFE for continuous-time DPM and of
$3.15$ FID with $84$ NFE for discrete-time DPM on CIFAR-10, as well as of
$2.17$ ($2.02$) FID with $18$ ($50$) NFE for discrete-time DPM on CelebA
64$\times$64.
- Abstract（参考訳）: diffusion probabilistic models (dpms) は高忠実度画像サンプルを生成する能力で知られる強力な生成モデルである。
DPMの実装における大きな課題は、遅いサンプリングプロセスである。
本研究では,DPMの高効率サンプリングを行う。
具体的には、DPMのサンプリングプロセスに対応する拡散ODEに対するスコアベース正確な解法パラダイムを提案し、拡散ODEを解くための数値アルゴリズムの開発に新たな視点を導入する。
効率的なサンプル作成を実現するために,再帰的微分推定 (rde) 法を提案する。
提案した解法パラダイムとRDE法を用いて,拡散ODEを解くための効率的な解法(SciRE-Solver)として収束順序保証を用いたスコア積分解法を提案する。
SciRE-Solverは、既存のトレーニング不要サンプリングアルゴリズムと比較して、離散時間および連続時間DPMのスコア関数評価(NFE)を限定して、最先端サンプリング性能を得る。
このようにして、CIFAR10上の連続DPMに対して、120ドルNFEで3.48ドルFID、20ドルNFEで2.42ドルFIDを得る。
他のサンプルと異なり、SciRE-Solverは、小さなNFEを持つ事前訓練されたモデルのオリジナルの論文で達成されたFIDを超える有望な可能性を秘めている。
例えば、SOTA値が$2.40$、NFEが$100、FIDが$3.15$、CIFAR-10で$84$、FIDが$2.17$($2.02$)で$18$($50$)で$18$($50$)で$CelebA 64$\times$64である。
関連論文リスト
- Align Your Steps: Optimizing Sampling Schedules in Diffusion Models [63.927438959502226]
拡散モデル(DM)は、視覚領域以降における最先端の生成モデリングアプローチとして確立されている。
DMの重大な欠点は、サンプリング速度の遅いことであり、大規模なニューラルネットワークによる多くのシーケンシャルな関数評価に依存している。
本稿では,DMのサンプリングスケジュールを高品質な出力に最適化する汎用的,原理的な手法を提案する。
論文 参考訳（メタデータ） (2024-04-22T18:18:41Z) - A Unified Sampling Framework for Solver Searching of Diffusion
Probabilistic Models [21.305868355976394]
本稿では,一元化サンプリングフレームワーク (USF) を提案する。
この枠組みでは,異なるタイミングで異なる解法をとることで,トラルニケートエラーの低減が図られる。
S3$は、最先端のサンプリング手法よりも優れた解法スケジュールを見つけることができることを実証する。
論文 参考訳（メタデータ） (2023-12-12T13:19:40Z) - Fast Diffusion Model [122.36693015093041]
拡散モデル(DM)は、複雑なデータ分布を捉える能力を持つ様々な分野に採用されている。
本稿では,DM最適化の観点から,高速拡散モデル (FDM) を提案する。
論文 参考訳（メタデータ） (2023-06-12T09:38:04Z) - Alleviating Exposure Bias in Diffusion Models through Sampling with Shifted Time Steps [23.144083737873263]
拡散確率モデル (DPM) は高品質な画像の合成において顕著な有効性を示した。
これまでの研究は、トレーニング中に入力を摂動することでこの問題を緩和しようと試みてきた。
モデルを再学習することなく,提案する新しいサンプリング手法を提案する。
論文 参考訳（メタデータ） (2023-05-24T21:39:27Z) - Denoising MCMC for Accelerating Diffusion-Based Generative Models [54.06799491319278]
拡散モデルは、スコア関数を用いて拡散過程の逆をシミュレートし、ノイズからデータを合成する強力な生成モデルである。
本稿では,スコアベースサンプリングを高速化するアプローチを提案する。
DMCMC のインスタンスである Denoising Langevin Gibbs (DLG) が6つの逆S/ODE 計算タスクの高速化に成功していることを示す。
論文 参考訳（メタデータ） (2022-09-29T07:16:10Z) - gDDIM: Generalized denoising diffusion implicit models [15.877673959068455]
拡散暗黙モデル(DDIM)を等方的拡散に加えて一般拡散モデル(DM)に拡張する。
我々は2つの非等方性DMにおいて20倍以上の加速を観測した。
CIFAR10のFIDスコアは2.26で,NFEは50点,NFEは27点,FIDスコアは2.86点であった。
論文 参考訳（メタデータ） (2022-06-11T16:57:23Z) - DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling
in Around 10 Steps [45.612477740555406]
拡散確率モデル(DPM)は、新たな強力な生成モデルである。
DPM-rは離散時間と連続時間の両方に適しており、それ以上の訓練は行わない。
CIFAR10データセットを用いた関数評価では,10の関数評価で4.70 FID,20の関数評価で2.87 FIDを実現している。
論文 参考訳（メタデータ） (2022-06-02T08:43:16Z) - Fast Sampling of Diffusion Models with Exponential Integrator [9.467521554542273]
高い試料品質を維持しつつ, ステップ数を大幅に減らしたDMの高速サンプリング法を提案する。
提案手法は任意のDMに適用可能であり,10ステップ以内で高忠実度サンプルを生成することができる。
論文 参考訳（メタデータ） (2022-04-29T06:32:38Z) - On Reward-Free RL with Kernel and Neural Function Approximations:
Single-Agent MDP and Markov Game [140.19656665344917]
エージェントが事前に特定された報酬関数を使わずに環境を徹底的に探索することを目的とした報酬のないRL問題について検討する。
関数近似の文脈でこの問題に取り組み、強力な関数近似器を活用する。
我々は、カーネルとニューラルファンクション近似器を用いた、証明可能な効率の良い報酬なしRLアルゴリズムを確立した。
論文 参考訳（メタデータ） (2021-10-19T07:26:33Z) - RNN Training along Locally Optimal Trajectories via Frank-Wolfe
Algorithm [50.76576946099215]
小領域の損失面に局所的なミニマを反復的に求めることにより,RNNの新規かつ効率的なトレーニング手法を提案する。
新たなRNNトレーニング手法を開発し,追加コストを伴っても,全体のトレーニングコストがバックプロパゲーションよりも低いことを実証的に観察した。
論文 参考訳（メタデータ） (2020-10-12T01:59:18Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳（メタデータ） (2020-10-02T10:41:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。