論文の概要: SciRE-Solver: Accelerating Diffusion Models Sampling by Score-integrand
Solver with Recursive Difference
- arxiv url: http://arxiv.org/abs/2308.07896v3
- Date: Mon, 11 Sep 2023 15:39:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-12 18:57:31.353187
- Title: SciRE-Solver: Accelerating Diffusion Models Sampling by Score-integrand
Solver with Recursive Difference
- Title（参考訳）: scire-solver:再帰的差分を持つスコア積分型ソルバによる加速拡散モデルサンプリング
- Authors: Shigui Li, Wei Chen, Delu Zeng
- Abstract要約: 拡散モデル(DM)は、画像、オーディオ、ビデオ生成の分野で大きな進歩を遂げている。
高速サンプリングのための最近のアルゴリズムは微分方程式の観点から設計されている。
テイラー展開に基づく高次アルゴリズムでは、大規模でよく訓練されたニューラルネットワークの複雑さにより、スコア関数の微分を推定できる。
- 参考スコア（独自算出の注目度）: 9.290084484156932
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models (DMs) have made significant progress in the fields of image,
audio, and video generation. One downside of DMs is their slow iterative
process. Recent algorithms for fast sampling are designed from the perspective
of differential equations. However, in higher-order algorithms based on Taylor
expansion, estimating the derivative of the score function becomes intractable
due to the complexity of large-scale, well-trained neural networks. Driven by
this motivation, in this work, we introduce the recursive difference (RD)
method to calculate the derivative of the score function in the realm of DMs.
Based on the RD method and the truncated Taylor expansion of score-integrand,
we propose SciRE-Solver with the convergence order guarantee for accelerating
sampling of DMs. To further investigate the effectiveness of the RD method, we
also propose a variant named SciREI-Solver based on the RD method and
exponential integrator. Our proposed sampling algorithms with RD method attain
state-of-the-art (SOTA) FIDs in comparison to existing training-free sampling
algorithms, across both discrete-time and continuous-time pre-trained DMs,
under various number of score function evaluations (NFE). Remarkably,
SciRE-Solver using a small NFEs demonstrates promising potential to surpass the
FID achieved by some pre-trained models in their original papers using no fewer
than $1000$ NFEs. For example, we reach SOTA value of $2.40$ FID with $100$ NFE
for continuous-time DM and of $3.15$ FID with $84$ NFE for discrete-time DM on
CIFAR-10, as well as of $2.17$ (2.02) FID with $18$ (50) NFE for discrete-time
DM on CelebA 64$\times$64.
- Abstract（参考訳）: 拡散モデル(DM)は、画像、オーディオ、ビデオ生成の分野で大きな進歩を遂げている。
DMの欠点の1つは、その遅い反復過程である。
最近の高速サンプリングアルゴリズムは微分方程式の観点から設計されている。
しかし、テイラー展開に基づく高階アルゴリズムでは、大規模で訓練されたニューラルネットワークの複雑さのためにスコア関数の導関数を推定することは困難になる。
この動機によって、本研究では、DMの領域におけるスコア関数の微分を計算するために、再帰差分法(RD法)を導入する。
SciRE-Solver は,RD 法とTorylor によるスコアインテグレートの拡張に基づいて,DM のサンプリングを高速化するための収束順序保証付きで提案する。
RD法の有効性をさらに検討するため,RD法と指数積分器に基づくSciREI-Solverという変種も提案する。
提案手法は,各種スコア関数評価 (NFE) の下で,離散時間および連続時間事前学習DMを用いて,既存のトレーニング不要サンプリングアルゴリズムと比較して,最先端(SOTA)FIDを実現する。
注目すべきは、小さなNFEを使用したSciRE-Solverは、1,000ドル以下のNFEを使用して、トレーニング済みモデルによって達成されたFIDを超える有望な可能性を示していることである。
例えば、SOTA値が$2.40$FIDで$100$NFE、CIFAR-10で$84$NFEで$3.15$FID、CelebA 64で$18$(50)NFEで$2.17$(2.02)FID、CelebA 64で$\times$64で$18$(50)NFEである。
関連論文リスト
- Align Your Steps: Optimizing Sampling Schedules in Diffusion Models [63.927438959502226]
拡散モデル(DM)は、視覚領域以降における最先端の生成モデリングアプローチとして確立されている。
DMの重大な欠点は、サンプリング速度の遅いことであり、大規模なニューラルネットワークによる多くのシーケンシャルな関数評価に依存している。
本稿では,DMのサンプリングスケジュールを高品質な出力に最適化する汎用的,原理的な手法を提案する。
論文 参考訳（メタデータ） (2024-04-22T18:18:41Z) - A Unified Sampling Framework for Solver Searching of Diffusion
Probabilistic Models [21.305868355976394]
本稿では,一元化サンプリングフレームワーク (USF) を提案する。
この枠組みでは,異なるタイミングで異なる解法をとることで,トラルニケートエラーの低減が図られる。
S3$は、最先端のサンプリング手法よりも優れた解法スケジュールを見つけることができることを実証する。
論文 参考訳（メタデータ） (2023-12-12T13:19:40Z) - Fast Diffusion Model [122.36693015093041]
拡散モデル(DM)は、複雑なデータ分布を捉える能力を持つ様々な分野に採用されている。
本稿では,DM最適化の観点から,高速拡散モデル (FDM) を提案する。
論文 参考訳（メタデータ） (2023-06-12T09:38:04Z) - Alleviating Exposure Bias in Diffusion Models through Sampling with Shifted Time Steps [23.144083737873263]
拡散確率モデル (DPM) は高品質な画像の合成において顕著な有効性を示した。
これまでの研究は、トレーニング中に入力を摂動することでこの問題を緩和しようと試みてきた。
モデルを再学習することなく,提案する新しいサンプリング手法を提案する。
論文 参考訳（メタデータ） (2023-05-24T21:39:27Z) - Denoising MCMC for Accelerating Diffusion-Based Generative Models [54.06799491319278]
拡散モデルは、スコア関数を用いて拡散過程の逆をシミュレートし、ノイズからデータを合成する強力な生成モデルである。
本稿では,スコアベースサンプリングを高速化するアプローチを提案する。
DMCMC のインスタンスである Denoising Langevin Gibbs (DLG) が6つの逆S/ODE 計算タスクの高速化に成功していることを示す。
論文 参考訳（メタデータ） (2022-09-29T07:16:10Z) - gDDIM: Generalized denoising diffusion implicit models [15.877673959068455]
拡散暗黙モデル(DDIM)を等方的拡散に加えて一般拡散モデル(DM)に拡張する。
我々は2つの非等方性DMにおいて20倍以上の加速を観測した。
CIFAR10のFIDスコアは2.26で,NFEは50点,NFEは27点,FIDスコアは2.86点であった。
論文 参考訳（メタデータ） (2022-06-11T16:57:23Z) - DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling
in Around 10 Steps [45.612477740555406]
拡散確率モデル(DPM)は、新たな強力な生成モデルである。
DPM-rは離散時間と連続時間の両方に適しており、それ以上の訓練は行わない。
CIFAR10データセットを用いた関数評価では,10の関数評価で4.70 FID,20の関数評価で2.87 FIDを実現している。
論文 参考訳（メタデータ） (2022-06-02T08:43:16Z) - Fast Sampling of Diffusion Models with Exponential Integrator [9.467521554542273]
高い試料品質を維持しつつ, ステップ数を大幅に減らしたDMの高速サンプリング法を提案する。
提案手法は任意のDMに適用可能であり,10ステップ以内で高忠実度サンプルを生成することができる。
論文 参考訳（メタデータ） (2022-04-29T06:32:38Z) - On Reward-Free RL with Kernel and Neural Function Approximations:
Single-Agent MDP and Markov Game [140.19656665344917]
エージェントが事前に特定された報酬関数を使わずに環境を徹底的に探索することを目的とした報酬のないRL問題について検討する。
関数近似の文脈でこの問題に取り組み、強力な関数近似器を活用する。
我々は、カーネルとニューラルファンクション近似器を用いた、証明可能な効率の良い報酬なしRLアルゴリズムを確立した。
論文 参考訳（メタデータ） (2021-10-19T07:26:33Z) - RNN Training along Locally Optimal Trajectories via Frank-Wolfe
Algorithm [50.76576946099215]
小領域の損失面に局所的なミニマを反復的に求めることにより,RNNの新規かつ効率的なトレーニング手法を提案する。
新たなRNNトレーニング手法を開発し,追加コストを伴っても,全体のトレーニングコストがバックプロパゲーションよりも低いことを実証的に観察した。
論文 参考訳（メタデータ） (2020-10-12T01:59:18Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳（メタデータ） (2020-10-02T10:41:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。