論文の概要: SEEDS: Exponential SDE Solvers for Fast High-Quality Sampling from Diffusion Models

• arxiv url: http://arxiv.org/abs/2305.14267v2
• Date: Thu, 26 Oct 2023 16:51:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-28 01:58:28.467044
• Title: SEEDS: Exponential SDE Solvers for Fast High-Quality Sampling from Diffusion Models
• Title（参考訳）: SEEDS:拡散モデルによる高速高品質サンプリングのための指数SDE解法
• Authors: Martin Gonzalez, Nelson Fernandez, Thuy Tran, Elies Gherbi, Hatem Hajri, Nader Masmoudi
• Abstract要約: DPM(Diffusion Probabilistic Models)として知られる強力な生成モデルのクラスが注目されている。 高速であるにもかかわらず、そのような解法は通常、利用可能な遅いSDE解法によって達成される最適な品質に達しない。 我々の目標は、その目標を達成するために数百から数千のNFEを必要とすることなく、最適な品質に達するSDEソルバを提案することである。
• 参考スコア（独自算出の注目度）: 0.49478969093606673
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A potent class of generative models known as Diffusion Probabilistic Models (DPMs) has become prominent. A forward diffusion process adds gradually noise to data, while a model learns to gradually denoise. Sampling from pre-trained DPMs is obtained by solving differential equations (DE) defined by the learnt model, a process which has shown to be prohibitively slow. Numerous efforts on speeding-up this process have consisted on crafting powerful ODE solvers. Despite being quick, such solvers do not usually reach the optimal quality achieved by available slow SDE solvers. Our goal is to propose SDE solvers that reach optimal quality without requiring several hundreds or thousands of NFEs to achieve that goal. We propose Stochastic Explicit Exponential Derivative-free Solvers (SEEDS), improving and generalizing Exponential Integrator approaches to the stochastic case on several frameworks. After carefully analyzing the formulation of exact solutions of diffusion SDEs, we craft SEEDS to analytically compute the linear part of such solutions. Inspired by the Exponential Time-Differencing method, SEEDS use a novel treatment of the stochastic components of solutions, enabling the analytical computation of their variance, and contains high-order terms allowing to reach optimal quality sampling $\sim3$-$5\times$ faster than previous SDE methods. We validate our approach on several image generation benchmarks, showing that SEEDS outperform or are competitive with previous SDE solvers. Contrary to the latter, SEEDS are derivative and training free, and we fully prove strong convergence guarantees for them.
• Abstract（参考訳）: DPM(Diffusion Probabilistic Models)として知られる強力な生成モデルのクラスが注目されている。 前方拡散プロセスはデータに徐々にノイズを付加し、一方、モデルは徐々に認知を学習する。 事前学習されたDPMからのサンプリングは、学習者モデルによって定義された微分方程式(DE)を解くことで得られる。 このプロセスを高速化する多くの努力は、強力なodeソルバの開発に費やされてきた。 速いにもかかわらず、そのような解法は通常、利用可能な遅いSDE解法によって達成される最適な品質に達しない。 我々のゴールは、数百から数千のNFEを必要とせずに最適な品質に達するSDEソルバを提案することである。 本稿では,いくつかのフレームワーク上での確率ケースに対する指数積分器アプローチの改良と一般化を行う。 拡散SDEの正確な解の定式化を慎重に分析した後、SEEDSを用いてそのような解の線形部分を解析的に計算する。 指数時間差法にインスパイアされたSEEDSは、解の確率成分を新しい方法で処理し、分散を解析的に計算し、最適な品質のサンプリングを行えるような高次項を含む、以前のSDE法よりも高速な$\sim3$-$5\times$である。 提案手法を複数の画像生成ベンチマークで検証し,SEEDSが従来のSDEソルバよりも優れているか,あるいは競合していることを示す。 後者とは対照的に、種子は派生的で訓練は自由であり、我々はそれらに対して強い収束保証を十分に証明する。

関連論文リスト

• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Elucidating the solution space of extended reverse-time SDE for diffusion models [54.23536653351234]
  拡散モデル(DM)は、様々な生成的モデリングタスクにおいて強力な画像生成能力を示す。 その主な制限はサンプリング速度の遅いことであり、高品質な画像を生成するには数百から数千のシーケンシャルな機能評価が必要である。 サンプリングプロセスを拡張逆時間SDEとして定式化し、ODEやSDEへの事前探索を統一する。 我々は, 高速かつトレーニング不要なサンプル装置ER-SDE-rsを考案し, 全サンプル装置の最先端性能を実現した。
  論文  参考訳（メタデータ） (2023-09-12T12:27:17Z)
• SA-Solver: Stochastic Adams Solver for Fast Sampling of Diffusion Models [66.67616086310662]
  拡散確率モデル(DPM)は生成タスクでかなりの成功を収めた。 DPM からのサンプリングは、時間を要する拡散 SDE や ODE の解法と等価であるため、改良された微分方程式解法に基づく多数の高速サンプリング手法が提案されている。 拡散SDEを解くための効率の良いAdams法であるSA-of-rを提案する。
  論文  参考訳（メタデータ） (2023-09-10T12:44:54Z)
• Latent SDEs on Homogeneous Spaces [9.361372513858043]
  偏微分方程式(SDE)の解によって観測された幾何学的過程が支配される潜在変数モデルにおける変分ベイズ推論の問題を考察する。 実験により,提案型の潜伏SDEを既存の一段階のオイラー・丸山スキームを用いて効率的に学習できることが示されている。
  論文  参考訳（メタデータ） (2023-06-28T14:18:52Z)
• Fast Diffusion Model [122.36693015093041]
  拡散モデル(DM)は、複雑なデータ分布を捉える能力を持つ様々な分野に採用されている。 本稿では,DM最適化の観点から,高速拡散モデル (FDM) を提案する。
  論文  参考訳（メタデータ） (2023-06-12T09:38:04Z)
• Solving Diffusion ODEs with Optimal Boundary Conditions for Better Image Super-Resolution [82.50210340928173]
  拡散モデルのランダム性は非効率性と不安定性をもたらすため、SR結果の品質を保証することは困難である。 本稿では,一連の拡散型SR手法の恩恵を受ける可能性を持つプラグアンドプレイサンプリング手法を提案する。 提案手法によりサンプリングされたSR結果の質は, 学習前の拡散ベースSRモデルと同一のランダム性を有する現在の手法でサンプリングされた結果の質より優れる。
  論文  参考訳（メタデータ） (2023-05-24T17:09:54Z)
• Score-Based Generative Modeling through Stochastic Differential Equations [114.39209003111723]
  複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。 対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。 スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。 スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
  論文  参考訳（メタデータ） (2020-11-26T19:39:10Z)
• Identifying Latent Stochastic Differential Equations [29.103393300261587]
  本研究では,高次元時系列データから潜時微分方程式(SDE)を学習する手法を提案する。 提案手法は,自己教師付き学習手法を用いて,環境空間から潜時空間へのマッピングと,基礎となるSDE係数を学習する。 提案手法の検証には,SDEの基盤となる複数のビデオ処理タスク,および実世界のデータセットを用いて行う。
  論文  参考訳（メタデータ） (2020-07-12T19:46:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。