論文の概要: On Accelerating Diffusion-Based Sampling Process via Improved Integration Approximation

• arxiv url: http://arxiv.org/abs/2304.11328v3
• Date: Sat, 30 Sep 2023 08:41:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-03 17:43:36.755845
• Title: On Accelerating Diffusion-Based Sampling Process via Improved Integration Approximation
• Title（参考訳）: 積分近似の改良による拡散型サンプリングプロセスの高速化について
• Authors: Guoqiang Zhang, Niwa Kenta, W. Bastiaan Kleijn
• Abstract要約: 拡散に基づく生成モデルをサンプリングする一般的なアプローチは、常微分方程式(ODE)を解くことである。 改良された積分近似(IIA)を用いて特定の係数を最適化することにより、人気のあるODEベースのサンプリングプロセスの高速化を検討する。 また,IIA-EDM,IIA-DDIM,IIA-DPM-rを用いて,FIDスコアを従来よりも大幅に向上できることが示唆された。
• 参考スコア（独自算出の注目度）: 12.882586878998579
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A popular approach to sample a diffusion-based generative model is to solve an ordinary differential equation (ODE). In existing samplers, the coefficients of the ODE solvers are pre-determined by the ODE formulation, the reverse discrete timesteps, and the employed ODE methods. In this paper, we consider accelerating several popular ODE-based sampling processes (including EDM, DDIM, and DPM-Solver) by optimizing certain coefficients via improved integration approximation (IIA). We propose to minimize, for each time step, a mean squared error (MSE) function with respect to the selected coefficients. The MSE is constructed by applying the original ODE solver for a set of fine-grained timesteps, which in principle provides a more accurate integration approximation in predicting the next diffusion state. The proposed IIA technique does not require any change of a pre-trained model, and only introduces a very small computational overhead for solving a number of quadratic optimization problems. Extensive experiments show that considerably better FID scores can be achieved by using IIA-EDM, IIA-DDIM, and IIA-DPM-Solver than the original counterparts when the neural function evaluation (NFE) is small (i.e., less than 25).
• Abstract（参考訳）: 拡散に基づく生成モデルをサンプリングする一般的なアプローチは、常微分方程式(ODE)を解くことである。 既存のサンプルでは、ODEソルバの係数はODE定式化、逆離散時間ステップ、および使用されるODEメソッドによって事前に決定される。 本稿では,統合近似(IIA)を改良し,特定の係数を最適化することにより,一般的なODEベースのサンプリングプロセス(EDM,DDIM,DPM-Solverを含む)を高速化することを検討する。 本稿では,各時間ステップ毎に選択された係数に対して平均二乗誤差(MSE)関数を最小化する。 MSEは、元のODEソルバを一連の微細な時間ステップに適用し、原理的には次の拡散状態を予測するためのより正確な積分近似を与える。 提案手法では事前学習モデルの変更は必要とせず,2次最適化問題を解くための計算オーバーヘッドが非常に小さいだけである。 神経機能評価(NFE)が小さい場合(25未満)に、IIA-EDM、IIA-DDIM、IIA-DPM-Solverを使用することで、FIDスコアが大幅に向上することを示した。

関連論文リスト

• Dynamical Measure Transport and Neural PDE Solvers for Sampling [77.38204731939273]
  本研究では, 対象物へのトラクタブル密度関数の移動として, 確率密度からサンプリングする作業に取り組む。 物理インフォームドニューラルネットワーク(PINN)を用いて各偏微分方程式(PDE)の解を近似する。 PINNはシミュレーションと離散化のない最適化を可能にし、非常に効率的に訓練することができる。
  論文  参考訳（メタデータ） (2024-07-10T17:39:50Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Accelerating Diffusion Sampling with Optimized Time Steps [69.21208434350567]
  拡散確率モデル(DPM)は高分解能画像合成において顕著な性能を示した。 彼らのサンプリング効率は、通常多くのサンプリングステップのため、依然として望まれている。 DPM用高次数値ODEソルバの最近の進歩により、サンプリングステップがはるかに少ない高品質な画像の生成が可能になった。
  論文  参考訳（メタデータ） (2024-02-27T10:13:30Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Distilling ODE Solvers of Diffusion Models into Smaller Steps [32.49916706943228]
  本稿では, ODEソルバの定式化を基礎とした蒸留法であるDistilled-ODE solverを紹介する。 本手法は学習自由サンプリングと学習ベースサンプリングの両方の長所をシームレスに統合する。 従来の蒸留法と比較して計算オーバーヘッドは無視できる。
  論文  参考訳（メタデータ） (2023-09-28T13:12:18Z)
• Improved Order Analysis and Design of Exponential Integrator for Diffusion Models Sampling [36.50606582918392]
  指数解法は最先端のパフォーマンスを示すことで有名になった。 既存の高次EIに基づくサンプリングアルゴリズムは退化EIソルバに依存している。 全ての順序条件を満たす改良されたEIソルバを提案する。
  論文  参考訳（メタデータ） (2023-08-04T06:30:40Z)
• AdjointDPM: Adjoint Sensitivity Method for Gradient Backpropagation of Diffusion Probabilistic Models [103.41269503488546]
  既存のカスタマイズ方法は、事前訓練された拡散確率モデルをユーザが提供する概念に合わせるために、複数の参照例にアクセスする必要がある。 本論文は、DPMカスタマイズの課題として、生成コンテンツ上で定義された差別化可能な指標が唯一利用可能な監督基準である場合に解決することを目的とする。 本稿では,拡散モデルから新しいサンプルを初めて生成するAdjointDPMを提案する。 次に、随伴感度法を用いて、損失の勾配をモデルのパラメータにバックプロパゲートする。
  論文  参考訳（メタデータ） (2023-07-20T09:06:21Z)
• The probability flow ODE is provably fast [43.94655061860487]
  本稿では、スコアベース生成モデルにおける確率フローODEの実装(補正ステップを含む)について、最初の収束保証を提供する。 本分析は,SDEに基づく実装の保証を得た最近の結果を踏まえて実施した。
  論文  参考訳（メタデータ） (2023-05-19T16:33:05Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps [45.612477740555406]
  拡散確率モデル(DPM)は、新たな強力な生成モデルである。 DPM-rは離散時間と連続時間の両方に適しており、それ以上の訓練は行わない。 CIFAR10データセットを用いた関数評価では,10の関数評価で4.70 FID,20の関数評価で2.87 FIDを実現している。
  論文  参考訳（メタデータ） (2022-06-02T08:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。