論文の概要: On Accelerating Diffusion-Based Sampling Process via Improved Integration Approximation

• arxiv url: http://arxiv.org/abs/2304.11328v2
• Date: Tue, 25 Apr 2023 01:00:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-26 23:22:51.636911
• Title: On Accelerating Diffusion-Based Sampling Process via Improved Integration Approximation
• Title（参考訳）: 積分近似の改良による拡散型サンプリングプロセスの高速化について
• Authors: Guoqiang Zhang, Niwa Kenta, W. Bastiaan Kleijn
• Abstract要約: 1つの一般的な拡散に基づくサンプリング戦略は、逆常微分方程式(ODE)を効果的に解こうとするものである。 改良された積分近似(IIA)を用いて特定の係数を最適化することにより、人気のあるODEベースのサンプリングプロセスの高速化を検討する。
• 参考スコア（独自算出の注目度）: 23.424045204296437
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One popular diffusion-based sampling strategy attempts to solve the reverse ordinary differential equations (ODEs) effectively. The coefficients of the obtained ODE solvers are pre-determined by the ODE formulation, the reverse discrete timesteps, and the employed ODE methods. In this paper, we consider accelerating several popular ODE-based sampling processes by optimizing certain coefficients via improved integration approximation (IIA). At each reverse timestep, we propose to minimize a mean squared error (MSE) function with respect to certain selected coefficients. The MSE is constructed by applying the original ODE solver for a set of fine-grained timesteps which in principle provides a more accurate integration approximation in predicting the next diffusion hidden state. Given a pre-trained diffusion model, the procedure for IIA for a particular number of neural functional evaluations (NFEs) only needs to be conducted once over a batch of samples. The obtained optimal solutions for those selected coefficients via minimum MSE (MMSE) can be restored and reused later on to accelerate the sampling process. Extensive experiments on EDM and DDIM show the IIA technique leads to significant performance gain when the numbers of NFEs are small.
• Abstract（参考訳）: 1つの一般的な拡散に基づくサンプリング戦略は、逆常微分方程式(ODE)を効果的に解こうとするものである。 得られたODEソルバの係数は、ODE定式化、逆離散時間ステップ、および使用されるODE法により予め決定される。 本稿では,改良された積分近似(IIA)により,特定の係数を最適化することにより,人気のあるODEベースのサンプリングプロセスの高速化を検討する。 各逆時間ステップにおいて、選択された係数に対して平均二乗誤差(MSE)関数を最小化する。 MSEは、元のODEソルバを一連の微細な時間ステップに適用し、原理的には次の拡散隠れ状態を予測するためのより正確な積分近似を与える。 事前学習された拡散モデルが与えられた場合、特定の数の神経機能評価(nfes)のためのiaaの手順は、サンプルのバッチで1回だけ行う必要がある。 選択された係数に対する最小MSE (MMSE) による最適解は、後に復元され再利用され、サンプリングプロセスが高速化される。 EDMおよびDDIMの広範囲にわたる実験により、IIA法はNFEの数が小さい場合に顕著な性能向上をもたらすことが示された。

関連論文リスト

• Dynamical Measure Transport and Neural PDE Solvers for Sampling [77.38204731939273]
  本研究では, 対象物へのトラクタブル密度関数の移動として, 確率密度からサンプリングする作業に取り組む。 物理インフォームドニューラルネットワーク(PINN)を用いて各偏微分方程式(PDE)の解を近似する。 PINNはシミュレーションと離散化のない最適化を可能にし、非常に効率的に訓練することができる。
  論文  参考訳（メタデータ） (2024-07-10T17:39:50Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Accelerating Diffusion Sampling with Optimized Time Steps [69.21208434350567]
  拡散確率モデル(DPM)は高分解能画像合成において顕著な性能を示した。 彼らのサンプリング効率は、通常多くのサンプリングステップのため、依然として望まれている。 DPM用高次数値ODEソルバの最近の進歩により、サンプリングステップがはるかに少ない高品質な画像の生成が可能になった。
  論文  参考訳（メタデータ） (2024-02-27T10:13:30Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Distilling ODE Solvers of Diffusion Models into Smaller Steps [32.49916706943228]
  本稿では, ODEソルバの定式化を基礎とした蒸留法であるDistilled-ODE solverを紹介する。 本手法は学習自由サンプリングと学習ベースサンプリングの両方の長所をシームレスに統合する。 従来の蒸留法と比較して計算オーバーヘッドは無視できる。
  論文  参考訳（メタデータ） (2023-09-28T13:12:18Z)
• Improved Order Analysis and Design of Exponential Integrator for Diffusion Models Sampling [36.50606582918392]
  指数解法は最先端のパフォーマンスを示すことで有名になった。 既存の高次EIに基づくサンプリングアルゴリズムは退化EIソルバに依存している。 全ての順序条件を満たす改良されたEIソルバを提案する。
  論文  参考訳（メタデータ） (2023-08-04T06:30:40Z)
• AdjointDPM: Adjoint Sensitivity Method for Gradient Backpropagation of Diffusion Probabilistic Models [103.41269503488546]
  既存のカスタマイズ方法は、事前訓練された拡散確率モデルをユーザが提供する概念に合わせるために、複数の参照例にアクセスする必要がある。 本論文は、DPMカスタマイズの課題として、生成コンテンツ上で定義された差別化可能な指標が唯一利用可能な監督基準である場合に解決することを目的とする。 本稿では,拡散モデルから新しいサンプルを初めて生成するAdjointDPMを提案する。 次に、随伴感度法を用いて、損失の勾配をモデルのパラメータにバックプロパゲートする。
  論文  参考訳（メタデータ） (2023-07-20T09:06:21Z)
• The probability flow ODE is provably fast [43.94655061860487]
  本稿では、スコアベース生成モデルにおける確率フローODEの実装(補正ステップを含む)について、最初の収束保証を提供する。 本分析は,SDEに基づく実装の保証を得た最近の結果を踏まえて実施した。
  論文  参考訳（メタデータ） (2023-05-19T16:33:05Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps [45.612477740555406]
  拡散確率モデル(DPM)は、新たな強力な生成モデルである。 DPM-rは離散時間と連続時間の両方に適しており、それ以上の訓練は行わない。 CIFAR10データセットを用いた関数評価では,10の関数評価で4.70 FID,20の関数評価で2.87 FIDを実現している。
  論文  参考訳（メタデータ） (2022-06-02T08:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。