論文の概要: DPM-Solver-v3: Improved Diffusion ODE Solver with Empirical Model Statistics

• arxiv url: http://arxiv.org/abs/2310.13268v2
• Date: Thu, 26 Oct 2023 07:51:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-28 00:47:30.257073
• Title: DPM-Solver-v3: Improved Diffusion ODE Solver with Empirical Model Statistics
• Title（参考訳）: dpm-solver-v3:経験モデル統計を用いた拡散 ode ソルバの改良
• Authors: Kaiwen Zheng, Cheng Lu, Jianfei Chen, Jun Zhu
• Abstract要約: 拡散モデル(DPM)は、非効率サンプリングに悩まされながら、高忠実度画像生成に優れた性能を示した。 最近の研究は、DPMの特定のODE形式を利用する高速ODEソルバを提案することでサンプリング手順を加速している。 我々は、事前学習モデルにいくつかの係数を導入し、DPMのための新しい高速ODEソルバであるtextitDPM-FEr-v3を提案する。
• 参考スコア（独自算出の注目度）: 23.030972042695275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion probabilistic models (DPMs) have exhibited excellent performance for high-fidelity image generation while suffering from inefficient sampling. Recent works accelerate the sampling procedure by proposing fast ODE solvers that leverage the specific ODE form of DPMs. However, they highly rely on specific parameterization during inference (such as noise/data prediction), which might not be the optimal choice. In this work, we propose a novel formulation towards the optimal parameterization during sampling that minimizes the first-order discretization error of the ODE solution. Based on such formulation, we propose \textit{DPM-Solver-v3}, a new fast ODE solver for DPMs by introducing several coefficients efficiently computed on the pretrained model, which we call \textit{empirical model statistics}. We further incorporate multistep methods and a predictor-corrector framework, and propose some techniques for improving sample quality at small numbers of function evaluations (NFE) or large guidance scales. Experiments show that DPM-Solver-v3 achieves consistently better or comparable performance in both unconditional and conditional sampling with both pixel-space and latent-space DPMs, especially in 5$\sim$10 NFEs. We achieve FIDs of 12.21 (5 NFE), 2.51 (10 NFE) on unconditional CIFAR10, and MSE of 0.55 (5 NFE, 7.5 guidance scale) on Stable Diffusion, bringing a speed-up of 15\%$\sim$30\% compared to previous state-of-the-art training-free methods. Code is available at \url{https://github.com/thu-ml/DPM-Solver-v3}.
• Abstract（参考訳）: 拡散確率モデル(DPM)は、非効率サンプリングに悩まされながら高忠実度画像生成に優れた性能を示した。 最近の研究は、DPMの特定のODE形式を利用する高速ODEソルバを提案することでサンプリング手順を加速している。 しかし、それらは推論中の特定のパラメータ化(ノイズ/データ予測など)に大きく依存しており、最適な選択ではないかもしれない。 本研究では,ode溶液の1次離散化誤差を最小化するサンプリング時の最適パラメータ化に関する新しい定式化を提案する。 このような定式化に基づいて、事前学習モデル上で効率的に計算された数係数を導入し、DPMのための新しい高速ODE解法である \textit{DPM-Solver-v3} を提案する。 さらに,マルチステップ法と予測子補正フレームワークを取り入れ,少数の機能評価(nfe)や大規模指導尺度でサンプル品質を改善する手法を提案する。 実験により、DPM-Solver-v3は、特に5$\sim$10 NFEにおいて、画素空間と潜在空間の両方のDPMを用いて、条件なしサンプリングと条件付きサンプリングの両方において、一貫した性能または同等の性能を達成することが示された。 非条件のCIFAR10では12.21 (5 NFE), 2.51 (10 NFE), 安定拡散では0.55 (5 NFE, 7.5ガイダンススケール) のFIDを達成し, 従来の最先端のトレーニングフリー手法に比べて15\%$\sim$30\%の高速化を実現した。 コードは \url{https://github.com/thu-ml/dpm-solver-v3} で入手できる。

関連論文リスト

• DC-Solver: Improving Predictor-Corrector Diffusion Sampler via Dynamic Compensation [68.55191764622525]
  拡散モデル(DPM)は、視覚合成において顕著な性能を示すが、サンプリング中に複数の評価を必要とするため、計算コストが高い。 最近の予測器合成・拡散サンプリング装置は,要求される評価回数を大幅に削減したが,本質的には誤調整の問題に悩まされている。 我々はDC-CPRrと呼ばれる新しい高速DPMサンプリング装置を導入する。
  論文  参考訳（メタデータ） (2024-09-05T17:59:46Z)
• Accelerating Diffusion Sampling with Optimized Time Steps [69.21208434350567]
  拡散確率モデル(DPM)は高分解能画像合成において顕著な性能を示した。 彼らのサンプリング効率は、通常多くのサンプリングステップのため、依然として望まれている。 DPM用高次数値ODEソルバの最近の進歩により、サンプリングステップがはるかに少ない高品質な画像の生成が可能になった。
  論文  参考訳（メタデータ） (2024-02-27T10:13:30Z)
• A Unified Sampling Framework for Solver Searching of Diffusion Probabilistic Models [21.305868355976394]
  本稿では,一元化サンプリングフレームワーク (USF) を提案する。 この枠組みでは,異なるタイミングで異なる解法をとることで,トラルニケートエラーの低減が図られる。 S3$は、最先端のサンプリング手法よりも優れた解法スケジュールを見つけることができることを実証する。
  論文  参考訳（メタデータ） (2023-12-12T13:19:40Z)
• DPM-OT: A New Diffusion Probabilistic Model Based on Optimal Transport [26.713392774427653]
  DPM-OTは高速DPMのための統合学習フレームワークであり、直接高速道路はOTマップで表される。 約10の関数評価で高品質なサンプルを生成することができる。 実験は、DPM-OTの有効性と利点を、速度と品質の観点から検証した。
  論文  参考訳（メタデータ） (2023-07-21T02:28:54Z)
• AdjointDPM: Adjoint Sensitivity Method for Gradient Backpropagation of Diffusion Probabilistic Models [103.41269503488546]
  既存のカスタマイズ方法は、事前訓練された拡散確率モデルをユーザが提供する概念に合わせるために、複数の参照例にアクセスする必要がある。 本論文は、DPMカスタマイズの課題として、生成コンテンツ上で定義された差別化可能な指標が唯一利用可能な監督基準である場合に解決することを目的とする。 本稿では,拡散モデルから新しいサンプルを初めて生成するAdjointDPMを提案する。 次に、随伴感度法を用いて、損失の勾配をモデルのパラメータにバックプロパゲートする。
  論文  参考訳（メタデータ） (2023-07-20T09:06:21Z)
• UniPC: A Unified Predictor-Corrector Framework for Fast Sampling of Diffusion Models [92.43617471204963]
  拡散確率モデル(DPM)は高分解能画像合成において非常に有望な能力を示した。 我々は既存のDPMサンプリング器の後に適用可能な統一補正器(UniC)を開発し、精度を向上する。 そこで我々は,DPMの高速サンプリングのためのUniPCと呼ばれる統合予測器・相関器フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-09T18:59:48Z)
• DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models [45.612477740555406]
  DPM-r++はDPMのガイドサンプリングのための高次解法である。 DPM-r++は15から20ステップで高品質なサンプルを生成できることを示す。
  論文  参考訳（メタデータ） (2022-11-02T13:14:30Z)
• DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps [45.612477740555406]
  拡散確率モデル(DPM)は、新たな強力な生成モデルである。 DPM-rは離散時間と連続時間の両方に適しており、それ以上の訓練は行わない。 CIFAR10データセットを用いた関数評価では,10の関数評価で4.70 FID,20の関数評価で2.87 FIDを実現している。
  論文  参考訳（メタデータ） (2022-06-02T08:43:16Z)
• Pseudo Numerical Methods for Diffusion Models on Manifolds [77.40343577960712]
  Denoising Diffusion Probabilistic Models (DDPM) は、画像やオーディオサンプルなどの高品質なサンプルを生成することができる。 DDPMは最終的なサンプルを生成するために数百から数千のイテレーションを必要とする。 拡散モデル(PNDM)の擬似数値法を提案する。 PNDMは、1000段DDIM(20倍の高速化)と比較して、50段の精度で高品質な合成画像を生成することができる
  論文  参考訳（メタデータ） (2022-02-20T10:37:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。