論文の概要: DC-Solver: Improving Predictor-Corrector Diffusion Sampler via Dynamic Compensation
- arxiv url: http://arxiv.org/abs/2409.03755v1
- Date: Thu, 5 Sep 2024 17:59:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-06 19:33:34.800812
- Title: DC-Solver: Improving Predictor-Corrector Diffusion Sampler via Dynamic Compensation
- Title（参考訳）: DCソルバー:動的補償による予測器・コレクタ拡散サンプリングの改善
- Authors: Wenliang Zhao, Haolin Wang, Jie Zhou, Jiwen Lu,
- Abstract要約: 拡散モデル(DPM)は、視覚合成において顕著な性能を示すが、サンプリング中に複数の評価を必要とするため、計算コストが高い。
最近の予測器合成・拡散サンプリング装置は,要求される評価回数を大幅に削減したが,本質的には誤調整の問題に悩まされている。
我々はDC-CPRrと呼ばれる新しい高速DPMサンプリング装置を導入する。
- 参考スコア（独自算出の注目度）: 68.55191764622525
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion probabilistic models (DPMs) have shown remarkable performance in visual synthesis but are computationally expensive due to the need for multiple evaluations during the sampling. Recent predictor-corrector diffusion samplers have significantly reduced the required number of function evaluations (NFE), but inherently suffer from a misalignment issue caused by the extra corrector step, especially with a large classifier-free guidance scale (CFG). In this paper, we introduce a new fast DPM sampler called DC-Solver, which leverages dynamic compensation (DC) to mitigate the misalignment of the predictor-corrector samplers. The dynamic compensation is controlled by compensation ratios that are adaptive to the sampling steps and can be optimized on only 10 datapoints by pushing the sampling trajectory toward a ground truth trajectory. We further propose a cascade polynomial regression (CPR) which can instantly predict the compensation ratios on unseen sampling configurations. Additionally, we find that the proposed dynamic compensation can also serve as a plug-and-play module to boost the performance of predictor-only samplers. Extensive experiments on both unconditional sampling and conditional sampling demonstrate that our DC-Solver can consistently improve the sampling quality over previous methods on different DPMs with a wide range of resolutions up to 1024$\times$1024. Notably, we achieve 10.38 FID (NFE=5) on unconditional FFHQ and 0.394 MSE (NFE=5, CFG=7.5) on Stable-Diffusion-2.1. Code is available at https://github.com/wl-zhao/DC-Solver
- Abstract（参考訳）: 拡散確率モデル(DPM)は、視覚合成において顕著な性能を示すが、サンプリング中に複数の評価を必要とするため、計算コストが高い。
最近の予測器-相関器拡散サンプリング器は、必要な関数評価(NFE)を著しく削減しているが、本質的には、特に大規模な分類器フリーガイダンス尺度(CFG)による追加補正ステップによる誤調整問題に悩まされている。
本稿では,DC-Solverと呼ばれる新しい高速DPMサンプリング装置について紹介する。
動的補償はサンプリングステップに適応する補償比で制御され、サンプリング軌道を基底真理軌道にプッシュすることで、サンプリング軌道を10個のデータポイントだけに最適化できる。
さらに,カスケード多項式回帰(CPR)を提案する。
さらに,提案した動的補償は,予測器のみの性能を高めるためのプラグ・アンド・プレイ・モジュールとしても機能することがわかった。
非条件サンプリングと条件サンプリングの両方に関する大規模な実験により、我々のDC-Solverは1024$\times$1024までの広範囲の解像度を持つ異なるDPMにおいて、サンプリング品質を常に改善できることを示した。
特に,無条件FFHQでは10.38 FID (NFE=5) ,安定拡散2.1では0.394 MSE (NFE=5, CFG=7.5) を達成する。
コードはhttps://github.com/wl-zhao/DC-Solverで入手できる。
関連論文リスト
- Diffusion Sampling Correction via Approximately 10 Parameters [8.577537076809316]
拡散確率モデル(DPM)は、生成タスクにおいて例外的な性能を示す。
品質を犠牲にすることなくサンプリング速度を向上させるため, 蒸留法に基づく高速化サンプリングアルゴリズムが最近提案されている。
学習可能なパラメータとトレーニングコストを最小限に抑え,既存のDPM問題の解法を最適化するPCAベースの適応探索(PAS)を提案する。
論文 参考訳（メタデータ） (2024-11-10T15:57:53Z) - Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
反復Denoising Energy Matching (iDEM)
iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。
提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
論文 参考訳（メタデータ） (2024-02-09T01:11:23Z) - DPM-Solver-v3: Improved Diffusion ODE Solver with Empirical Model
Statistics [23.030972042695275]
拡散モデル(DPM)は、非効率サンプリングに悩まされながら、高忠実度画像生成に優れた性能を示した。
最近の研究は、DPMの特定のODE形式を利用する高速ODEソルバを提案することでサンプリング手順を加速している。
本稿では,1次離散化誤差を最小限に抑えるため,サンプリング中の最適パラメータ化に向けた新しい定式化を提案する。
論文 参考訳（メタデータ） (2023-10-20T04:23:12Z) - Boosting Diffusion Models with an Adaptive Momentum Sampler [21.88226514633627]
本稿では,広く使用されているAdamサンプルから着想を得た新しいDPM用リバースサンプルについて述べる。
提案手法は,事前学習した拡散モデルに容易に適用できる。
初期段階から更新方向を暗黙的に再利用することにより,提案するサンプルは,高レベルのセマンティクスと低レベルの詳細とのバランスを良くする。
論文 参考訳（メタデータ） (2023-08-23T06:22:02Z) - AdjointDPM: Adjoint Sensitivity Method for Gradient Backpropagation of Diffusion Probabilistic Models [103.41269503488546]
既存のカスタマイズ方法は、事前訓練された拡散確率モデルをユーザが提供する概念に合わせるために、複数の参照例にアクセスする必要がある。
本論文は、DPMカスタマイズの課題として、生成コンテンツ上で定義された差別化可能な指標が唯一利用可能な監督基準である場合に解決することを目的とする。
本稿では,拡散モデルから新しいサンプルを初めて生成するAdjointDPMを提案する。
次に、随伴感度法を用いて、損失の勾配をモデルのパラメータにバックプロパゲートする。
論文 参考訳（メタデータ） (2023-07-20T09:06:21Z) - Preconditioned Score-based Generative Models [49.88840603798831]
直感的な加速度法はサンプリングの繰り返しを減らし、しかしながら重大な性能劣化を引き起こす。
本稿では,行列プレコンディショニングを利用したモデル非依存型bfem事前条件拡散サンプリング(PDS)手法を提案する。
PDSは、バニラSGMのサンプリングプロセスを限界余剰計算コストで変更し、モデルの再訓練を行わない。
論文 参考訳（メタデータ） (2023-02-13T16:30:53Z) - UniPC: A Unified Predictor-Corrector Framework for Fast Sampling of
Diffusion Models [92.43617471204963]
拡散確率モデル(DPM)は高分解能画像合成において非常に有望な能力を示した。
我々は既存のDPMサンプリング器の後に適用可能な統一補正器(UniC)を開発し、精度を向上する。
そこで我々は,DPMの高速サンプリングのためのUniPCと呼ばれる統合予測器・相関器フレームワークを提案する。
論文 参考訳（メタデータ） (2023-02-09T18:59:48Z) - DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling
in Around 10 Steps [45.612477740555406]
拡散確率モデル(DPM)は、新たな強力な生成モデルである。
DPM-rは離散時間と連続時間の両方に適しており、それ以上の訓練は行わない。
CIFAR10データセットを用いた関数評価では,10の関数評価で4.70 FID,20の関数評価で2.87 FIDを実現している。
論文 参考訳（メタデータ） (2022-06-02T08:43:16Z) - Pseudo Numerical Methods for Diffusion Models on Manifolds [77.40343577960712]
Denoising Diffusion Probabilistic Models (DDPM) は、画像やオーディオサンプルなどの高品質なサンプルを生成することができる。
DDPMは最終的なサンプルを生成するために数百から数千のイテレーションを必要とする。
拡散モデル(PNDM)の擬似数値法を提案する。
PNDMは、1000段DDIM(20倍の高速化)と比較して、50段の精度で高品質な合成画像を生成することができる
論文 参考訳（メタデータ） (2022-02-20T10:37:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。