論文の概要: PFDiff: Training-Free Acceleration of Diffusion Models Combining Past and Future Scores

• arxiv url: http://arxiv.org/abs/2408.08822v3
• Date: Thu, 20 Feb 2025 13:21:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:25:23.803628
• Title: PFDiff: Training-Free Acceleration of Diffusion Models Combining Past and Future Scores
• Title（参考訳）: PFDiff:過去と将来のスコアを組み合わせた拡散モデルの学習自由加速
• Authors: Guangyi Wang, Yuren Cai, Lijiang Li, Wei Peng, Songzhi Su,
• Abstract要約: 拡散確率モデル(DPM)は画像生成において顕著な可能性を示している。 既存のほとんどのソリューションは、高速ODEソルバを提案することでサンプリングプロセスを加速する。 我々は、既存の高速ODEソルバを少ないNFEで動作させることができる新しいトレーニングフリーかつタイムステップスキッピング戦略であるPFDiffを提案する。
• 参考スコア（独自算出の注目度）: 4.595421654683656
• License:
• Abstract: Diffusion Probabilistic Models (DPMs) have shown remarkable potential in image generation, but their sampling efficiency is hindered by the need for numerous denoising steps. Most existing solutions accelerate the sampling process by proposing fast ODE solvers. However, the inevitable discretization errors of the ODE solvers are significantly magnified when the number of function evaluations (NFE) is fewer. In this work, we propose PFDiff, a novel training-free and orthogonal timestep-skipping strategy, which enables existing fast ODE solvers to operate with fewer NFE. Specifically, PFDiff initially utilizes score replacement from past time steps to predict a ``springboard". Subsequently, it employs this ``springboard" along with foresight updates inspired by Nesterov momentum to rapidly update current intermediate states. This approach effectively reduces unnecessary NFE while correcting for discretization errors inherent in first-order ODE solvers. Experimental results demonstrate that PFDiff exhibits flexible applicability across various pre-trained DPMs, particularly excelling in conditional DPMs and surpassing previous state-of-the-art training-free methods. For instance, using DDIM as a baseline, we achieved 16.46 FID (4 NFE) compared to 138.81 FID with DDIM on ImageNet 64x64 with classifier guidance, and 13.06 FID (10 NFE) on Stable Diffusion with 7.5 guidance scale. Code is available at \url{https://github.com/onefly123/PFDiff}.
• Abstract（参考訳）: 拡散確率モデル (DPM) は画像生成において顕著な可能性を示しているが, サンプリング効率は多数のデノナイジングステップの必要性によって妨げられている。 既存のほとんどのソリューションは、高速ODEソルバを提案することでサンプリングプロセスを加速する。 しかし、機能評価(NFE)の回数が少ない場合には、ODEソルバの不可避な離散化誤差が大幅に増大する。 本研究では、既存の高速ODEソルバを少ないNFEで動作させる新しいトレーニングフリーで直交時間ステップスキッピング戦略であるPFDiffを提案する。 具体的には、PFDiffは最初、過去のステップからスコアを置き換えて‘springboard’を予測する。その後、この‘springboard’を使い、Nesterovの運動量にインスパイアされた前向きのアップデートを使って、現在の中間状態を迅速に更新する。 このアプローチは、一階ODEソルバに固有の離散化誤差を補正しながら、不要なNFEを効果的に削減する。 実験の結果, PFDiffは, 各種訓練済みDPM, 特に条件付きDPMに優れ, 従来の最先端のトレーニングフリー手法を超越したフレキシブルな適用性を示した。 例えば, DDIMをベースラインとして用いた場合, ImageNet 64x64 で DDIM が 138.81 FID で DDIM が 16.46 FID (4 NFE) で, 7.5 で 安定拡散で 13.06 FID (10 NFE) を達成できた。 コードは \url{https://github.com/onefly123/PFDiff} で公開されている。

関連論文リスト

• Enhancing and Accelerating Diffusion-Based Inverse Problem Solving through Measurements Optimization [66.17291150498276]
  textbfMeasurements textbfOptimization (MO)は,逆問題解決プロセスの各ステップで計測情報を統合するための,より効率的なプラグイン・アンド・プレイモジュールである。 MOを使用することで、複数のタスクにまたがる最新技術(SOTA)のパフォーマンスを確立することができ、大きな利点があります。
  論文  参考訳（メタデータ） (2024-12-05T07:44:18Z)
• Leveraging Previous Steps: A Training-free Fast Solver for Flow Diffusion [7.3604864243987365]
  フロー拡散モデル (FDM) は近年, 高品質のため, 生成タスクの可能性を示唆している。 現在のFDMの常微分方程式(ODE)解法は依然として遅い生成に悩まされている。 高品質な生成を維持しつつ,NFEを低減できる新しいトレーニングフリーフローゾルバを提案する。
  論文  参考訳（メタデータ） (2024-11-12T08:17:15Z)
• Truncated Consistency Models [57.50243901368328]
  トレーニング一貫性モデルは、PF ODE 軌道に沿ったすべての中間点を対応するエンドポイントにマッピングする学習を必要とする。 このトレーニングパラダイムが一貫性モデルの1ステップ生成性能を制限することを実証的に見出した。 整合性関数の新しいパラメータ化と2段階の訓練手順を提案し,時間外学習が崩壊することを防ぐ。
  論文  参考訳（メタデータ） (2024-10-18T22:38:08Z)
• Adversarial Schrödinger Bridge Matching [66.39774923893103]
  反復マルコフフィッティング(IMF)手順は、マルコフ過程の相互射影と相互射影を交互に交互に行う。 本稿では、プロセスの学習を離散時間でほんの少しの遷移確率の学習に置き換える新しい離散時間IMF(D-IMF)手順を提案する。 D-IMFの手続きは、数百ではなく数世代のステップで、IMFと同じ品質の未完成のドメイン翻訳を提供できることを示す。
  論文  参考訳（メタデータ） (2024-05-23T11:29:33Z)
• DPM-Solver-v3: Improved Diffusion ODE Solver with Empirical Model Statistics [23.030972042695275]
  拡散モデル(DPM)は、非効率サンプリングに悩まされながら、高忠実度画像生成に優れた性能を示した。 最近の研究は、DPMの特定のODE形式を利用する高速ODEソルバを提案することでサンプリング手順を加速している。 本稿では,1次離散化誤差を最小限に抑えるため,サンプリング中の最適パラメータ化に向けた新しい定式化を提案する。
  論文  参考訳（メタデータ） (2023-10-20T04:23:12Z)
• AdjointDPM: Adjoint Sensitivity Method for Gradient Backpropagation of Diffusion Probabilistic Models [103.41269503488546]
  既存のカスタマイズ方法は、事前訓練された拡散確率モデルをユーザが提供する概念に合わせるために、複数の参照例にアクセスする必要がある。 本論文は、DPMカスタマイズの課題として、生成コンテンツ上で定義された差別化可能な指標が唯一利用可能な監督基準である場合に解決することを目的とする。 本稿では,拡散モデルから新しいサンプルを初めて生成するAdjointDPMを提案する。 次に、随伴感度法を用いて、損失の勾配をモデルのパラメータにバックプロパゲートする。
  論文  参考訳（メタデータ） (2023-07-20T09:06:21Z)
• Alleviating Exposure Bias in Diffusion Models through Sampling with Shifted Time Steps [23.144083737873263]
  拡散確率モデル (DPM) は高品質な画像の合成において顕著な有効性を示した。 これまでの研究は、トレーニング中に入力を摂動することでこの問題を緩和しようと試みてきた。 モデルを再学習することなく,提案する新しいサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T21:39:27Z)
• Improved Techniques for Maximum Likelihood Estimation for Diffusion ODEs [21.08236758778604]
  拡散ODEの最大誤差推定のためのいくつかの改良手法を提案する。 トレーニングのために,速度パラメータ化を提案し,より高速な収束のための分散低減手法を探索する。 評価のために,拡散 ODE に存在する訓練・評価のギャップを埋めるために,新しい訓練自由トラクト正規化法を提案する。
  論文  参考訳（メタデータ） (2023-05-06T05:21:24Z)
• Pseudo Numerical Methods for Diffusion Models on Manifolds [77.40343577960712]
  Denoising Diffusion Probabilistic Models (DDPM) は、画像やオーディオサンプルなどの高品質なサンプルを生成することができる。 DDPMは最終的なサンプルを生成するために数百から数千のイテレーションを必要とする。 拡散モデル(PNDM)の擬似数値法を提案する。 PNDMは、1000段DDIM(20倍の高速化)と比較して、50段の精度で高品質な合成画像を生成することができる
  論文  参考訳（メタデータ） (2022-02-20T10:37:52Z)
• Learning to Efficiently Sample from Diffusion Probabilistic Models [49.58748345998702]
  Denoising Diffusion Probabilistic Models (DDPM) は、様々な領域にわたる高忠実度サンプルと競合する対数類似度が得られる。 我々は,事前学習したDDPMに対して最適な離散時間スケジュールを求める,正確な動的プログラミングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T17:15:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。