論文の概要: Distilling Parallel Gradients for Fast ODE Solvers of Diffusion Models

• arxiv url: http://arxiv.org/abs/2507.14797v1
• Date: Sun, 20 Jul 2025 03:08:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:32.060196
• Title: Distilling Parallel Gradients for Fast ODE Solvers of Diffusion Models
• Title（参考訳）: 拡散モデルの高速ODE解法における蒸留並列勾配
• Authors: Beier Zhu, Ruoyu Wang, Tong Zhao, Hanwang Zhang, Chi Zhang,
• Abstract要約: 拡散モデル(DM)は、最先端の生成性能を達成したが、シーケンシャルなデノナイジング特性のため、高いサンプリング遅延に悩まされている。 既存のソルバベースの加速度法では、低レイテンシの予算で画像品質が劣化することが多い。 本稿では、各ODEステップに複数の並列勾配評価を組み込むことで、トランケーションエラーを軽減する新しいODEソルバであるEnsemble Parallel Direction Solutionrを提案する。
• 参考スコア（独自算出の注目度）: 53.087070073434845
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models (DMs) have achieved state-of-the-art generative performance but suffer from high sampling latency due to their sequential denoising nature. Existing solver-based acceleration methods often face image quality degradation under a low-latency budget. In this paper, we propose the Ensemble Parallel Direction solver (dubbed as \ours), a novel ODE solver that mitigates truncation errors by incorporating multiple parallel gradient evaluations in each ODE step. Importantly, since the additional gradient computations are independent, they can be fully parallelized, preserving low-latency sampling. Our method optimizes a small set of learnable parameters in a distillation fashion, ensuring minimal training overhead. In addition, our method can serve as a plugin to improve existing ODE samplers. Extensive experiments on various image synthesis benchmarks demonstrate the effectiveness of our \ours~in achieving high-quality and low-latency sampling. For example, at the same latency level of 5 NFE, EPD achieves an FID of 4.47 on CIFAR-10, 7.97 on FFHQ, 8.17 on ImageNet, and 8.26 on LSUN Bedroom, surpassing existing learning-based solvers by a significant margin. Codes are available in https://github.com/BeierZhu/EPD.
• Abstract（参考訳）: 拡散モデル(DM)は、最先端の生成性能を達成したが、シーケンシャルなデノナイジング特性のため、高いサンプリング遅延に悩まされている。 既存のソルバベースの加速度法では、低レイテンシの予算で画像品質が劣化することが多い。 本稿では、各ODEステップに複数の並列勾配評価を組み込むことで、トランジケーションエラーを緩和する新しいODEソルバであるEnsemble Parallel Directionsolvr(‘ours’と呼ばれる)を提案する。 重要なことは、追加の勾配計算は独立しているため、完全に並列化することができ、低遅延サンプリングを保存することができる。 蒸留方式で学習可能なパラメータの小さなセットを最適化し,最小限のトレーニングオーバーヘッドを確保する。 さらに,本手法は既存のODEサンプルを改良するためのプラグインとして機能する。 様々な画像合成ベンチマークの大規模な実験は、高品質で低レイテンシなサンプリングを実現する上で、我々の‘ours〜’の有効性を実証している。 例えば、同じレイテンシレベルである5 NFEでは、EPDはCIFAR-10で4.47、FFHQで7.97、ImageNetで8.17、LSUN Bedroomで8.26のFIDを達成し、既存の学習ベースソルバをかなり上回っている。 コードはhttps://github.com/BeierZhu/EPD.comで入手できる。

関連論文リスト

• ODE$_t$(ODE$_l$): Shortcutting the Time and Length in Diffusion and Flow Models for Faster Sampling [33.87434194582367]
  本研究では,品質・複雑さのトレードオフを動的に制御できる相補的な方向について検討する。 我々は,フローマッチングトレーニング中に時間と長さの整合性項を用い,任意の時間ステップでサンプリングを行うことができる。 従来の技術と比較すると、CelebA-HQとImageNetのイメージ生成実験は、最も効率的なサンプリングモードで最大3$times$のレイテンシの低下を示している。
  論文  参考訳（メタデータ） (2025-06-26T18:59:59Z)
• One-Step Diffusion Model for Image Motion-Deblurring [85.76149042561507]
  本稿では,脱臭過程を1段階に短縮する新しいフレームワークである脱臭拡散モデル(OSDD)を提案する。 拡散モデルにおける忠実度損失に対処するために,構造復元を改善する改良された変分オートエンコーダ(eVAE)を導入する。 提案手法は,実測値と非参照値の両方で高い性能を達成する。
  論文  参考訳（メタデータ） (2025-03-09T09:39:57Z)
• Self-Refining Diffusion Samplers: Enabling Parallelization via Parareal Iterations [53.180374639531145]
  自己精製拡散サンプリング(SRDS)は、サンプル品質を維持し、追加の並列計算コストでレイテンシを向上させることができる。 微分方程式の並列時間積分法であるPararealアルゴリズムから着想を得た。
  論文  参考訳（メタデータ） (2024-12-11T11:08:09Z)
• PFDiff: Training-Free Acceleration of Diffusion Models Combining Past and Future Scores [4.595421654683656]
  拡散確率モデル(DPM)は画像生成において顕著な可能性を示している。 既存のほとんどのソリューションは、高速ODEソルバを提案することでサンプリングプロセスを加速する。 我々は、既存の高速ODEソルバを少ないNFEで動作させることができる新しいトレーニングフリーかつタイムステップスキッピング戦略であるPFDiffを提案する。
  論文  参考訳（メタデータ） (2024-08-16T16:12:44Z)
• Accelerating Parallel Sampling of Diffusion Models [25.347710690711562]
  自己回帰過程を並列化することにより拡散モデルのサンプリングを高速化する新しい手法を提案する。 これらの手法を適用したParaTAAは、普遍的でトレーニング不要な並列サンプリングアルゴリズムである。 実験により、ParaTAAは一般的なシーケンシャルサンプリングアルゴリズムで要求される推論ステップを4$sim$14倍に削減できることを示した。
  論文  参考訳（メタデータ） (2024-02-15T14:27:58Z)
• Fast ODE-based Sampling for Diffusion Models in Around 5 Steps [17.500594480727617]
  本稿では, 高速サンプリングのための平均方向を直接学習することにより, トランケーション誤差を解消する近似平均方向解法(AMED-r)を提案する。 本手法は,既存の ODE ベースのサンプルを改良するためのプラグインとして容易に利用できる。
  論文  参考訳（メタデータ） (2023-11-30T13:07:19Z)
• SinSR: Diffusion-Based Image Super-Resolution in a Single Step [119.18813219518042]
  拡散モデルに基づく超解像(SR)法は有望な結果を示す。 しかし、それらの実践的応用は、必要な推論ステップのかなりの数によって妨げられている。 本稿では,SinSRという単一ステップのSR生成を実現するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T16:21:29Z)
• Towards More Accurate Diffusion Model Acceleration with A Timestep Aligner [84.97253871387028]
  数千のデノナイジングステップを用いて画像を生成するために定式化された拡散モデルは通常、遅い推論速度に悩まされる。 最小限のコストで特定の区間に対するより正確な積分方向を見つけるのに役立つ時間ステップ整合器を提案する。 実験により,我々のプラグイン設計を効率的に訓練し,様々な最先端加速度法の推論性能を向上できることが示された。
  論文  参考訳（メタデータ） (2023-10-14T02:19:07Z)
• Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference [60.32804641276217]
  本稿では,LCM(Latent Consistency Models)を提案する。 高品質の768 x 768 24-step LCMは、トレーニングに32A100 GPU時間しかかからない。 また,画像データセットの微調整に適した新しいLCM法であるLCF(Latent Consistency Fine-tuning)についても紹介する。
  論文  参考訳（メタデータ） (2023-10-06T17:11:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。