論文の概要: Distilling ODE Solvers of Diffusion Models into Smaller Steps

• arxiv url: http://arxiv.org/abs/2309.16421v2
• Date: Wed, 27 Mar 2024 03:07:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 23:02:36.317334
• Title: Distilling ODE Solvers of Diffusion Models into Smaller Steps
• Title（参考訳）: 拡散モデルのより小さなステップへの蒸留ODE解法
• Authors: Sanghwan Kim, Hao Tang, Fisher Yu,
• Abstract要約: 本稿では, ODEソルバの定式化を基礎とした蒸留法であるDistilled-ODE solverを紹介する。 本手法は学習自由サンプリングと学習ベースサンプリングの両方の長所をシームレスに統合する。 従来の蒸留法と比較して計算オーバーヘッドは無視できる。
• 参考スコア（独自算出の注目度）: 32.49916706943228
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Abstract Diffusion models have recently gained prominence as a novel category of generative models. Despite their success, these models face a notable drawback in terms of slow sampling speeds, requiring a high number of function evaluations (NFE) in the order of hundreds or thousands. In response, both learning-free and learning-based sampling strategies have been explored to expedite the sampling process. Learning-free sampling employs various ordinary differential equation (ODE) solvers based on the formulation of diffusion ODEs. However, it encounters challenges in faithfully tracking the true sampling trajectory, particularly for small NFE. Conversely, learning-based sampling methods, such as knowledge distillation, demand extensive additional training, limiting their practical applicability. To overcome these limitations, we introduce Distilled-ODE solvers (D-ODE solvers), a straightforward distillation approach grounded in ODE solver formulations. Our method seamlessly integrates the strengths of both learning-free and learning-based sampling. D-ODE solvers are constructed by introducing a single parameter adjustment to existing ODE solvers. Furthermore, we optimize D-ODE solvers with smaller steps using knowledge distillation from ODE solvers with larger steps across a batch of samples. Comprehensive experiments demonstrate the superior performance of D-ODE solvers compared to existing ODE solvers, including DDIM, PNDM, DPM-Solver, DEIS, and EDM, particularly in scenarios with fewer NFE. Notably, our method incurs negligible computational overhead compared to previous distillation techniques, facilitating straightforward and rapid integration with existing samplers. Qualitative analysis reveals that D-ODE solvers not only enhance image quality but also faithfully follow the target ODE trajectory.
• Abstract（参考訳）: 抽象拡散モデル(Abstract Diffusion model)は、最近、生成モデルの新たなカテゴリとして注目されている。 その成功にもかかわらず、これらのモデルはサンプリング速度の遅い点で顕著な欠点に直面し、数百から数千の順序で大量の関数評価(NFE)を必要とする。 これに対し,学習不要と学習ベースの両方のサンプリング戦略が検討され,サンプリングプロセスの迅速化が図られた。 学習自由サンプリングは拡散ODEの定式化に基づく様々な常微分方程式(ODE)の解法を用いる。 しかし、特に小型のNFEにおいて、真のサンプリング軌道を忠実に追跡することは困難に直面している。 逆に、知識蒸留のような学習に基づくサンプリング手法は、その実践的適用性を制限し、広範な追加訓練を必要としている。 これらの制限を克服するために,D-ODEソルバ (D-ODE solver) を導入し, ODEソルバの定式化を基礎とした簡単な蒸留法を提案する。 本手法は学習自由サンプリングと学習ベースサンプリングの両方の長所をシームレスに統合する。 D-ODEソルバは、既存のODEソルバに単一のパラメータ調整を導入することで構成される。 さらに,D-ODEソルバをより小さなステップで最適化し,一組のサンプルに対してより大きなステップでODEソルバから知識を蒸留する手法を提案する。 包括的実験により, DDIM, PNDM, DPM-Solver, DEIS, EDMを含む既存のODEソルバと比較して, 特にNFEの少ないシナリオでは, D-ODEソルバの方が優れた性能を示した。 特に, 従来の蒸留法と比較して計算オーバーヘッドが無視できるため, 既存のサンプリング装置との直接的かつ迅速な統合が容易である。 定性的解析により、D-ODEソルバは画像品質を向上するだけでなく、ターゲットのODE軌道を忠実に追従することが明らかとなった。

関連論文リスト

• Distillation-Free One-Step Diffusion for Real-World Image Super-Resolution [81.81748032199813]
  蒸留不要1ステップ拡散モデルを提案する。 具体的には、敵対的訓練に参加するためのノイズ認識識別器(NAD)を提案する。 我々は、エッジ対応disTS(EA-DISTS)による知覚損失を改善し、詳細な情報を生成するモデルの能力を向上させる。
  論文  参考訳（メタデータ） (2024-10-05T16:41:36Z)
• Adv-KD: Adversarial Knowledge Distillation for Faster Diffusion Sampling [2.91204440475204]
  拡散確率モデル(DPM)は、深層生成モデルの強力なクラスとして登場した。 それらは、サンプル生成中にシーケンシャルなデノイングステップに依存している。 モデルアーキテクチャに直接位相を分解する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-31T08:19:44Z)
• SinSR: Diffusion-Based Image Super-Resolution in a Single Step [119.18813219518042]
  拡散モデルに基づく超解像(SR)法は有望な結果を示す。 しかし、それらの実践的応用は、必要な推論ステップのかなりの数によって妨げられている。 本稿では,SinSRという単一ステップのSR生成を実現するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T16:21:29Z)
• Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference [60.32804641276217]
  本稿では,LCM(Latent Consistency Models)を提案する。 高品質の768 x 768 24-step LCMは、トレーニングに32A100 GPU時間しかかからない。 また,画像データセットの微調整に適した新しいLCM法であるLCF(Latent Consistency Fine-tuning)についても紹介する。
  論文  参考訳（メタデータ） (2023-10-06T17:11:58Z)
• SA-Solver: Stochastic Adams Solver for Fast Sampling of Diffusion Models [66.67616086310662]
  拡散確率モデル(DPM)は生成タスクでかなりの成功を収めた。 DPM からのサンプリングは、時間を要する拡散 SDE や ODE の解法と等価であるため、改良された微分方程式解法に基づく多数の高速サンプリング手法が提案されている。 拡散SDEを解くための効率の良いAdams法であるSA-of-rを提案する。
  論文  参考訳（メタデータ） (2023-09-10T12:44:54Z)
• AdjointDPM: Adjoint Sensitivity Method for Gradient Backpropagation of Diffusion Probabilistic Models [103.41269503488546]
  既存のカスタマイズ方法は、事前訓練された拡散確率モデルをユーザが提供する概念に合わせるために、複数の参照例にアクセスする必要がある。 本論文は、DPMカスタマイズの課題として、生成コンテンツ上で定義された差別化可能な指標が唯一利用可能な監督基準である場合に解決することを目的とする。 本稿では,拡散モデルから新しいサンプルを初めて生成するAdjointDPMを提案する。 次に、随伴感度法を用いて、損失の勾配をモデルのパラメータにバックプロパゲートする。
  論文  参考訳（メタデータ） (2023-07-20T09:06:21Z)
• SEEDS: Exponential SDE Solvers for Fast High-Quality Sampling from Diffusion Models [0.49478969093606673]
  DPM(Diffusion Probabilistic Models)として知られる強力な生成モデルのクラスが注目されている。 高速であるにもかかわらず、そのような解法は通常、利用可能な遅いSDE解法によって達成される最適な品質に達しない。 我々の目標は、その目標を達成するために数百から数千のNFEを必要とすることなく、最適な品質に達するSDEソルバを提案することである。
  論文  参考訳（メタデータ） (2023-05-23T17:19:54Z)
• On Accelerating Diffusion-Based Sampling Process via Improved Integration Approximation [12.882586878998579]
  拡散に基づく生成モデルをサンプリングする一般的なアプローチは、常微分方程式(ODE)を解くことである。 改良された積分近似(IIA)を用いて特定の係数を最適化することにより、人気のあるODEベースのサンプリングプロセスの高速化を検討する。 また,IIA-EDM,IIA-DDIM,IIA-DPM-rを用いて,FIDスコアを従来よりも大幅に向上できることが示唆された。
  論文  参考訳（メタデータ） (2023-04-22T06:06:28Z)
• Towards Controllable Diffusion Models via Reward-Guided Exploration [15.857464051475294]
  強化学習(RL)による拡散モデルの学習段階を導く新しい枠組みを提案する。 RLは、政策そのものではなく、指数スケールの報酬に比例したペイオフ分布からのサンプルによる政策勾配を計算することができる。 3次元形状と分子生成タスクの実験は、既存の条件拡散モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-04-14T13:51:26Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。