論文の概要: Distilling ODE Solvers of Diffusion Models into Smaller Steps

• arxiv url: http://arxiv.org/abs/2309.16421v1
• Date: Thu, 28 Sep 2023 13:12:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-29 14:28:06.329950
• Title: Distilling ODE Solvers of Diffusion Models into Smaller Steps
• Title（参考訳）: 拡散モデルのより小さなステップへの蒸留ODE解法
• Authors: Sanghwan Kim, Hao Tang, and Fisher Yu
• Abstract要約: そこで本研究では,D-ODEソルバ(Distilled-ODE solver, D-ODE solver)を提案する。 より小さなステップのD-ODEソルバは、サンプルのバッチ上での蒸留を通して、より大きなステップのODEソルバによって最適化される。 提案手法は, 従来の蒸留法に比べて計算オーバーヘッドが小さいため, 従来の試料装置との簡易かつ迅速な統合が可能である。
• 参考スコア（独自算出の注目度）: 32.49916706943228
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Distillation techniques have substantially improved the sampling speed of diffusion models, allowing of the generation within only one step or a few steps. However, these distillation methods require extensive training for each dataset, sampler, and network, which limits their practical applicability. To address this limitation, we propose a straightforward distillation approach, Distilled-ODE solvers (D-ODE solvers), that optimizes the ODE solver rather than training the denoising network. D-ODE solvers are formulated by simply applying a single parameter adjustment to existing ODE solvers. Subsequently, D-ODE solvers with smaller steps are optimized by ODE solvers with larger steps through distillation over a batch of samples. Our comprehensive experiments indicate that D-ODE solvers outperform existing ODE solvers, including DDIM, PNDM, DPM-Solver, DEIS, and EDM, especially when generating samples with fewer steps. Our method incur negligible computational overhead compared to previous distillation techniques, enabling simple and rapid integration with previous samplers. Qualitative analysis further shows that D-ODE solvers enhance image quality while preserving the sampling trajectory of ODE solvers.
• Abstract（参考訳）: 蒸留技術は拡散モデルのサンプリング速度を大幅に改善し、1ステップか数ステップで生成することができるようになった。 しかし, これらの蒸留法では, 各データセット, サンプル, ネットワークの広範な訓練が必要であり, 実用性に限界がある。 この制限に対処するため,D-ODEソルバ(Distilled-ODE solver, D-ODE solver, D-ODE solver)を提案する。 D-ODEソルバは、既存のODEソルバに単一のパラメータ調整を単に適用することで定式化される。 その後、より小さな段数を持つD-ODEソルバを、より大きい段数の段数を持つODEソルバで最適化する。 D-ODEソルバはDDIM, PNDM, DPM-Solver, DEIS, EDMなど, 既存のODEソルバよりも優れており, 特に少ないステップでサンプルを生成する場合が多い。 提案手法は, 従来の蒸留法に比べて計算オーバーヘッドが小さいため, 従来の試料装置との簡易かつ迅速な統合が可能である。 さらに、D-ODEソルバは、ODEソルバのサンプリング軌道を保ちながら画質を向上させる。

関連論文リスト

• Distillation-Free One-Step Diffusion for Real-World Image Super-Resolution [81.81748032199813]
  蒸留不要1ステップ拡散モデルを提案する。 具体的には、敵対的訓練に参加するためのノイズ認識識別器(NAD)を提案する。 我々は、エッジ対応disTS(EA-DISTS)による知覚損失を改善し、詳細な情報を生成するモデルの能力を向上させる。
  論文  参考訳（メタデータ） (2024-10-05T16:41:36Z)
• Adv-KD: Adversarial Knowledge Distillation for Faster Diffusion Sampling [2.91204440475204]
  拡散確率モデル(DPM)は、深層生成モデルの強力なクラスとして登場した。 それらは、サンプル生成中にシーケンシャルなデノイングステップに依存している。 モデルアーキテクチャに直接位相を分解する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-31T08:19:44Z)
• SinSR: Diffusion-Based Image Super-Resolution in a Single Step [119.18813219518042]
  拡散モデルに基づく超解像(SR)法は有望な結果を示す。 しかし、それらの実践的応用は、必要な推論ステップのかなりの数によって妨げられている。 本稿では,SinSRという単一ステップのSR生成を実現するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T16:21:29Z)
• Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference [60.32804641276217]
  本稿では,LCM(Latent Consistency Models)を提案する。 高品質の768 x 768 24-step LCMは、トレーニングに32A100 GPU時間しかかからない。 また,画像データセットの微調整に適した新しいLCM法であるLCF(Latent Consistency Fine-tuning)についても紹介する。
  論文  参考訳（メタデータ） (2023-10-06T17:11:58Z)
• SA-Solver: Stochastic Adams Solver for Fast Sampling of Diffusion Models [66.67616086310662]
  拡散確率モデル(DPM)は生成タスクでかなりの成功を収めた。 DPM からのサンプリングは、時間を要する拡散 SDE や ODE の解法と等価であるため、改良された微分方程式解法に基づく多数の高速サンプリング手法が提案されている。 拡散SDEを解くための効率の良いAdams法であるSA-of-rを提案する。
  論文  参考訳（メタデータ） (2023-09-10T12:44:54Z)
• AdjointDPM: Adjoint Sensitivity Method for Gradient Backpropagation of Diffusion Probabilistic Models [103.41269503488546]
  既存のカスタマイズ方法は、事前訓練された拡散確率モデルをユーザが提供する概念に合わせるために、複数の参照例にアクセスする必要がある。 本論文は、DPMカスタマイズの課題として、生成コンテンツ上で定義された差別化可能な指標が唯一利用可能な監督基準である場合に解決することを目的とする。 本稿では,拡散モデルから新しいサンプルを初めて生成するAdjointDPMを提案する。 次に、随伴感度法を用いて、損失の勾配をモデルのパラメータにバックプロパゲートする。
  論文  参考訳（メタデータ） (2023-07-20T09:06:21Z)
• SEEDS: Exponential SDE Solvers for Fast High-Quality Sampling from Diffusion Models [0.49478969093606673]
  DPM(Diffusion Probabilistic Models)として知られる強力な生成モデルのクラスが注目されている。 高速であるにもかかわらず、そのような解法は通常、利用可能な遅いSDE解法によって達成される最適な品質に達しない。 我々の目標は、その目標を達成するために数百から数千のNFEを必要とすることなく、最適な品質に達するSDEソルバを提案することである。
  論文  参考訳（メタデータ） (2023-05-23T17:19:54Z)
• On Accelerating Diffusion-Based Sampling Process via Improved Integration Approximation [12.882586878998579]
  拡散に基づく生成モデルをサンプリングする一般的なアプローチは、常微分方程式(ODE)を解くことである。 改良された積分近似(IIA)を用いて特定の係数を最適化することにより、人気のあるODEベースのサンプリングプロセスの高速化を検討する。 また,IIA-EDM,IIA-DDIM,IIA-DPM-rを用いて,FIDスコアを従来よりも大幅に向上できることが示唆された。
  論文  参考訳（メタデータ） (2023-04-22T06:06:28Z)
• Towards Controllable Diffusion Models via Reward-Guided Exploration [15.857464051475294]
  強化学習(RL)による拡散モデルの学習段階を導く新しい枠組みを提案する。 RLは、政策そのものではなく、指数スケールの報酬に比例したペイオフ分布からのサンプルによる政策勾配を計算することができる。 3次元形状と分子生成タスクの実験は、既存の条件拡散モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-04-14T13:51:26Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。