論文の概要: Fast ODE-based Sampling for Diffusion Models in Around 5 Steps

• arxiv url: http://arxiv.org/abs/2312.00094v2
• Date: Fri, 22 Mar 2024 16:38:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-25 22:30:18.429770
• Title: Fast ODE-based Sampling for Diffusion Models in Around 5 Steps
• Title（参考訳）: 約5ステップでの拡散モデルの高速ODEサンプリング
• Authors: Zhenyu Zhou, Defang Chen, Can Wang, Chun Chen,
• Abstract要約: 本稿では, 高速サンプリングのための平均方向を直接学習することにより, トランケーション誤差を解消する近似平均方向解法(AMED-r)を提案する。 本手法は,既存の ODE ベースのサンプルを改良するためのプラグインとして容易に利用できる。
• 参考スコア（独自算出の注目度）: 17.500594480727617
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sampling from diffusion models can be treated as solving the corresponding ordinary differential equations (ODEs), with the aim of obtaining an accurate solution with as few number of function evaluations (NFE) as possible. Recently, various fast samplers utilizing higher-order ODE solvers have emerged and achieved better performance than the initial first-order one. However, these numerical methods inherently result in certain approximation errors, which significantly degrades sample quality with extremely small NFE (e.g., around 5). In contrast, based on the geometric observation that each sampling trajectory almost lies in a two-dimensional subspace embedded in the ambient space, we propose Approximate MEan-Direction Solver (AMED-Solver) that eliminates truncation errors by directly learning the mean direction for fast diffusion sampling. Besides, our method can be easily used as a plugin to further improve existing ODE-based samplers. Extensive experiments on image synthesis with the resolution ranging from 32 to 512 demonstrate the effectiveness of our method. With only 5 NFE, we achieve 6.61 FID on CIFAR-10, 10.74 FID on ImageNet 64$\times$64, and 13.20 FID on LSUN Bedroom. Our code is available at https://github.com/zju-pi/diff-sampler.
• Abstract（参考訳）: 拡散モデルからのサンプリングは、可能な限り少数の関数評価(NFE)で正確な解を得る目的で、対応する常微分方程式(ODE)を解くものとして扱うことができる。 近年,高次ODEソルバを用いた高速サンプリング器が登場し,初期1次よりも優れた性能を実現している。 しかし,これらの数値解法は特定の近似誤差を生じさせ,非常に小さいNFE(例:5)で試料品質を著しく低下させる。 対照的に,各サンプリング軌道はほぼ周囲空間に埋め込まれた2次元部分空間にあるという幾何学的観測に基づいて,高速拡散サンプリングのための平均方向を直接学習することにより,乱れ誤差を解消する近似平均方向ソルバー(AMED-Solver)を提案する。 さらに,本手法は,既存のODEベースのサンプルを改良するためのプラグインとして容易に利用できる。 解像度32～512の画像合成実験により,本手法の有効性が示された。 5 NFEでCIFAR-10で6.61 FID、ImageNet 64$\times$64で10.74 FID、LSUN Bedroomで13.20 FIDを得る。 私たちのコードはhttps://github.com/zju-pi/diff-sampler.comから入手可能です。

関連論文リスト

• Learning to Discretize Denoising Diffusion ODEs [41.50816120270017]
  DPM でカプセル化された拡散 ODE から標本化しながら,時間離散化を学習するフレームワーク LD3 を提案する。 我々は,LD3が蒸留法と比較してサンプリング効率を向上させることを分析的,実証的に実証した。
  論文  参考訳（メタデータ） (2024-05-24T12:51:23Z)
• Accelerating Diffusion Sampling with Optimized Time Steps [69.21208434350567]
  拡散確率モデル(DPM)は高分解能画像合成において顕著な性能を示した。 彼らのサンプリング効率は、通常多くのサンプリングステップのため、依然として望まれている。 DPM用高次数値ODEソルバの最近の進歩により、サンプリングステップがはるかに少ない高品質な画像の生成が可能になった。
  論文  参考訳（メタデータ） (2024-02-27T10:13:30Z)
• Sampler Scheduler for Diffusion Models [0.0]
  拡散モデリング(DM)は高品質な生成性能を有する。 現在、拡散に基づく生成モデルに対するサンプルには矛盾がある。 そこで本研究では,同じサンプリングプロセスの異なるサンプリングステップにおいて,異なるサンプリングスケジューラ(ODE/SDE)を使用することの実現可能性を提案する。
  論文  参考訳（メタデータ） (2023-11-12T13:35:25Z)
• DPM-Solver-v3: Improved Diffusion ODE Solver with Empirical Model Statistics [23.030972042695275]
  拡散モデル(DPM)は、非効率サンプリングに悩まされながら、高忠実度画像生成に優れた性能を示した。 最近の研究は、DPMの特定のODE形式を利用する高速ODEソルバを提案することでサンプリング手順を加速している。 本稿では,1次離散化誤差を最小限に抑えるため,サンプリング中の最適パラメータ化に向けた新しい定式化を提案する。
  論文  参考訳（メタデータ） (2023-10-20T04:23:12Z)
• Distilling ODE Solvers of Diffusion Models into Smaller Steps [32.49916706943228]
  本稿では, ODEソルバの定式化を基礎とした蒸留法であるDistilled-ODE solverを紹介する。 本手法は学習自由サンプリングと学習ベースサンプリングの両方の長所をシームレスに統合する。 従来の蒸留法と比較して計算オーバーヘッドは無視できる。
  論文  参考訳（メタデータ） (2023-09-28T13:12:18Z)
• Restart Sampling for Improving Generative Processes [30.745245429072735]
  ODEベースのサンプリングは高速であるが,SDEベースのサンプリングはサンプリング時間の増加を犠牲にして高い品質のサンプルを提供する。 本稿では,離散化誤差と収縮のバランスを改善するために,Restartと呼ばれる新しいサンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-26T17:48:25Z)
• Parallel Sampling of Diffusion Models [76.3124029406809]
  拡散モデルは強力な生成モデルであるが、サンプリングが遅い。 そこで本研究では,複数のステップを並列にdenoisingすることで,事前学習した拡散モデルのサンプリングを高速化するParaDiGMSを提案する。
  論文  参考訳（メタデータ） (2023-05-25T17:59:42Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
  我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。 シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。 本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T07:30:27Z)
• On Distillation of Guided Diffusion Models [94.95228078141626]
  そこで本研究では,分類器を含まない誘導拡散モデルから抽出し易いモデルへ抽出する手法を提案する。 画素空間上で訓練された標準拡散モデルに対して,本手法は元のモデルに匹敵する画像を生成することができる。 遅延空間で訓練された拡散モデル(例えば、安定拡散)に対して、我々の手法は1から4段階のデノナイジングステップで高忠実度画像を生成することができる。
  論文  参考訳（メタデータ） (2022-10-06T18:03:56Z)
• Pseudo Numerical Methods for Diffusion Models on Manifolds [77.40343577960712]
  Denoising Diffusion Probabilistic Models (DDPM) は、画像やオーディオサンプルなどの高品質なサンプルを生成することができる。 DDPMは最終的なサンプルを生成するために数百から数千のイテレーションを必要とする。 拡散モデル(PNDM)の擬似数値法を提案する。 PNDMは、1000段DDIM(20倍の高速化)と比較して、50段の精度で高品質な合成画像を生成することができる
  論文  参考訳（メタデータ） (2022-02-20T10:37:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。