論文の概要: Fast ODE-based Sampling for Diffusion Models in Around 5 Steps

• arxiv url: http://arxiv.org/abs/2312.00094v1
• Date: Thu, 30 Nov 2023 13:07:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-04 17:00:29.227444
• Title: Fast ODE-based Sampling for Diffusion Models in Around 5 Steps
• Title（参考訳）: 約5ステップでの拡散モデルの高速ODEサンプリング
• Authors: Zhenyu Zhou, Defang Chen, Can Wang, Chun Chen
• Abstract要約: 本稿では, 高速サンプリングのための平均方向を直接学習することにより, トランケーション誤差を解消する近似平均方向解法(AMED-r)を提案する。 CIFAR-10で7.14 FID、ImageNet 64$times$64で13.75 FID、LSUN Bedroomで12.79 FIDを達成した。
• 参考スコア（独自算出の注目度）: 19.118142236059537
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sampling from diffusion models can be treated as solving the corresponding ordinary differential equations (ODEs), with the aim of obtaining an accurate solution with as few number of function evaluations (NFE) as possible. Recently, various fast samplers utilizing higher-order ODE solvers have emerged and achieved better performance than the initial first-order one. However, these numerical methods inherently result in certain approximation errors, which significantly degrades sample quality with extremely small NFE (e.g., around 5). In contrast, based on the geometric observation that each sampling trajectory almost lies in a two-dimensional subspace embedded in the ambient space, we propose Approximate MEan-Direction Solver (AMED-Solver) that eliminates truncation errors by directly learning the mean direction for fast diffusion sampling. Besides, our method can be easily used as a plugin to further improve existing ODE-based samplers. Extensive experiments on image synthesis with the resolution ranging from 32 to 256 demonstrate the effectiveness of our method. With only 5 NFE, we achieve 7.14 FID on CIFAR-10, 13.75 FID on ImageNet 64$\times$64, and 12.79 FID on LSUN Bedroom. Our code is available at https://github.com/zhyzhouu/amed-solver.
• Abstract（参考訳）: 拡散モデルからのサンプリングは、可能な限り少数の関数評価(NFE)で正確な解を得る目的で、対応する常微分方程式(ODE)を解くものとして扱うことができる。 近年,高次ODEソルバを用いた高速サンプリング器が登場し,初期1次よりも優れた性能を実現している。 しかし、これらの数値法は本質的に特定の近似誤差をもたらし、非常に小さなNFE(例えば、約5)で試料の品質を著しく低下させる。 対照的に,各サンプリング軌道はほぼ周囲空間に埋め込まれた2次元部分空間にあるという幾何学的観測に基づいて,高速拡散サンプリングのための平均方向を直接学習することにより,乱れ誤差を解消する近似平均方向ソルバー(AMED-Solver)を提案する。 さらに,本手法は,既存のODEベースのサンプルを改良するためのプラグインとして容易に利用できる。 解像度32～256の画像合成実験により,提案手法の有効性を実証した。 5 NFEでCIFAR-10で7.14 FID、ImageNet 64$\times$64で13.75 FID、LSUN Bedroomで12.79 FIDを達成する。 私たちのコードはhttps://github.com/zhyzhouu/amed-solverで利用可能です。

関連論文リスト

• Simple and Fast Distillation of Diffusion Models [39.79747569096888]
  本稿では,拡散モデルの簡易・高速蒸留(SFD)を提案する。 SFD は CIFAR-10 上で 4.53 FID (NFE=2) を達成する。
  論文  参考訳（メタデータ） (2024-09-29T12:13:06Z)
• DC-Solver: Improving Predictor-Corrector Diffusion Sampler via Dynamic Compensation [68.55191764622525]
  拡散モデル(DPM)は、視覚合成において顕著な性能を示すが、サンプリング中に複数の評価を必要とするため、計算コストが高い。 最近の予測器合成・拡散サンプリング装置は,要求される評価回数を大幅に削減したが,本質的には誤調整の問題に悩まされている。 我々はDC-CPRrと呼ばれる新しい高速DPMサンプリング装置を導入する。
  論文  参考訳（メタデータ） (2024-09-05T17:59:46Z)
• Fast Samplers for Inverse Problems in Iterative Refinement Models [19.099632445326826]
  逆問題に対する効率的なサンプル作成のためのプラグイン・アンド・プレイフレームワークを提案する。 提案手法は,5段階の条件付きサンプリングステップで高品質なサンプルを生成でき,20～1000段の基準ラインよりも優れる。
  論文  参考訳（メタデータ） (2024-05-27T21:50:16Z)
• Accelerating Diffusion Sampling with Optimized Time Steps [69.21208434350567]
  拡散確率モデル(DPM)は高分解能画像合成において顕著な性能を示した。 彼らのサンプリング効率は、通常多くのサンプリングステップのため、依然として望まれている。 DPM用高次数値ODEソルバの最近の進歩により、サンプリングステップがはるかに少ない高品質な画像の生成が可能になった。
  論文  参考訳（メタデータ） (2024-02-27T10:13:30Z)
• Sampler Scheduler for Diffusion Models [0.0]
  拡散モデリング(DM)は高品質な生成性能を有する。 現在、拡散に基づく生成モデルに対するサンプルには矛盾がある。 そこで本研究では,同じサンプリングプロセスの異なるサンプリングステップにおいて,異なるサンプリングスケジューラ(ODE/SDE)を使用することの実現可能性を提案する。
  論文  参考訳（メタデータ） (2023-11-12T13:35:25Z)
• DPM-Solver-v3: Improved Diffusion ODE Solver with Empirical Model Statistics [23.030972042695275]
  拡散モデル(DPM)は、非効率サンプリングに悩まされながら、高忠実度画像生成に優れた性能を示した。 最近の研究は、DPMの特定のODE形式を利用する高速ODEソルバを提案することでサンプリング手順を加速している。 本稿では,1次離散化誤差を最小限に抑えるため,サンプリング中の最適パラメータ化に向けた新しい定式化を提案する。
  論文  参考訳（メタデータ） (2023-10-20T04:23:12Z)
• Restart Sampling for Improving Generative Processes [30.745245429072735]
  ODEベースのサンプリングは高速であるが,SDEベースのサンプリングはサンプリング時間の増加を犠牲にして高い品質のサンプルを提供する。 本稿では,離散化誤差と収縮のバランスを改善するために,Restartと呼ばれる新しいサンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-26T17:48:25Z)
• Parallel Sampling of Diffusion Models [76.3124029406809]
  拡散モデルは強力な生成モデルであるが、サンプリングが遅い。 そこで本研究では,複数のステップを並列にdenoisingすることで,事前学習した拡散モデルのサンプリングを高速化するParaDiGMSを提案する。
  論文  参考訳（メタデータ） (2023-05-25T17:59:42Z)
• Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
  我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。 シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。 本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T07:30:27Z)
• On Distillation of Guided Diffusion Models [94.95228078141626]
  そこで本研究では,分類器を含まない誘導拡散モデルから抽出し易いモデルへ抽出する手法を提案する。 画素空間上で訓練された標準拡散モデルに対して,本手法は元のモデルに匹敵する画像を生成することができる。 遅延空間で訓練された拡散モデル(例えば、安定拡散)に対して、我々の手法は1から4段階のデノナイジングステップで高忠実度画像を生成することができる。
  論文  参考訳（メタデータ） (2022-10-06T18:03:56Z)
• Pseudo Numerical Methods for Diffusion Models on Manifolds [77.40343577960712]
  Denoising Diffusion Probabilistic Models (DDPM) は、画像やオーディオサンプルなどの高品質なサンプルを生成することができる。 DDPMは最終的なサンプルを生成するために数百から数千のイテレーションを必要とする。 拡散モデル(PNDM)の擬似数値法を提案する。 PNDMは、1000段DDIM(20倍の高速化)と比較して、50段の精度で高品質な合成画像を生成することができる
  論文  参考訳（メタデータ） (2022-02-20T10:37:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。