論文の概要: Fast Sampling of Diffusion Models with Exponential Integrator

• arxiv url: http://arxiv.org/abs/2204.13902v1
• Date: Fri, 29 Apr 2022 06:32:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-02 14:33:07.524467
• Title: Fast Sampling of Diffusion Models with Exponential Integrator
• Title（参考訳）: 指数積分器を用いた拡散モデルの高速サンプリング
• Authors: Qinsheng Zhang, Yongxin Chen
• Abstract要約: 高い試料品質を維持しつつ, ステップ数を大幅に減らしたDMの高速サンプリング法を提案する。 提案手法は任意のDMに適用可能であり,10ステップ以内で高忠実度サンプルを生成することができる。
• 参考スコア（独自算出の注目度）: 9.467521554542273
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The past few years have witnessed the great success of Diffusion models~(DMs) in generating high-fidelity samples in generative modeling tasks. A major limitation of the DM is its notoriously slow sampling procedure which normally requires hundreds to thousands of time discretization steps of the learned diffusion process to reach the desired accuracy. Our goal is to develop a fast sampling method for DMs with much less number of steps while retaining high sample quality. To this end, we systematically analyze the sampling procedure in DMs and identify key factors that affect the sample quality, among which the method of discretization is most crucial. By carefully examining the learned diffusion process, we propose Diffusion Exponential Integrator Sampler~(DEIS). It is based on the Exponential Integrator designed for discretizing ordinary differential equations (ODEs) and leverages a semilinear structure of the learned diffusion process to reduce the discretization error. The proposed method can be applied to any DMs and can generate high-fidelity samples in as few as 10 steps. In our experiments, it takes about 3 minutes on one A6000 GPU to generate $50k$ images from CIFAR10. Moreover, by directly using pre-trained DMs, we achieve the state-of-art sampling performance when the number of score function evaluation~(NFE) is limited, e.g., 3.37 FID and 9.74 Inception score with only 15 NFEs on CIFAR10.
• Abstract（参考訳）: 過去数年間、ジェネレーションモデリングタスクにおける高忠実度サンプルの生成において、拡散モデル—(DM)の大きな成功を目撃してきた。 dmの主な制限は、通常、所望の精度に達するために学習された拡散プロセスの数百から数千時間の離散化ステップを必要とする、悪名高いサンプリング手順である。 本研究の目的は,dmsのサンプル品質を保ちながら,ステップ数をはるかに少なくした高速サンプリング手法を開発することである。 そこで本研究では,DMのサンプリング手順を体系的に解析し,識別方法が最重要となる試料品質に影響を与える重要な因子を同定する。 学習した拡散過程を精査して拡散指数積分器サンプリング(DEIS)を提案する。 これは通常の微分方程式(odes)を離散化するために設計された指数積分器に基づいており、学習拡散過程の半線形構造を利用して離散化誤差を減少させる。 提案手法は任意のDMに適用可能であり,10ステップ以内で高忠実度サンプルを生成することができる。 実験では、1つのA6000 GPUで約3分かかり、CIFAR10から50k$の画像を生成する。 さらに,事前に訓練したDMを直接使用することにより,CIFAR10上での3.37 FIDと9.74 インセプションスコアなど,スコア関数の評価値~(NFE)が制限された場合に,最先端のサンプリング性能を実現する。

関連論文リスト

• Align Your Steps: Optimizing Sampling Schedules in Diffusion Models [63.927438959502226]
  拡散モデル(DM)は、視覚領域以降における最先端の生成モデリングアプローチとして確立されている。 DMの重大な欠点は、サンプリング速度の遅いことであり、大規模なニューラルネットワークによる多くのシーケンシャルな関数評価に依存している。 本稿では,DMのサンプリングスケジュールを高品質な出力に最適化する汎用的,原理的な手法を提案する。
  論文  参考訳（メタデータ） (2024-04-22T18:18:41Z)
• Fast Diffusion Model [122.36693015093041]
  拡散モデル(DM)は、複雑なデータ分布を捉える能力を持つ様々な分野に採用されている。 本稿では,DM最適化の観点から,高速拡散モデル (FDM) を提案する。
  論文  参考訳（メタデータ） (2023-06-12T09:38:04Z)
• Alleviating Exposure Bias in Diffusion Models through Sampling with Shifted Time Steps [23.144083737873263]
  拡散確率モデル (DPM) は高品質な画像の合成において顕著な有効性を示した。 これまでの研究は、トレーニング中に入力を摂動することでこの問題を緩和しようと試みてきた。 モデルを再学習することなく,提案する新しいサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T21:39:27Z)
• Fast Diffusion Probabilistic Model Sampling through the lens of Backward Error Analysis [26.907301901503835]
  拡散確率モデル (DDPM) は強力な生成モデルの一種である。 DDPMは通常、サンプルを生成するために数百から数千の連続関数評価(ステップ)を必要とする。 本稿では,高い試料品質を維持しつつ,ステップの少ないDDPMの高速サンプリング法を開発することを目的とする。
  論文  参考訳（メタデータ） (2023-04-22T16:58:47Z)
• Preconditioned Score-based Generative Models [49.88840603798831]
  直感的な加速度法はサンプリングの繰り返しを減らし、しかしながら重大な性能劣化を引き起こす。 本稿では,行列プレコンディショニングを利用したモデル非依存型bfem事前条件拡散サンプリング(PDS)手法を提案する。 PDSは、バニラSGMのサンプリングプロセスを限界余剰計算コストで変更し、モデルの再訓練を行わない。
  論文  参考訳（メタデータ） (2023-02-13T16:30:53Z)
• Fast Inference in Denoising Diffusion Models via MMD Finetuning [23.779985842891705]
  拡散モデルの高速サンプリング法であるMDD-DDMを提案する。 我々のアプローチは、学習した分布を所定の予算のタイムステップで微調整するために、最大平均離散性(MMD)を使用するという考え方に基づいている。 提案手法は,広範に普及した拡散モデルで要求されるわずかな時間で高品質なサンプルを生成できることが示唆された。
  論文  参考訳（メタデータ） (2023-01-19T09:48:07Z)
• Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
  我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。 シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。 本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T07:30:27Z)
• Pseudo Numerical Methods for Diffusion Models on Manifolds [77.40343577960712]
  Denoising Diffusion Probabilistic Models (DDPM) は、画像やオーディオサンプルなどの高品質なサンプルを生成することができる。 DDPMは最終的なサンプルを生成するために数百から数千のイテレーションを必要とする。 拡散モデル(PNDM)の擬似数値法を提案する。 PNDMは、1000段DDIM(20倍の高速化)と比較して、50段の精度で高品質な合成画像を生成することができる
  論文  参考訳（メタデータ） (2022-02-20T10:37:52Z)
• Learning Fast Samplers for Diffusion Models by Differentiating Through Sample Quality [44.37533757879762]
  差分拡散サンプリングサーチ(DDSS)は,任意の事前学習拡散モデルに対して高速サンプリングを最適化する手法である。 また、拡散モデルのためのフレキシブルな非マルコフ型サンプルモデルのファミリーである一般化ガウス拡散モデル(GGDM)を提示する。 本手法は, 微調整や再学習の必要なく, 事前学習した拡散モデルと互換性がある。
  論文  参考訳（メタデータ） (2022-02-11T18:53:18Z)
• Denoising Diffusion Implicit Models [117.03720513930335]
  DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。 DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
  論文  参考訳（メタデータ） (2020-10-06T06:15:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。