論文の概要: Accelerating Diffusion Models via Early Stop of the Diffusion Process

• arxiv url: http://arxiv.org/abs/2205.12524v1
• Date: Wed, 25 May 2022 06:40:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-27 11:52:20.170896
• Title: Accelerating Diffusion Models via Early Stop of the Diffusion Process
• Title（参考訳）: 拡散過程の早期停止による拡散モデルの高速化
• Authors: Zhaoyang Lyu, Xudong XU, Ceyuan Yang, Dahua Lin, Bo Dai
• Abstract要約: Denoising Diffusion Probabilistic Models (DDPM) は、様々な世代タスクにおいて優れたパフォーマンスを実現している。 実際には、DDPMは高品質なサンプルを得るために何十万ものデノナイジングステップを必要とすることが多い。 本稿では,DDPMの早期停止型DDPM(Early-Stopped DDPM, ES-DDPM)の原理的高速化戦略を提案する。
• 参考スコア（独自算出の注目度）: 114.48426684994179
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Denoising Diffusion Probabilistic Models (DDPMs) have achieved impressive performance on various generation tasks. By modeling the reverse process of gradually diffusing the data distribution into a Gaussian distribution, generating a sample in DDPMs can be regarded as iteratively denoising a randomly sampled Gaussian noise. However, in practice DDPMs often need hundreds even thousands of denoising steps to obtain a high-quality sample from the Gaussian noise, leading to extremely low inference efficiency. In this work, we propose a principled acceleration strategy, referred to as Early-Stopped DDPM (ES-DDPM), for DDPMs. The key idea is to stop the diffusion process early where only the few initial diffusing steps are considered and the reverse denoising process starts from a non-Gaussian distribution. By further adopting a powerful pre-trained generative model, such as GAN and VAE, in ES-DDPM, sampling from the target non-Gaussian distribution can be efficiently achieved by diffusing samples obtained from the pre-trained generative model. In this way, the number of required denoising steps is significantly reduced. In the meantime, the sample quality of ES-DDPM also improves substantially, outperforming both the vanilla DDPM and the adopted pre-trained generative model. On extensive experiments across CIFAR-10, CelebA, ImageNet, LSUN-Bedroom and LSUN-Cat, ES-DDPM obtains promising acceleration effect and performance improvement over representative baseline methods. Moreover, ES-DDPM also demonstrates several attractive properties, including being orthogonal to existing acceleration methods, as well as simultaneously enabling both global semantic and local pixel-level control in image generation.
• Abstract（参考訳）: denoising diffusion probabilistic models (ddpms) は様々な世代のタスクで素晴らしい性能を達成している。 データの分布を徐々にガウス分布に拡散する逆過程をモデル化することにより、ddpmsでサンプルを生成することはランダムにサンプリングされたガウス雑音を反復的にデノベーションすると見なすことができる。 しかし、実際にDDPMはガウスノイズから高品質なサンプルを得るために何十万ものデノナイジングステップを必要とすることが多く、非常に低い推論効率をもたらす。 本研究では, DDPM に対する早期停止型 DDPM (Early-Stopped DDPM) と呼ばれる原理的加速戦略を提案する。 鍵となる考え方は拡散過程を早期に停止することであり、初期拡散ステップのみを考慮し、逆の分極過程は非ガウス分布から始まる。 ES-DDPMにおいて、GANやVAEなどの強力な事前学習生成モデルを採用することにより、目標とする非ガウス分布からのサンプリングを、事前学習生成モデルから得られたサンプルを拡散させることで効率的に行うことができる。 このように、必要な分極ステップの数が大幅に削減される。 一方、ES-DDPMのサンプル品質も大幅に向上し、バニラDDPMと導入前訓練モデルの両方に優れる。 CIFAR-10、CelebA、ImageNet、LSUN-Bedroom、LSUN-Catの広範な実験において、ES-DDPMは代表ベースライン法よりも有望な加速効果と性能改善が得られる。 さらに、es-ddpmは、既存の加速度法と直交するなど、いくつかの魅力的な特性を示し、画像生成においてグローバルセマンティクスとローカルピクセルレベルの制御を同時に可能にする。

関連論文リスト

• Conditional GAN for Enhancing Diffusion Models in Efficient and Authentic Global Gesture Generation from Audios [10.57695963534794]
  VAEに基づく手法には、局所的なジッタとグローバルな不安定性の問題が伴う。 本稿では,音声制御信号を捕捉し,拡散段差と発声段差の多モーダル denoising 分布を暗黙的に一致させる条件付き GAN を提案する。
  論文  参考訳（メタデータ） (2024-10-27T07:25:11Z)
• EM Distillation for One-step Diffusion Models [65.57766773137068]
  最小品質の損失を最小限に抑えた1ステップ生成モデルに拡散モデルを蒸留する最大可能性に基づく手法を提案する。 本研究では, 蒸留プロセスの安定化を図るため, 再パラメータ化サンプリング手法とノイズキャンセリング手法を開発した。
  論文  参考訳（メタデータ） (2024-05-27T05:55:22Z)
• Boosting Diffusion Models with Moving Average Sampling in Frequency Domain [101.43824674873508]
  拡散モデルは、現在のサンプルに頼って次のサンプルをノイズ化し、おそらく不安定化を引き起こす。 本稿では,反復的復調過程をモデル最適化として再解釈し,移動平均機構を利用して全ての先行サンプルをアンサンブルする。 周波数領域における平均サンプリング(MASF)の動作」という完全なアプローチを命名する。
  論文  参考訳（メタデータ） (2024-03-26T16:57:55Z)
• DPM-OT: A New Diffusion Probabilistic Model Based on Optimal Transport [26.713392774427653]
  DPM-OTは高速DPMのための統合学習フレームワークであり、直接高速道路はOTマップで表される。 約10の関数評価で高品質なサンプルを生成することができる。 実験は、DPM-OTの有効性と利点を、速度と品質の観点から検証した。
  論文  参考訳（メタデータ） (2023-07-21T02:28:54Z)
• AdjointDPM: Adjoint Sensitivity Method for Gradient Backpropagation of Diffusion Probabilistic Models [103.41269503488546]
  既存のカスタマイズ方法は、事前訓練された拡散確率モデルをユーザが提供する概念に合わせるために、複数の参照例にアクセスする必要がある。 本論文は、DPMカスタマイズの課題として、生成コンテンツ上で定義された差別化可能な指標が唯一利用可能な監督基準である場合に解決することを目的とする。 本稿では,拡散モデルから新しいサンプルを初めて生成するAdjointDPMを提案する。 次に、随伴感度法を用いて、損失の勾配をモデルのパラメータにバックプロパゲートする。
  論文  参考訳（メタデータ） (2023-07-20T09:06:21Z)
• Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
  Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。 暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。 提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-21T18:49:22Z)
• UDPM: Upsampling Diffusion Probabilistic Models [33.51145642279836]
  拡散確率モデル(DDPM、Denoising Diffusion Probabilistic Models)は近年注目されている。 DDPMは逆プロセスを定義することによって複雑なデータ分布から高品質なサンプルを生成する。 生成逆数ネットワーク(GAN)とは異なり、拡散モデルの潜伏空間は解釈できない。 本研究では,デノナイズ拡散過程をUDPM(Upsampling Diffusion Probabilistic Model)に一般化することを提案する。
  論文  参考訳（メタデータ） (2023-05-25T17:25:14Z)
• Fast Diffusion Probabilistic Model Sampling through the lens of Backward Error Analysis [26.907301901503835]
  拡散確率モデル (DDPM) は強力な生成モデルの一種である。 DDPMは通常、サンプルを生成するために数百から数千の連続関数評価(ステップ)を必要とする。 本稿では,高い試料品質を維持しつつ,ステップの少ないDDPMの高速サンプリング法を開発することを目的とする。
  論文  参考訳（メタデータ） (2023-04-22T16:58:47Z)
• Denoising Diffusion Implicit Models [117.03720513930335]
  DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。 DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
  論文  参考訳（メタデータ） (2020-10-06T06:15:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。