論文の概要: Accelerating Parallel Sampling of Diffusion Models

• arxiv url: http://arxiv.org/abs/2402.09970v2
• Date: Mon, 27 May 2024 09:23:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 07:25:03.157549
• Title: Accelerating Parallel Sampling of Diffusion Models
• Title（参考訳）: 拡散モデルの並列サンプリング高速化
• Authors: Zhiwei Tang, Jiasheng Tang, Hao Luo, Fan Wang, Tsung-Hui Chang,
• Abstract要約: 自己回帰過程を並列化することにより拡散モデルのサンプリングを高速化する新しい手法を提案する。 これらの手法を適用したParaTAAは、普遍的でトレーニング不要な並列サンプリングアルゴリズムである。 実験により、ParaTAAは一般的なシーケンシャルサンプリングアルゴリズムで要求される推論ステップを4$sim$14倍に削減できることを示した。
• 参考スコア（独自算出の注目度）: 25.347710690711562
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have emerged as state-of-the-art generative models for image generation. However, sampling from diffusion models is usually time-consuming due to the inherent autoregressive nature of their sampling process. In this work, we propose a novel approach that accelerates the sampling of diffusion models by parallelizing the autoregressive process. Specifically, we reformulate the sampling process as solving a system of triangular nonlinear equations through fixed-point iteration. With this innovative formulation, we explore several systematic techniques to further reduce the iteration steps required by the solving process. Applying these techniques, we introduce ParaTAA, a universal and training-free parallel sampling algorithm that can leverage extra computational and memory resources to increase the sampling speed. Our experiments demonstrate that ParaTAA can decrease the inference steps required by common sequential sampling algorithms such as DDIM and DDPM by a factor of 4$\sim$14 times. Notably, when applying ParaTAA with 100 steps DDIM for Stable Diffusion, a widely-used text-to-image diffusion model, it can produce the same images as the sequential sampling in only 7 inference steps. The code is available at https://github.com/TZW1998/ParaTAA-Diffusion.
• Abstract（参考訳）: 拡散モデルは、画像生成のための最先端の生成モデルとして登場した。 しかしながら、拡散モデルからのサンプリングは通常、サンプリングプロセスの固有の自己回帰性のために時間を要する。 本研究では,自己回帰過程を並列化することにより拡散モデルのサンプリングを高速化する新しい手法を提案する。 具体的には、固定点反復による三角形非線形方程式系の解法としてサンプリング過程を再構成する。 この革新的な定式化により、問題解決プロセスに必要なイテレーションステップをさらに削減するために、いくつかの体系的な手法を探求する。 これらの手法を適用したParaTAAは、余分な計算資源とメモリ資源を活用してサンプリング速度を向上する、普遍的でトレーニング不要な並列サンプリングアルゴリズムである。 実験の結果,DDIMやDDPMなどの一般的な逐次サンプリングアルゴリズムが必要とする推論ステップを4$\sim$14倍に削減できることがわかった。 特に、広く使われているテキストと画像の拡散モデルであるStable Diffusionに100ステップDDIMのParaTAAを適用すると、7つの推論ステップでシーケンシャルサンプリングと同じ画像を生成できる。 コードはhttps://github.com/TZW1998/ParaTAA-Diffusionで公開されている。

関連論文リスト

• Fast Samplers for Inverse Problems in Iterative Refinement Models [19.099632445326826]
  逆問題に対する効率的なサンプル作成のためのプラグイン・アンド・プレイフレームワークを提案する。 提案手法は,5段階の条件付きサンプリングステップで高品質なサンプルを生成でき,20～1000段の基準ラインよりも優れる。
  論文  参考訳（メタデータ） (2024-05-27T21:50:16Z)
• DiffuSeq-v2: Bridging Discrete and Continuous Text Spaces for Accelerated Seq2Seq Diffusion Models [58.450152413700586]
  ガウス空間に基づく離散突然変異を再構成する学習において拡散モデルを容易にする軟吸収状態を導入する。 我々は、サンプリングプロセスの高速化のために、連続空間内で最先端のODEソルバを用いている。 提案手法は, トレーニング収束率を4倍に向上させ, 類似品質のサンプルを800倍高速に生成する。
  論文  参考訳（メタデータ） (2023-10-09T15:29:10Z)
• Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference [60.32804641276217]
  本稿では,LCM(Latent Consistency Models)を提案する。 高品質の768 x 768 24-step LCMは、トレーニングに32A100 GPU時間しかかからない。 また,画像データセットの微調整に適した新しいLCM法であるLCF(Latent Consistency Fine-tuning)についても紹介する。
  論文  参考訳（メタデータ） (2023-10-06T17:11:58Z)
• Parallel Sampling of Diffusion Models [76.3124029406809]
  拡散モデルは強力な生成モデルであるが、サンプリングが遅い。 そこで本研究では,複数のステップを並列にdenoisingすることで,事前学習した拡散モデルのサンプリングを高速化するParaDiGMSを提案する。
  論文  参考訳（メタデータ） (2023-05-25T17:59:42Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Accelerating Guided Diffusion Sampling with Splitting Numerical Methods [8.689906452450938]
  近年の手法は, サンプリングプロセスに高次数値法を適用することにより, 無誘導サンプリングを高速化することができる。 本稿では,この問題の原因を考察し,演算子分割法に基づく解を提供する。 提案手法は,高次サンプリング手法を再利用し,250ステップのDDIMベースラインと同じ画質の画像を生成できる。
  論文  参考訳（メタデータ） (2023-01-27T06:48:29Z)
• Fast Inference in Denoising Diffusion Models via MMD Finetuning [23.779985842891705]
  拡散モデルの高速サンプリング法であるMDD-DDMを提案する。 我々のアプローチは、学習した分布を所定の予算のタイムステップで微調整するために、最大平均離散性(MMD)を使用するという考え方に基づいている。 提案手法は,広範に普及した拡散モデルで要求されるわずかな時間で高品質なサンプルを生成できることが示唆された。
  論文  参考訳（メタデータ） (2023-01-19T09:48:07Z)
• Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
  我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。 シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。 本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T07:30:27Z)
• Denoising Diffusion Implicit Models [117.03720513930335]
  DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。 DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
  論文  参考訳（メタデータ） (2020-10-06T06:15:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。