論文の概要: Fast Sampling of Diffusion Models via Operator Learning

• arxiv url: http://arxiv.org/abs/2211.13449v3
• Date: Sat, 22 Jul 2023 08:47:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-26 00:32:54.392631
• Title: Fast Sampling of Diffusion Models via Operator Learning
• Title（参考訳）: 演算子学習による拡散モデルの高速サンプリング
• Authors: Hongkai Zheng, Weili Nie, Arash Vahdat, Kamyar Azizzadenesheli, Anima Anandkumar
• Abstract要約: 我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。 シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。 本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
• 参考スコア（独自算出の注目度）: 74.37531458470086
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have found widespread adoption in various areas. However, their sampling process is slow because it requires hundreds to thousands of network evaluations to emulate a continuous process defined by differential equations. In this work, we use neural operators, an efficient method to solve the probability flow differential equations, to accelerate the sampling process of diffusion models. Compared to other fast sampling methods that have a sequential nature, we are the first to propose a parallel decoding method that generates images with only one model forward pass. We propose diffusion model sampling with neural operator (DSNO) that maps the initial condition, i.e., Gaussian distribution, to the continuous-time solution trajectory of the reverse diffusion process. To model the temporal correlations along the trajectory, we introduce temporal convolution layers that are parameterized in the Fourier space into the given diffusion model backbone. We show our method achieves state-of-the-art FID of 3.78 for CIFAR-10 and 7.83 for ImageNet-64 in the one-model-evaluation setting.
• Abstract（参考訳）: 拡散モデルは様々な地域で広く採用されている。 しかし、それらのサンプリングプロセスは、微分方程式によって定義される連続過程をエミュレートするために数百から数千のネットワーク評価を必要とするため、遅い。 本研究では,拡散モデルのサンプリング過程を高速化するために,確率流微分方程式の効率的な解法であるニューラル演算子を用いる。 逐次的な性質を持つ他の高速サンプリング手法と比較して、1つのモデルフォワードパスしか持たない画像を生成する並列復号法を最初に提案する。 本稿では,初期状態,すなわちガウス分布を逆拡散過程の連続時間解軌道にマッピングする,ニューラル演算子(DSNO)を用いた拡散モデルサンプリングを提案する。 軌道に沿った時間的相関をモデル化するために、フーリエ空間でパラメータ化された時間的畳み込み層を与えられた拡散モデルバックボーンに導入する。 本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。

関連論文リスト

• Accelerated Diffusion Models via Speculative Sampling [89.43940130493233]
  投機的サンプリングは、大規模言語モデルにおける推論を加速する一般的な手法である。 我々は投機的サンプリングを拡散モデルに拡張し、連続したベクトル値のマルコフ連鎖を介してサンプルを生成する。 本稿では,ドラフトモデルをトレーニングする必要のない,シンプルで効果的なアプローチを含む,さまざまなドラフト戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-09T16:50:16Z)
• An Ordinary Differential Equation Sampler with Stochastic Start for Diffusion Bridge Models [13.00429687431982]
  拡散ブリッジモデルは、純粋なガウスノイズではなく、劣化した画像から生成過程を初期化する。 既存の拡散ブリッジモデルは、しばしば微分方程式のサンプリングに頼り、推論速度が遅くなる。 拡散ブリッジモデルの開始点を有する高次ODEサンプリング器を提案する。 本手法は, 既訓練拡散ブリッジモデルと完全に互換性があり, 追加の訓練は不要である。
  論文  参考訳（メタデータ） (2024-12-28T03:32:26Z)
• Arbitrary-steps Image Super-resolution via Diffusion Inversion [68.78628844966019]
  本研究では,拡散インバージョンに基づく新しい画像超解像(SR)手法を提案する。 本研究では,拡散モデルの中間状態を構築するための部分雑音予測戦略を設計する。 トレーニングが完了すると、このノイズ予測器を使用して、拡散軌道に沿ってサンプリングプロセスを部分的に初期化し、望ましい高分解能結果を生成する。
  論文  参考訳（メタデータ） (2024-12-12T07:24:13Z)
• Self-Refining Diffusion Samplers: Enabling Parallelization via Parareal Iterations [53.180374639531145]
  自己精製拡散サンプリング(SRDS)は、サンプル品質を維持し、追加の並列計算コストでレイテンシを向上させることができる。 微分方程式の並列時間積分法であるPararealアルゴリズムから着想を得た。
  論文  参考訳（メタデータ） (2024-12-11T11:08:09Z)
• Fast constrained sampling in pre-trained diffusion models [77.21486516041391]
  拡散モデルは、大規模な生成画像モデルの分野を支配してきた。 本研究では,大規模な事前学習拡散モデルにおける高速拘束サンプリングのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-24T14:52:38Z)
• Flow Map Matching [15.520853806024943]
  フローマップマッチングは、基礎となる常微分方程式の2時間フローマップを学習するアルゴリズムである。 フローマップマッチングは, 拡散法や補間法と比較して, サンプリングコストを大幅に削減した高品質なサンプルとなることを示す。
  論文  参考訳（メタデータ） (2024-06-11T17:41:26Z)
• Accelerating Parallel Sampling of Diffusion Models [25.347710690711562]
  自己回帰過程を並列化することにより拡散モデルのサンプリングを高速化する新しい手法を提案する。 これらの手法を適用したParaTAAは、普遍的でトレーニング不要な並列サンプリングアルゴリズムである。 実験により、ParaTAAは一般的なシーケンシャルサンプリングアルゴリズムで要求される推論ステップを4$sim$14倍に削減できることを示した。
  論文  参考訳（メタデータ） (2024-02-15T14:27:58Z)
• Fast Diffusion EM: a diffusion model for blind inverse problems with application to deconvolution [0.0]
  現在の手法では、劣化が知られており、復元と多様性の点で印象的な結果をもたらすと仮定している。 本研究では、これらのモデルの効率を活用し、復元された画像と未知のパラメータを共同で推定する。 本手法は,拡散モデルから抽出したサンプルを用いて,問題の対数類似度を近似し,未知のモデルパラメータを推定する方法とを交互に比較する。
  論文  参考訳（メタデータ） (2023-09-01T06:47:13Z)
• Accelerating Guided Diffusion Sampling with Splitting Numerical Methods [8.689906452450938]
  近年の手法は, サンプリングプロセスに高次数値法を適用することにより, 無誘導サンプリングを高速化することができる。 本稿では,この問題の原因を考察し,演算子分割法に基づく解を提供する。 提案手法は,高次サンプリング手法を再利用し,250ステップのDDIMベースラインと同じ画質の画像を生成できる。
  論文  参考訳（メタデータ） (2023-01-27T06:48:29Z)
• On Distillation of Guided Diffusion Models [94.95228078141626]
  そこで本研究では,分類器を含まない誘導拡散モデルから抽出し易いモデルへ抽出する手法を提案する。 画素空間上で訓練された標準拡散モデルに対して,本手法は元のモデルに匹敵する画像を生成することができる。 遅延空間で訓練された拡散モデル(例えば、安定拡散)に対して、我々の手法は1から4段階のデノナイジングステップで高忠実度画像を生成することができる。
  論文  参考訳（メタデータ） (2022-10-06T18:03:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。