論文の概要: Fast Sampling of Diffusion Models via Operator Learning

• arxiv url: http://arxiv.org/abs/2211.13449v1
• Date: Thu, 24 Nov 2022 07:30:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-28 15:26:31.836328
• Title: Fast Sampling of Diffusion Models via Operator Learning
• Title（参考訳）: 演算子学習による拡散モデルの高速サンプリング
• Authors: Hongkai Zheng, Weili Nie, Arash Vahdat, Kamyar Azizzadenesheli, Anima Anandkumar
• Abstract要約: 拡散モデルは様々な地域で広く採用されている。 しかし,ネットワーク評価の数百～3分の1で逆処理をエミュレートするので,サンプリングは遅い。 微分方程式解の高速化におけるニューラル演算子の成功に触発されて、演算子学習の観点から基礎となるニューラル微分方程式を解くことにより、この問題にアプローチする。
• 参考スコア（独自算出の注目度）: 74.37531458470086
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have found widespread adoption in various areas. However, sampling from them is slow because it involves emulating a reverse process with hundreds-to-thousands of network evaluations. Inspired by the success of neural operators in accelerating differential equations solving, we approach this problem by solving the underlying neural differential equation from an operator learning perspective. We examine probability flow ODE trajectories in diffusion models and observe a compact energy spectrum that can be learned efficiently in Fourier space. With this insight, we propose diffusion Fourier neural operator (DFNO) with temporal convolution in Fourier space to parameterize the operator that maps initial condition to the solution trajectory, which is a continuous function in time. DFNO can be applied to any diffusion model and generate high-quality samples in one model forward call. Our method achieves the state-of-the-art FID of 4.72 on CIFAR-10 using only one model evaluation.
• Abstract（参考訳）: 拡散モデルは様々な地域で広く採用されている。 しかし,ネットワーク評価の数百～3分の1で逆処理をエミュレートするので,サンプリングは遅い。 微分方程式解の高速化におけるニューラル演算子の成功に触発され、演算子学習の観点から基礎となるニューラル微分方程式を解くことによってこの問題にアプローチする。 拡散モデルにおける確率流ODE軌道について検討し、フーリエ空間で効率的に学習できるコンパクトエネルギースペクトルを観察する。 この知見により、フーリエ空間における時間的畳み込みを伴う拡散フーリエニューラル作用素(DFNO)を提案し、初期条件を時間的連続関数である解軌道にマッピングする作用素をパラメータ化する。 DFNOは任意の拡散モデルに適用でき、1つのモデルフォワードコールで高品質なサンプルを生成する。 提案手法は,cifar-10上の4.72fidを1モデル評価で達成する。

関連論文リスト

• Accelerated Diffusion Models via Speculative Sampling [89.43940130493233]
  投機的サンプリングは、大規模言語モデルにおける推論を加速する一般的な手法である。 我々は投機的サンプリングを拡散モデルに拡張し、連続したベクトル値のマルコフ連鎖を介してサンプルを生成する。 本稿では,ドラフトモデルをトレーニングする必要のない,シンプルで効果的なアプローチを含む,さまざまなドラフト戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-09T16:50:16Z)
• An Ordinary Differential Equation Sampler with Stochastic Start for Diffusion Bridge Models [13.00429687431982]
  拡散ブリッジモデルは、純粋なガウスノイズではなく、劣化した画像から生成過程を初期化する。 既存の拡散ブリッジモデルは、しばしば微分方程式のサンプリングに頼り、推論速度が遅くなる。 拡散ブリッジモデルの開始点を有する高次ODEサンプリング器を提案する。 本手法は, 既訓練拡散ブリッジモデルと完全に互換性があり, 追加の訓練は不要である。
  論文  参考訳（メタデータ） (2024-12-28T03:32:26Z)
• Arbitrary-steps Image Super-resolution via Diffusion Inversion [68.78628844966019]
  本研究では,拡散インバージョンに基づく新しい画像超解像(SR)手法を提案する。 本研究では,拡散モデルの中間状態を構築するための部分雑音予測戦略を設計する。 トレーニングが完了すると、このノイズ予測器を使用して、拡散軌道に沿ってサンプリングプロセスを部分的に初期化し、望ましい高分解能結果を生成する。
  論文  参考訳（メタデータ） (2024-12-12T07:24:13Z)
• Self-Refining Diffusion Samplers: Enabling Parallelization via Parareal Iterations [53.180374639531145]
  自己精製拡散サンプリング(SRDS)は、サンプル品質を維持し、追加の並列計算コストでレイテンシを向上させることができる。 微分方程式の並列時間積分法であるPararealアルゴリズムから着想を得た。
  論文  参考訳（メタデータ） (2024-12-11T11:08:09Z)
• Fast constrained sampling in pre-trained diffusion models [77.21486516041391]
  拡散モデルは、大規模な生成画像モデルの分野を支配してきた。 本研究では,大規模な事前学習拡散モデルにおける高速拘束サンプリングのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-24T14:52:38Z)
• Flow Map Matching [15.520853806024943]
  フローマップマッチングは、基礎となる常微分方程式の2時間フローマップを学習するアルゴリズムである。 フローマップマッチングは, 拡散法や補間法と比較して, サンプリングコストを大幅に削減した高品質なサンプルとなることを示す。
  論文  参考訳（メタデータ） (2024-06-11T17:41:26Z)
• Accelerating Parallel Sampling of Diffusion Models [25.347710690711562]
  自己回帰過程を並列化することにより拡散モデルのサンプリングを高速化する新しい手法を提案する。 これらの手法を適用したParaTAAは、普遍的でトレーニング不要な並列サンプリングアルゴリズムである。 実験により、ParaTAAは一般的なシーケンシャルサンプリングアルゴリズムで要求される推論ステップを4$sim$14倍に削減できることを示した。
  論文  参考訳（メタデータ） (2024-02-15T14:27:58Z)
• Fast Diffusion EM: a diffusion model for blind inverse problems with application to deconvolution [0.0]
  現在の手法では、劣化が知られており、復元と多様性の点で印象的な結果をもたらすと仮定している。 本研究では、これらのモデルの効率を活用し、復元された画像と未知のパラメータを共同で推定する。 本手法は,拡散モデルから抽出したサンプルを用いて,問題の対数類似度を近似し,未知のモデルパラメータを推定する方法とを交互に比較する。
  論文  参考訳（メタデータ） (2023-09-01T06:47:13Z)
• Accelerating Guided Diffusion Sampling with Splitting Numerical Methods [8.689906452450938]
  近年の手法は, サンプリングプロセスに高次数値法を適用することにより, 無誘導サンプリングを高速化することができる。 本稿では,この問題の原因を考察し,演算子分割法に基づく解を提供する。 提案手法は,高次サンプリング手法を再利用し,250ステップのDDIMベースラインと同じ画質の画像を生成できる。
  論文  参考訳（メタデータ） (2023-01-27T06:48:29Z)
• On Distillation of Guided Diffusion Models [94.95228078141626]
  そこで本研究では,分類器を含まない誘導拡散モデルから抽出し易いモデルへ抽出する手法を提案する。 画素空間上で訓練された標準拡散モデルに対して,本手法は元のモデルに匹敵する画像を生成することができる。 遅延空間で訓練された拡散モデル(例えば、安定拡散)に対して、我々の手法は1から4段階のデノナイジングステップで高忠実度画像を生成することができる。
  論文  参考訳（メタデータ） (2022-10-06T18:03:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。