論文の概要: Fast Sampling of Diffusion Models via Operator Learning

• arxiv url: http://arxiv.org/abs/2211.13449v1
• Date: Thu, 24 Nov 2022 07:30:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-28 15:26:31.836328
• Title: Fast Sampling of Diffusion Models via Operator Learning
• Title（参考訳）: 演算子学習による拡散モデルの高速サンプリング
• Authors: Hongkai Zheng, Weili Nie, Arash Vahdat, Kamyar Azizzadenesheli, Anima Anandkumar
• Abstract要約: 拡散モデルは様々な地域で広く採用されている。 しかし,ネットワーク評価の数百～3分の1で逆処理をエミュレートするので,サンプリングは遅い。 微分方程式解の高速化におけるニューラル演算子の成功に触発されて、演算子学習の観点から基礎となるニューラル微分方程式を解くことにより、この問題にアプローチする。
• 参考スコア（独自算出の注目度）: 74.37531458470086
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have found widespread adoption in various areas. However, sampling from them is slow because it involves emulating a reverse process with hundreds-to-thousands of network evaluations. Inspired by the success of neural operators in accelerating differential equations solving, we approach this problem by solving the underlying neural differential equation from an operator learning perspective. We examine probability flow ODE trajectories in diffusion models and observe a compact energy spectrum that can be learned efficiently in Fourier space. With this insight, we propose diffusion Fourier neural operator (DFNO) with temporal convolution in Fourier space to parameterize the operator that maps initial condition to the solution trajectory, which is a continuous function in time. DFNO can be applied to any diffusion model and generate high-quality samples in one model forward call. Our method achieves the state-of-the-art FID of 4.72 on CIFAR-10 using only one model evaluation.
• Abstract（参考訳）: 拡散モデルは様々な地域で広く採用されている。 しかし,ネットワーク評価の数百～3分の1で逆処理をエミュレートするので,サンプリングは遅い。 微分方程式解の高速化におけるニューラル演算子の成功に触発され、演算子学習の観点から基礎となるニューラル微分方程式を解くことによってこの問題にアプローチする。 拡散モデルにおける確率流ODE軌道について検討し、フーリエ空間で効率的に学習できるコンパクトエネルギースペクトルを観察する。 この知見により、フーリエ空間における時間的畳み込みを伴う拡散フーリエニューラル作用素(DFNO)を提案し、初期条件を時間的連続関数である解軌道にマッピングする作用素をパラメータ化する。 DFNOは任意の拡散モデルに適用でき、1つのモデルフォワードコールで高品質なサンプルを生成する。 提案手法は,cifar-10上の4.72fidを1モデル評価で達成する。

関連論文リスト

• Fast constrained sampling in pre-trained diffusion models [77.21486516041391]
  拡散モデルは、大規模な生成画像モデルの分野を支配してきた。 本研究では,大規模な事前学習拡散モデルにおける高速拘束サンプリングのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-24T14:52:38Z)
• Flow Map Matching [15.520853806024943]
  フローマップマッチングは、基礎となる常微分方程式の2時間フローマップを学習するアルゴリズムである。 フローマップマッチングは, 拡散法や補間法と比較して, サンプリングコストを大幅に削減した高品質なサンプルとなることを示す。
  論文  参考訳（メタデータ） (2024-06-11T17:41:26Z)
• EM Distillation for One-step Diffusion Models [65.57766773137068]
  最小品質の損失を最小限に抑えた1ステップ生成モデルに拡散モデルを蒸留する最大可能性に基づく手法を提案する。 本研究では, 蒸留プロセスの安定化を図るため, 再パラメータ化サンプリング手法とノイズキャンセリング手法を開発した。
  論文  参考訳（メタデータ） (2024-05-27T05:55:22Z)
• Accelerating Parallel Sampling of Diffusion Models [25.347710690711562]
  自己回帰過程を並列化することにより拡散モデルのサンプリングを高速化する新しい手法を提案する。 これらの手法を適用したParaTAAは、普遍的でトレーニング不要な並列サンプリングアルゴリズムである。 実験により、ParaTAAは一般的なシーケンシャルサンプリングアルゴリズムで要求される推論ステップを4$sim$14倍に削減できることを示した。
  論文  参考訳（メタデータ） (2024-02-15T14:27:58Z)
• Fast Diffusion EM: a diffusion model for blind inverse problems with application to deconvolution [0.0]
  現在の手法では、劣化が知られており、復元と多様性の点で印象的な結果をもたらすと仮定している。 本研究では、これらのモデルの効率を活用し、復元された画像と未知のパラメータを共同で推定する。 本手法は,拡散モデルから抽出したサンプルを用いて,問題の対数類似度を近似し,未知のモデルパラメータを推定する方法とを交互に比較する。
  論文  参考訳（メタデータ） (2023-09-01T06:47:13Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Accelerating Guided Diffusion Sampling with Splitting Numerical Methods [8.689906452450938]
  近年の手法は, サンプリングプロセスに高次数値法を適用することにより, 無誘導サンプリングを高速化することができる。 本稿では,この問題の原因を考察し,演算子分割法に基づく解を提供する。 提案手法は,高次サンプリング手法を再利用し,250ステップのDDIMベースラインと同じ画質の画像を生成できる。
  論文  参考訳（メタデータ） (2023-01-27T06:48:29Z)
• On Distillation of Guided Diffusion Models [94.95228078141626]
  そこで本研究では,分類器を含まない誘導拡散モデルから抽出し易いモデルへ抽出する手法を提案する。 画素空間上で訓練された標準拡散モデルに対して,本手法は元のモデルに匹敵する画像を生成することができる。 遅延空間で訓練された拡散モデル(例えば、安定拡散)に対して、我々の手法は1から4段階のデノナイジングステップで高忠実度画像を生成することができる。
  論文  参考訳（メタデータ） (2022-10-06T18:03:56Z)
• Come-Closer-Diffuse-Faster: Accelerating Conditional Diffusion Models for Inverse Problems through Stochastic Contraction [31.61199061999173]
  拡散モデルには重要な欠点がある。純粋なガウスノイズから画像を生成するために数千ステップの反復を必要とするため、サンプリングが本質的に遅い。 ガウスノイズから始めることは不要であることを示す。代わりに、より優れた初期化を伴う単一前方拡散から始めると、逆条件拡散におけるサンプリングステップの数を大幅に減少させる。 ComeCloser-DiffuseFaster (CCDF)と呼ばれる新しいサンプリング戦略は、逆問題に対する既存のフィードフォワードニューラルネットワークアプローチが拡散モデルと相乗的に組み合わせられる方法について、新たな洞察を明らかにしている。
  論文  参考訳（メタデータ） (2021-12-09T04:28:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。