論文の概要: Fast Inference in Denoising Diffusion Models via MMD Finetuning
- arxiv url: http://arxiv.org/abs/2301.07969v1
- Date: Thu, 19 Jan 2023 09:48:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-20 15:27:46.139285
- Title: Fast Inference in Denoising Diffusion Models via MMD Finetuning
- Title(参考訳): mmd微調整による脱音拡散モデルの高速推論
- Authors: Emanuele Aiello, Diego Valsesia, Enrico Magli
- Abstract要約: 拡散モデルの高速サンプリング法であるMDD-DDMを提案する。
我々のアプローチは、学習した分布を所定の予算のタイムステップで微調整するために、最大平均離散性(MMD)を使用するという考え方に基づいている。
提案手法は,広範に普及した拡散モデルで要求されるわずかな時間で高品質なサンプルを生成できることが示唆された。
- 参考スコア(独自算出の注目度): 23.779985842891705
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Denoising Diffusion Models (DDMs) have become a popular tool for generating
high-quality samples from complex data distributions. These models are able to
capture sophisticated patterns and structures in the data, and can generate
samples that are highly diverse and representative of the underlying
distribution. However, one of the main limitations of diffusion models is the
complexity of sample generation, since a large number of inference timesteps is
required to faithfully capture the data distribution. In this paper, we present
MMD-DDM, a novel method for fast sampling of diffusion models. Our approach is
based on the idea of using the Maximum Mean Discrepancy (MMD) to finetune the
learned distribution with a given budget of timesteps. This allows the
finetuned model to significantly improve the speed-quality trade-off, by
substantially increasing fidelity in inference regimes with few steps or,
equivalently, by reducing the required number of steps to reach a target
fidelity, thus paving the way for a more practical adoption of diffusion models
in a wide range of applications. We evaluate our approach on unconditional
image generation with extensive experiments across the CIFAR-10, CelebA,
ImageNet and LSUN-Church datasets. Our findings show that the proposed method
is able to produce high-quality samples in a fraction of the time required by
widely-used diffusion models, and outperforms state-of-the-art techniques for
accelerated sampling. Code is available at:
https://github.com/diegovalsesia/MMD-DDM.
- Abstract(参考訳): Denoising Diffusion Models (DDM) は、複雑なデータ分布から高品質なサンプルを生成する一般的なツールとなっている。
これらのモデルは、データ内の高度なパターンや構造をキャプチャでき、非常に多様なサンプルを生成し、基盤となるディストリビューションを代表できる。
しかし、拡散モデルの主な制限の1つはサンプル生成の複雑さである。
本稿では,拡散モデルの高速サンプリング法であるMDD-DDMを提案する。
我々のアプローチは、学習した分布を所定の予算のタイムステップで微調整するために、最大平均離散性(MMD)を使用するという考え方に基づいている。
これにより、微調整されたモデルは、少ないステップで推論レジームの忠実度を大幅に増やしたり、ターゲットの忠実度に到達するために必要なステップ数を減らすことで、速度品質のトレードオフを大幅に改善し、幅広いアプリケーションで拡散モデルをより実用的なものにするための道を開くことができる。
CIFAR-10, CelebA, ImageNet, LSUN-Churchデータセットを対象とし, 非条件画像生成手法の評価を行った。
提案手法は,広範に普及する拡散モデルで要求される時間の一部で高品質なサンプルを生成でき,高速サンプリングのための最先端技術に勝ることを示す。
コードはhttps://github.com/diegovalsesia/mmd-ddm。
関連論文リスト
- Fast Sampling via De-randomization for Discrete Diffusion Models [52.554915711265856]
本稿では, 離散拡散モデルの高速化に繋がる非ランダム化拡散過程を提案する。
提案手法は, ニューラルネットワークに対する関数評価の回数を大幅に削減し, サンプリング処理を高速化する。
自然言語生成および機械翻訳タスクの実験は,本手法の優れた性能を示す。
論文 参考訳(メタデータ) (2023-12-14T18:14:11Z) - Neural Diffusion Models [2.447795279790662]
本稿では,データの時間依存非線形変換の定義と学習を可能にする,従来の拡散モデルの一般化について述べる。
NDMは、可能性の観点から従来の拡散モデルより優れ、高品質なサンプルを生成する。
論文 参考訳(メタデータ) (2023-10-12T13:54:55Z) - Decoupled Diffusion Models: Image to Zero and Zero to Noise [57.9447970931649]
本稿では, 複雑な拡散過程を2つの比較的単純なプロセスに分離し, 生成効率と速度を改善することを提案する。
拡散過程の疎結合は学習の難しさを低減し、明示的な遷移確率は生成速度を大幅に向上させる。
また,このフレームワークは画像条件付き生成や高解像度画像合成にも適用可能であること,また,10機能評価のみで高品質な画像を生成することができることを示す。
論文 参考訳(メタデータ) (2023-06-23T18:08:00Z) - Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。
暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。
提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
論文 参考訳(メタデータ) (2023-06-21T18:49:22Z) - Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。
本稿では,階層型統合拡散モデル(HI-Diff)を提案する。
人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
論文 参考訳(メタデータ) (2023-05-22T12:18:20Z) - Expressiveness Remarks for Denoising Diffusion Models and Samplers [2.5137859989323537]
微分拡散モデル(Denoising diffusion model)は、最近多くの領域で最先端の結果を得た生成モデルのクラスである。
我々は、F"ollmer flow"に似た既知の接続を利用して、F"ollmer drift"の確立されたニューラルネットワーク近似結果を拡張し、拡散モデルとサンプリング器をデノナイズする。
論文 参考訳(メタデータ) (2023-05-16T16:56:19Z) - Denoising Diffusion Samplers [41.796349001299156]
拡散モデルの認知は、多くの領域で最先端の結果を提供する生成モデルの一般的なクラスである。
我々は、非正規化確率密度関数から大まかにサンプリングし、それらの正規化定数を推定する類似のアイデアを探求する。
この文脈ではスコアマッチングは適用できないが、モンテカルロサンプリングのために生成的モデリングで導入された多くのアイデアを利用することができる。
論文 参考訳(メタデータ) (2023-02-27T14:37:16Z) - On Distillation of Guided Diffusion Models [94.95228078141626]
そこで本研究では,分類器を含まない誘導拡散モデルから抽出し易いモデルへ抽出する手法を提案する。
画素空間上で訓練された標準拡散モデルに対して,本手法は元のモデルに匹敵する画像を生成することができる。
遅延空間で訓練された拡散モデル(例えば、安定拡散)に対して、我々の手法は1から4段階のデノナイジングステップで高忠実度画像を生成することができる。
論文 参考訳(メタデータ) (2022-10-06T18:03:56Z) - Denoising Diffusion Implicit Models [117.03720513930335]
DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。
DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
論文 参考訳(メタデータ) (2020-10-06T06:15:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。