論文の概要: Learning Energy-Based Models by Diffusion Recovery Likelihood
- arxiv url: http://arxiv.org/abs/2012.08125v2
- Date: Sat, 27 Mar 2021 06:35:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-07 05:34:53.202996
- Title: Learning Energy-Based Models by Diffusion Recovery Likelihood
- Title(参考訳): 拡散回復様相によるエネルギーモデル学習
- Authors: Ruiqi Gao, Yang Song, Ben Poole, Ying Nian Wu, Diederik P. Kingma
- Abstract要約: 本稿では,エネルギーベースモデルから気軽に学習・サンプルできる拡散回復可能性法を提案する。
学習後、ガウスの白色雑音分布から初期化するサンプリングプロセスにより合成画像を生成することができる。
非条件 CIFAR-10 では,本手法は FID 9.58 と開始スコア 8.30 を達成する。
- 参考スコア(独自算出の注目度): 61.069760183331745
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While energy-based models (EBMs) exhibit a number of desirable properties,
training and sampling on high-dimensional datasets remains challenging.
Inspired by recent progress on diffusion probabilistic models, we present a
diffusion recovery likelihood method to tractably learn and sample from a
sequence of EBMs trained on increasingly noisy versions of a dataset. Each EBM
is trained with recovery likelihood, which maximizes the conditional
probability of the data at a certain noise level given their noisy versions at
a higher noise level. Optimizing recovery likelihood is more tractable than
marginal likelihood, as sampling from the conditional distributions is much
easier than sampling from the marginal distributions. After training,
synthesized images can be generated by the sampling process that initializes
from Gaussian white noise distribution and progressively samples the
conditional distributions at decreasingly lower noise levels. Our method
generates high fidelity samples on various image datasets. On unconditional
CIFAR-10 our method achieves FID 9.58 and inception score 8.30, superior to the
majority of GANs. Moreover, we demonstrate that unlike previous work on EBMs,
our long-run MCMC samples from the conditional distributions do not diverge and
still represent realistic images, allowing us to accurately estimate the
normalized density of data even for high-dimensional datasets. Our
implementation is available at https://github.com/ruiqigao/recovery_likelihood.
- Abstract(参考訳): エネルギーベースモデル(EBM)は多くの望ましい性質を示すが、高次元データセットのトレーニングとサンプリングは依然として困難である。
拡散確率モデルに関する最近の進歩に触発されて、データセットのノイズが増すバージョンで訓練された一連のESMから抽出・学習する拡散回復確率法を提案する。
各ebmは回復可能性で訓練され、より高いノイズレベルにおけるノイズバージョンによって、一定のノイズレベルにおけるデータの条件付き確率を最大化する。
条件分布からのサンプリングは限界分布からのサンプリングよりもはるかに容易であるので、回復可能性の最適化は限界確率よりも扱いやすい。
学習後、ガウスのホワイトノイズ分布から初期化し、徐々に低いノイズレベルで条件分布をサンプリングするサンプリングプロセスにより合成画像を生成することができる。
本手法は様々な画像データセット上で高忠実度サンプルを生成する。
非条件 CIFAR-10 では,本手法は FID 9.58 と開始スコア 8.30 を達成する。
さらに, 従来のEMMと異なり, 条件分布から得られたMCMCサンプルは相違せず, 現実的な画像を表現することができ, 高次元データセットにおいてもデータの正規化密度を正確に推定できることを示した。
実装はhttps://github.com/ruiqigao/recovery_likelihoodで利用可能です。
関連論文リスト
- Ambient Diffusion Posterior Sampling: Solving Inverse Problems with
Diffusion Models trained on Corrupted Data [56.81246107125692]
Ambient Diffusion Posterior Smpling (A-DPS) は、ある種類の腐敗に対して事前訓練された生成モデルである。
A-DPSは、いくつかの画像復元タスクにおいて、クリーンなデータで訓練されたモデルよりも、速度と性能の両方で優れていることが示される。
我々はAmbient Diffusionフレームワークを拡張して、FourierサブサンプルのマルチコイルMRI測定にのみアクセスしてMRIモデルをトレーニングする。
論文 参考訳(メタデータ) (2024-03-13T17:28:20Z) - Risk-Sensitive Diffusion: Learning the Underlying Distribution from
Noisy Samples [65.95306174480034]
拡散モデルはノイズのあるサンプルの存在に対して脆弱であることを示す。
ノイズサンプルの分布を調整するために,リスク感応性SDEを導入する。
本モデルでは,ノイズのあるサンプルからクリーンなデータ分布を効果的に回収することを示す。
論文 参考訳(メタデータ) (2024-02-03T08:41:51Z) - Learning Energy-Based Models by Cooperative Diffusion Recovery
Likelihood [70.96045509920326]
高次元データに対する最大推定値のトレーニングエネルギーベースモデル(EBMs)は、困難かつ時間を要する可能性がある。
本研究では,データセットの雑音の増大する頂点上で定義された一連のEMMから,協調拡散回復確率(CDRL)を抽出し,抽出する手法を提案する。
CIFAR-10 と ImageNet 32x32 の既存 EBM 法と比較して FID のスコアが大幅に向上し,DRL を2倍高速化した。
論文 参考訳(メタデータ) (2023-09-10T22:05:24Z) - GSURE-Based Diffusion Model Training with Corrupted Data [44.47246905244631]
本稿では, 劣化データのみに基づく生成拡散モデルのための新しいトレーニング手法を提案する。
顔画像と磁気共鳴画像(MRI)の撮影技術について紹介する。
論文 参考訳(メタデータ) (2023-05-22T15:27:20Z) - Denoising Diffusion Samplers [41.796349001299156]
拡散モデルの認知は、多くの領域で最先端の結果を提供する生成モデルの一般的なクラスである。
我々は、非正規化確率密度関数から大まかにサンプリングし、それらの正規化定数を推定する類似のアイデアを探求する。
この文脈ではスコアマッチングは適用できないが、モンテカルロサンプリングのために生成的モデリングで導入された多くのアイデアを利用することができる。
論文 参考訳(メタデータ) (2023-02-27T14:37:16Z) - ShiftDDPMs: Exploring Conditional Diffusion Models by Shifting Diffusion
Trajectories [144.03939123870416]
本稿では,前処理に条件を導入することで,新しい条件拡散モデルを提案する。
いくつかのシフト規則に基づいて各条件に対して排他的拡散軌跡を割り当てるために、余剰潜在空間を用いる。
我々は textbfShiftDDPMs と呼ぶメソッドを定式化し、既存のメソッドの統一的な視点を提供する。
論文 参考訳(メタデータ) (2023-02-05T12:48:21Z) - Fast Inference in Denoising Diffusion Models via MMD Finetuning [23.779985842891705]
拡散モデルの高速サンプリング法であるMDD-DDMを提案する。
我々のアプローチは、学習した分布を所定の予算のタイムステップで微調整するために、最大平均離散性(MMD)を使用するという考え方に基づいている。
提案手法は,広範に普及した拡散モデルで要求されるわずかな時間で高品質なサンプルを生成できることが示唆された。
論文 参考訳(メタデータ) (2023-01-19T09:48:07Z) - Score-based diffusion models for accelerated MRI [35.3148116010546]
本研究では,画像中の逆問題を容易に解けるような条件分布からデータをサンプリングする方法を提案する。
我々のモデルは、訓練のためにのみ等級画像を必要とするが、複雑な値のデータを再構成することができ、さらに並列画像まで拡張できる。
論文 参考訳(メタデータ) (2021-10-08T08:42:03Z) - Denoising Diffusion Implicit Models [117.03720513930335]
DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。
DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
論文 参考訳(メタデータ) (2020-10-06T06:15:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。