論文の概要: Moment Matching Denoising Gibbs Sampling
- arxiv url: http://arxiv.org/abs/2305.11650v3
- Date: Fri, 10 Nov 2023 22:58:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 21:50:22.575529
- Title: Moment Matching Denoising Gibbs Sampling
- Title（参考訳）: Moment Matching Denoisingギブズサンプリング
- Authors: Mingtian Zhang and Alex Hawkins-Hooker and Brooks Paige and David
Barber
- Abstract要約: エネルギーベースモデル(EBM)は、複雑なデータ分散をモデル化するための汎用的なフレームワークを提供する。
スケーラブルなEMMトレーニングのための広く使われているDenoising Score Matching (DSM) 法は、矛盾の問題に悩まされている。
モーメントマッチングを用いた効率的なサンプリングフレームワーク(pseudo)-Gibbsサンプリングを提案する。
- 参考スコア（独自算出の注目度）: 16.12364256106377
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Energy-Based Models (EBMs) offer a versatile framework for modeling complex
data distributions. However, training and sampling from EBMs continue to pose
significant challenges. The widely-used Denoising Score Matching (DSM) method
for scalable EBM training suffers from inconsistency issues, causing the energy
model to learn a `noisy' data distribution. In this work, we propose an
efficient sampling framework: (pseudo)-Gibbs sampling with moment matching,
which enables effective sampling from the underlying clean model when given a
`noisy' model that has been well-trained via DSM. We explore the benefits of
our approach compared to related methods and demonstrate how to scale the
method to high-dimensional datasets.
- Abstract（参考訳）: エネルギーベースモデル(ebms)は複雑なデータ分布をモデリングするための汎用フレームワークを提供する。
しかし、ESMからのトレーニングとサンプリングは引き続き大きな課題を呈している。
スケーラブルなEMMトレーニングのための広く使われているDenoising Score Matching (DSM) 法は不整合の問題に悩まされ、エネルギーモデルが「ノイズの多い」データ分布を学習する。
そこで本研究では,DSM で十分に訓練された 'ノイズ' モデルが与えられた場合に,基礎となるクリーンモデルから効果的なサンプリングを可能にする,モーメントマッチングを用いた効率的なサンプリングフレームワークを提案する。
関連手法と比較して,本手法の利点を考察し,高次元データセットへの拡張方法を示す。
関連論文リスト
- Adv-KD: Adversarial Knowledge Distillation for Faster Diffusion Sampling [2.91204440475204]
拡散確率モデル(DPM)は、深層生成モデルの強力なクラスとして登場した。
それらは、サンプル生成中にシーケンシャルなデノイングステップに依存している。
モデルアーキテクチャに直接位相を分解する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-05-31T08:19:44Z) - Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
反復Denoising Energy Matching (iDEM)
iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。
提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
論文 参考訳（メタデータ） (2024-02-09T01:11:23Z) - The Journey, Not the Destination: How Data Guides Diffusion Models [75.19694584942623]
大規模なデータセットでトレーニングされた拡散モデルは、顕著な品質と多様性のフォトリアリスティックなイメージを合成することができる。
i)拡散モデルの文脈でデータ属性の形式的概念を提供し、(ii)そのような属性を反実的に検証することを可能にする枠組みを提案する。
論文 参考訳（メタデータ） (2023-12-11T08:39:43Z) - Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。
EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。
本研究では,協調拡散回復可能性 (CDRL) を提案する。
論文 参考訳（メタデータ） (2023-09-10T22:05:24Z) - Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。
暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。
提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
論文 参考訳（メタデータ） (2023-06-21T18:49:22Z) - A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳（メタデータ） (2023-05-31T15:33:16Z) - Fast Inference in Denoising Diffusion Models via MMD Finetuning [23.779985842891705]
拡散モデルの高速サンプリング法であるMDD-DDMを提案する。
我々のアプローチは、学習した分布を所定の予算のタイムステップで微調整するために、最大平均離散性(MMD)を使用するという考え方に基づいている。
提案手法は,広範に普及した拡散モデルで要求されるわずかな時間で高品質なサンプルを生成できることが示唆された。
論文 参考訳（メタデータ） (2023-01-19T09:48:07Z) - Gradient-Guided Importance Sampling for Learning Binary Energy-Based
Models [46.87187776084161]
本研究では,高次元データからエネルギーベースモデル(EBM)を学習するために,勾配誘導重要度サンプリング(RMwGGIS)との比整合を提案する。
合成離散データを用いた密度モデリング実験,グラフ生成,Isingモデルの訓練を行い,提案手法の評価を行った。
提案手法は,比例マッチングの限界を著しく軽減し,実際により効果的に実行し,高次元問題にスケールすることができる。
論文 参考訳（メタデータ） (2022-10-11T20:52:48Z) - Score-based diffusion models for accelerated MRI [35.3148116010546]
本研究では,画像中の逆問題を容易に解けるような条件分布からデータをサンプリングする方法を提案する。
我々のモデルは、訓練のためにのみ等級画像を必要とするが、複雑な値のデータを再構成することができ、さらに並列画像まで拡張できる。
論文 参考訳（メタデータ） (2021-10-08T08:42:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。