論文の概要: MCMC-Correction of Score-Based Diffusion Models for Model Composition
- arxiv url: http://arxiv.org/abs/2307.14012v2
- Date: Wed, 10 Jul 2024 09:24:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-11 22:19:38.256810
- Title: MCMC-Correction of Score-Based Diffusion Models for Model Composition
- Title（参考訳）: MCMCによるモデル構成のためのスコアベース拡散モデルの補正
- Authors: Anders Sjöberg, Jakob Lindqvist, Magnus Önnheim, Mats Jirstrand, Lennart Svensson,
- Abstract要約: 拡散モデルは、スコアまたはエネルギー関数のどちらかの観点からパラメータ化することができる。
本稿では,エネルギーモデルにインスパイアされたスコアパラメータ化と受理確率の計算を提案する。
- 参考スコア（独自算出の注目度）: 2.682859657520006
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models can be parameterised in terms of either a score or an energy function. An energy parameterisation is appealing since it enables an extended sampling procedure with a Metropolis--Hastings (MH) correction step, based on the change in total energy in the proposed samples. Improved sampling is important for model compositions, where off-the-shelf models are combined with each other, in order to sample from new distributions. For model composition, score-based diffusions have the advantages that they are popular and that many pre-trained models are readily available. However, this parameterisation does not, in general, define an energy, and the MH acceptance probability is therefore unavailable, and generally ill-defined. We propose keeping the score parameterisation and computing an acceptance probability inspired by energy-based models through line integration of the score function. This allows us to reuse existing diffusion models and still combine the reverse process with various Markov-Chain Monte Carlo (MCMC) methods. We evaluate our method using numerical experiments and find that score-parameterised versions of the MCMC samplers can achieve similar improvements to the corresponding energy parameterisation.
- Abstract（参考訳）: 拡散モデルは、スコアまたはエネルギー関数のどちらかの観点からパラメータ化することができる。
提案した試料の総エネルギー変化に基づいて,メトロポリス・ハスティングス(MH)補正ステップによる拡張サンプリング手順を可能にするため,エネルギーパラメータ化が注目される。
改良されたサンプリングは、新しい分布からサンプルをサンプリングするために、市販のモデルを互いに組み合わせたモデル構成において重要である。
モデル構成において、スコアベースの拡散は、それらが人気であり、多くの事前学習されたモデルが容易に利用できるという利点がある。
しかし、このパラメータ化は一般にエネルギーを定義しておらず、従ってMHの受容確率は不利用であり、一般的には不定義である。
本稿では,スコア関数の行積分を通じて,エネルギーモデルにインスパイアされたスコアパラメータ化と受け入れ確率の計算を提案する。
これにより、既存の拡散モデルを再利用し、逆過程を様々なマルコフ-チェインモンテカルロ法(MCMC)と組み合わせることができる。
本手法を数値実験により評価し,MCMCサンプリング器のスコアパラメータ化バージョンが対応するエネルギーパラメータ化に類似した改善を達成できることを見出した。
関連論文リスト
- Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。
我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
論文 参考訳（メタデータ） (2024-10-28T17:25:56Z) - EM Distillation for One-step Diffusion Models [65.57766773137068]
最小品質の損失を最小限に抑えた1ステップ生成モデルに拡散モデルを蒸留する最大可能性に基づく手法を提案する。
本研究では, 蒸留プロセスの安定化を図るため, 再パラメータ化サンプリング手法とノイズキャンセリング手法を開発した。
論文 参考訳（メタデータ） (2024-05-27T05:55:22Z) - Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
反復Denoising Energy Matching (iDEM)
iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。
提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
論文 参考訳（メタデータ） (2024-02-09T01:11:23Z) - Generalized Contrastive Divergence: Joint Training of Energy-Based Model
and Diffusion Model through Inverse Reinforcement Learning [13.22531381403974]
Generalized Contrastive Divergence (GCD) はエネルギーベースモデル(EBM)とサンプルを同時にトレーニングするための新しい目的関数である。
EBMと拡散モデルの両方にジョイントトレーニングが有用であることを示す予備的かつ有望な結果を示す。
論文 参考訳（メタデータ） (2023-12-06T10:10:21Z) - Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。
EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。
本研究では,協調拡散回復可能性 (CDRL) を提案する。
論文 参考訳（メタデータ） (2023-09-10T22:05:24Z) - Accelerating Markov Chain Monte Carlo sampling with diffusion models [0.0]
本稿では,Metropolis-Hastingsアルゴリズムと拡散モデルを組み合わせることで,マルコフ・チェイン・モンテカルロ(MCMC)サンプリングを高速化する新しい手法を提案する。
画像合成の文脈における拡散モデルについて概観し、低次元データアレイに適した流線形拡散モデルを提供する。
提案手法は,後方の正確な表現を得るために必要な可能性評価の回数を大幅に削減する。
論文 参考訳（メタデータ） (2023-09-04T09:03:41Z) - Conservative objective models are a special kind of contrastive
divergence-based energy model [5.02384186664815]
オフラインモデルに基づく最適化のためのCOMは、特別な種類の差分に基づくエネルギーモデルであることを示す。
モデルが分離された場合、非条件確率と条件確率が別々にモデル化された場合、より良いサンプルが得られることを示す。
論文 参考訳（メタデータ） (2023-04-07T23:37:50Z) - Particle Dynamics for Learning EBMs [83.59335980576637]
エネルギーベースモデリングは教師なし学習への有望なアプローチであり、単一のモデルから多くの下流アプリケーションを生み出す。
コントラスト的アプローチ(contrastive approach)"でエネルギーベースモデルを学習する際の主な困難は、各イテレーションで現在のエネルギー関数からサンプルを生成することである。
本稿では,これらのサンプルを取得し,現行モデルからの粗大なMCMCサンプリングを回避するための代替手法を提案する。
論文 参考訳（メタデータ） (2021-11-26T23:41:07Z) - Oops I Took A Gradient: Scalable Sampling for Discrete Distributions [53.3142984019796]
このアプローチは、多くの困難な設定において、ジェネリックサンプリングよりも優れていることを示す。
また,高次元離散データを用いた深部エネルギーモデルトレーニングのための改良型サンプリング器についても実演した。
論文 参考訳（メタデータ） (2021-02-08T20:08:50Z) - Learning Energy-Based Model with Variational Auto-Encoder as Amortized
Sampler [35.80109055748496]
最大確率でエネルギーベースモデル(ebms)を訓練するにはマルコフ連鎖モンテカルロサンプリングが必要である。
我々は、エネルギー関数から派生したランゲビンダイナミクスのような有限ステップMCMCを初期化する変分オートエンコーダ(VAE)を学びます。
これらのアモールト化MCMCサンプルにより、ESMは「合成による分析」スキームに従って最大で訓練することができる。
我々はこの共同学習アルゴリズムを変分MCMC教育と呼び、VAEはEMMをデータ分布に向けて追従する。
論文 参考訳（メタデータ） (2020-12-29T20:46:40Z) - Semi-nonparametric Latent Class Choice Model with a Flexible Class
Membership Component: A Mixture Model Approach [6.509758931804479]
提案したモデルは、従来のランダムユーティリティ仕様に代わるアプローチとして混合モデルを用いて潜在クラスを定式化する。
その結果,混合モデルにより潜在クラス選択モデル全体の性能が向上した。
論文 参考訳（メタデータ） (2020-07-06T13:19:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。