論文の概要: MCMC-Correction of Score-Based Diffusion Models for Model Composition

• arxiv url: http://arxiv.org/abs/2307.14012v1
• Date: Wed, 26 Jul 2023 07:50:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-27 13:08:25.296849
• Title: MCMC-Correction of Score-Based Diffusion Models for Model Composition
• Title（参考訳）: モデル構成のためのスコアベース拡散モデルのmcmc補正
• Authors: Anders Sj\"oberg, Jakob Lindqvist, Magnus \"Onnheim, Mats Jirstrand and Lennart Svensson
• Abstract要約: 拡散モデルは、スコアやエネルギー関数の観点からパラメータ化することができる。 本稿では,スコアパラメータ化の維持とエネルギーベースの受理確率の計算を提案する。 提案手法を2次元実験で評価した結果,エネルギーパラメータ化よりも類似性や性能が良好であることが判明した。
• 参考スコア（独自算出の注目度）: 2.8544513613730205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models can be parameterised in terms of either a score or an energy function. The energy parameterisation has better theoretical properties, mainly that it enables an extended sampling procedure with a Metropolis--Hastings correction step, based on the change in total energy in the proposed samples. However, it seems to yield slightly worse performance, and more importantly, due to the widespread popularity of score-based diffusion, there are limited availability of off-the-shelf pre-trained energy-based ones. This limitation undermines the purpose of model composition, which aims to combine pre-trained models to sample from new distributions. Our proposal, however, suggests retaining the score parameterization and instead computing the energy-based acceptance probability through line integration of the score function. This allows us to re-use existing diffusion models and still combine the reverse process with various Markov-Chain Monte Carlo (MCMC) methods. We evaluate our method on a 2D experiment and find that it achieve similar or arguably better performance than the energy parameterisation.
• Abstract（参考訳）: 拡散モデルはスコアまたはエネルギー関数の項でパラメータ化することができる。 エネルギーパラメータ化は,提案する試料の全エネルギーの変化に基づいて,メトロポリス-ハstings補正ステップを用いた拡張サンプリング手順を可能にするという,理論的な性質が向上した。 しかし、これは若干パフォーマンスが悪くなり、さらに重要なことに、スコアベースの拡散が広く普及しているため、市販の事前訓練エネルギーベースのものしか利用できない。 この制限は、事前訓練されたモデルと新しい分布からのサンプルを組み合わせることを目的としたモデル構成の目的を損なう。 しかし,本提案では,スコアパラメータ化の維持と,スコア関数のライン積分によるエネルギーベース受け入れ確率の算出を提案する。 これにより、既存の拡散モデルを再利用し、逆過程と様々なマルコフ-チェインモンテカルロ法(MCMC)を組み合わせることができる。 提案手法を2次元実験で評価した結果,エネルギーパラメータ化よりも類似性や性能が良好であることが判明した。

関連論文リスト

• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• EM Distillation for One-step Diffusion Models [65.57766773137068]
  最小品質の損失を最小限に抑えた1ステップ生成モデルに拡散モデルを蒸留する最大可能性に基づく手法を提案する。 本研究では, 蒸留プロセスの安定化を図るため, 再パラメータ化サンプリング手法とノイズキャンセリング手法を開発した。
  論文  参考訳（メタデータ） (2024-05-27T05:55:22Z)
• Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
  反復Denoising Energy Matching (iDEM) iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。 提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
  論文  参考訳（メタデータ） (2024-02-09T01:11:23Z)
• Generalized Contrastive Divergence: Joint Training of Energy-Based Model and Diffusion Model through Inverse Reinforcement Learning [13.22531381403974]
  Generalized Contrastive Divergence (GCD) はエネルギーベースモデル(EBM)とサンプルを同時にトレーニングするための新しい目的関数である。 EBMと拡散モデルの両方にジョイントトレーニングが有用であることを示す予備的かつ有望な結果を示す。
  論文  参考訳（メタデータ） (2023-12-06T10:10:21Z)
• Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
  高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。 EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。 本研究では,協調拡散回復可能性 (CDRL) を提案する。
  論文  参考訳（メタデータ） (2023-09-10T22:05:24Z)
• Accelerating Markov Chain Monte Carlo sampling with diffusion models [0.0]
  本稿では,Metropolis-Hastingsアルゴリズムと拡散モデルを組み合わせることで,マルコフ・チェイン・モンテカルロ(MCMC)サンプリングを高速化する新しい手法を提案する。 画像合成の文脈における拡散モデルについて概観し、低次元データアレイに適した流線形拡散モデルを提供する。 提案手法は,後方の正確な表現を得るために必要な可能性評価の回数を大幅に削減する。
  論文  参考訳（メタデータ） (2023-09-04T09:03:41Z)
• Conservative objective models are a special kind of contrastive divergence-based energy model [5.02384186664815]
  オフラインモデルに基づく最適化のためのCOMは、特別な種類の差分に基づくエネルギーモデルであることを示す。 モデルが分離された場合、非条件確率と条件確率が別々にモデル化された場合、より良いサンプルが得られることを示す。
  論文  参考訳（メタデータ） (2023-04-07T23:37:50Z)
• Particle Dynamics for Learning EBMs [83.59335980576637]
  エネルギーベースモデリングは教師なし学習への有望なアプローチであり、単一のモデルから多くの下流アプリケーションを生み出す。 コントラスト的アプローチ(contrastive approach)"でエネルギーベースモデルを学習する際の主な困難は、各イテレーションで現在のエネルギー関数からサンプルを生成することである。 本稿では,これらのサンプルを取得し,現行モデルからの粗大なMCMCサンプリングを回避するための代替手法を提案する。
  論文  参考訳（メタデータ） (2021-11-26T23:41:07Z)
• Oops I Took A Gradient: Scalable Sampling for Discrete Distributions [53.3142984019796]
  このアプローチは、多くの困難な設定において、ジェネリックサンプリングよりも優れていることを示す。 また,高次元離散データを用いた深部エネルギーモデルトレーニングのための改良型サンプリング器についても実演した。
  論文  参考訳（メタデータ） (2021-02-08T20:08:50Z)
• Learning Energy-Based Model with Variational Auto-Encoder as Amortized Sampler [35.80109055748496]
  最大確率でエネルギーベースモデル(ebms)を訓練するにはマルコフ連鎖モンテカルロサンプリングが必要である。 我々は、エネルギー関数から派生したランゲビンダイナミクスのような有限ステップMCMCを初期化する変分オートエンコーダ(VAE)を学びます。 これらのアモールト化MCMCサンプルにより、ESMは「合成による分析」スキームに従って最大で訓練することができる。 我々はこの共同学習アルゴリズムを変分MCMC教育と呼び、VAEはEMMをデータ分布に向けて追従する。
  論文  参考訳（メタデータ） (2020-12-29T20:46:40Z)
• Semi-nonparametric Latent Class Choice Model with a Flexible Class Membership Component: A Mixture Model Approach [6.509758931804479]
  提案したモデルは、従来のランダムユーティリティ仕様に代わるアプローチとして混合モデルを用いて潜在クラスを定式化する。 その結果,混合モデルにより潜在クラス選択モデル全体の性能が向上した。
  論文  参考訳（メタデータ） (2020-07-06T13:19:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。