論文の概要: MCMC-Correction of Score-Based Diffusion Models for Model Composition
- arxiv url: http://arxiv.org/abs/2307.14012v1
- Date: Wed, 26 Jul 2023 07:50:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-27 13:08:25.296849
- Title: MCMC-Correction of Score-Based Diffusion Models for Model Composition
- Title(参考訳): モデル構成のためのスコアベース拡散モデルのmcmc補正
- Authors: Anders Sj\"oberg, Jakob Lindqvist, Magnus \"Onnheim, Mats Jirstrand
and Lennart Svensson
- Abstract要約: 拡散モデルは、スコアやエネルギー関数の観点からパラメータ化することができる。
本稿では,スコアパラメータ化の維持とエネルギーベースの受理確率の計算を提案する。
提案手法を2次元実験で評価した結果,エネルギーパラメータ化よりも類似性や性能が良好であることが判明した。
- 参考スコア(独自算出の注目度): 2.8544513613730205
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models can be parameterised in terms of either a score or an energy
function. The energy parameterisation has better theoretical properties, mainly
that it enables an extended sampling procedure with a Metropolis--Hastings
correction step, based on the change in total energy in the proposed samples.
However, it seems to yield slightly worse performance, and more importantly,
due to the widespread popularity of score-based diffusion, there are limited
availability of off-the-shelf pre-trained energy-based ones. This limitation
undermines the purpose of model composition, which aims to combine pre-trained
models to sample from new distributions. Our proposal, however, suggests
retaining the score parameterization and instead computing the energy-based
acceptance probability through line integration of the score function. This
allows us to re-use existing diffusion models and still combine the reverse
process with various Markov-Chain Monte Carlo (MCMC) methods. We evaluate our
method on a 2D experiment and find that it achieve similar or arguably better
performance than the energy parameterisation.
- Abstract(参考訳): 拡散モデルはスコアまたはエネルギー関数の項でパラメータ化することができる。
エネルギーパラメータ化は,提案する試料の全エネルギーの変化に基づいて,メトロポリス-ハstings補正ステップを用いた拡張サンプリング手順を可能にするという,理論的な性質が向上した。
しかし、これは若干パフォーマンスが悪くなり、さらに重要なことに、スコアベースの拡散が広く普及しているため、市販の事前訓練エネルギーベースのものしか利用できない。
この制限は、事前訓練されたモデルと新しい分布からのサンプルを組み合わせることを目的としたモデル構成の目的を損なう。
しかし,本提案では,スコアパラメータ化の維持と,スコア関数のライン積分によるエネルギーベース受け入れ確率の算出を提案する。
これにより、既存の拡散モデルを再利用し、逆過程と様々なマルコフ-チェインモンテカルロ法(MCMC)を組み合わせることができる。
提案手法を2次元実験で評価した結果,エネルギーパラメータ化よりも類似性や性能が良好であることが判明した。
関連論文リスト
- Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [111.90150190668555]
反復Denoising Energy Matching (iDEM)
iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。
提案手法は,全測定値の最先端性能を達成し,2~5倍の速さでトレーニングを行う。
論文 参考訳(メタデータ) (2024-02-09T01:11:23Z) - Generalized Contrastive Divergence: Joint Training of Energy-Based Model
and Diffusion Model through Inverse Reinforcement Learning [13.22531381403974]
Generalized Contrastive Divergence (GCD) はエネルギーベースモデル(EBM)とサンプルを同時にトレーニングするための新しい目的関数である。
EBMと拡散モデルの両方にジョイントトレーニングが有用であることを示す予備的かつ有望な結果を示す。
論文 参考訳(メタデータ) (2023-12-06T10:10:21Z) - Learning Energy-Based Models by Cooperative Diffusion Recovery
Likelihood [70.96045509920326]
高次元データに対する最大推定値のトレーニングエネルギーベースモデル(EBMs)は、困難かつ時間を要する可能性がある。
本研究では,データセットの雑音の増大する頂点上で定義された一連のEMMから,協調拡散回復確率(CDRL)を抽出し,抽出する手法を提案する。
CIFAR-10 と ImageNet 32x32 の既存 EBM 法と比較して FID のスコアが大幅に向上し,DRL を2倍高速化した。
論文 参考訳(メタデータ) (2023-09-10T22:05:24Z) - Energy Discrepancies: A Score-Independent Loss for Energy-Based Models [20.250792836049882]
本稿では,スコアの計算や高価なマルコフ連鎖モンテカルロの計算に頼らない新しい損失関数であるEnergy Discrepancy (ED)を提案する。
EDは明示的なスコアマッチングと負のログ類似損失に異なる限界でアプローチし,両者を効果的に補間することを示した。
論文 参考訳(メタデータ) (2023-07-12T19:51:49Z) - Efficient Training of Energy-Based Models Using Jarzynski Equality [13.636994997309307]
エネルギーベースモデル(英: Energy-based model、EBM)は、統計物理学にインスパイアされた生成モデルである。
モデルパラメータに対する勾配の計算には、モデルの分布をサンプリングする必要がある。
ここでは、ジャジンスキーの等式に基づく非平衡熱力学の結果を用いて、この計算を効率的に行う方法を示す。
論文 参考訳(メタデータ) (2023-05-30T21:07:52Z) - Explaining the effects of non-convergent sampling in the training of
Energy-Based Models [0.0]
我々は,非収束マルコフ連鎖を用いたエネルギーモデルトレーニングの効果を定量化する。
本研究では,非持続的短距離走で訓練したESMを用いて勾配を推定することにより,経験的統計の集合を完璧に再現できることを示す。
論文 参考訳(メタデータ) (2023-01-23T13:30:40Z) - Sampling with Mollified Interaction Energy Descent [57.00583139477843]
モーフィファイド相互作用エネルギー降下(MIED)と呼ばれる新しい最適化に基づくサンプリング手法を提案する。
MIEDは、モル化相互作用エネルギー(MIE)と呼ばれる確率測度に関する新しいクラスのエネルギーを最小化する
我々は,制約のないサンプリング問題に対して,我々のアルゴリズムがSVGDのような既存の粒子ベースアルゴリズムと同等に動作することを示す。
論文 参考訳(メタデータ) (2022-10-24T16:54:18Z) - How Much is Enough? A Study on Diffusion Times in Score-based Generative
Models [76.76860707897413]
現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。
本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
論文 参考訳(メタデータ) (2022-06-10T15:09:46Z) - Particle Dynamics for Learning EBMs [83.59335980576637]
エネルギーベースモデリングは教師なし学習への有望なアプローチであり、単一のモデルから多くの下流アプリケーションを生み出す。
コントラスト的アプローチ(contrastive approach)"でエネルギーベースモデルを学習する際の主な困難は、各イテレーションで現在のエネルギー関数からサンプルを生成することである。
本稿では,これらのサンプルを取得し,現行モデルからの粗大なMCMCサンプリングを回避するための代替手法を提案する。
論文 参考訳(メタデータ) (2021-11-26T23:41:07Z) - Targeted free energy estimation via learned mappings [66.20146549150475]
自由エネルギー摂動 (FEP) は60年以上前にズワンツィヒによって自由エネルギー差を推定する方法として提案された。
FEPは、分布間の十分な重複の必要性という厳しい制限に悩まされている。
目標自由エネルギー摂動(Targeted Free Energy Perturbation)と呼ばれるこの問題を緩和するための1つの戦略は、オーバーラップを増やすために構成空間の高次元マッピングを使用する。
論文 参考訳(メタデータ) (2020-02-12T11:10:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。