論文の概要: Composition and Control with Distilled Energy Diffusion Models and Sequential Monte Carlo

• arxiv url: http://arxiv.org/abs/2502.12786v1
• Date: Tue, 18 Feb 2025 11:47:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:08:29.152261
• Title: Composition and Control with Distilled Energy Diffusion Models and Sequential Monte Carlo
• Title（参考訳）: 蒸留エネルギー拡散モデルとシークエンシャルモンテカルロによる構成と制御
• Authors: James Thornton, Louis Bethune, Ruixiang Zhang, Arwen Bradley, Preetum Nakkiran, Shuangfei Zhai,
• Abstract要約: 本研究では, 事前学習拡散モデルの蒸留によるエネルギー機能の新たなトレーニング体制を導入する。 本稿では,Feynman Kacモデルとして拡散サンプリング法をキャストすることで,エネルギーとスコアの相乗効果を示す。
• 参考スコア（独自算出の注目度）: 18.377963220078442
• License:
• Abstract: Diffusion models may be formulated as a time-indexed sequence of energy-based models, where the score corresponds to the negative gradient of an energy function. As opposed to learning the score directly, an energy parameterization is attractive as the energy itself can be used to control generation via Monte Carlo samplers. Architectural constraints and training instability in energy parameterized models have so far yielded inferior performance compared to directly approximating the score or denoiser. We address these deficiencies by introducing a novel training regime for the energy function through distillation of pre-trained diffusion models, resembling a Helmholtz decomposition of the score vector field. We further showcase the synergies between energy and score by casting the diffusion sampling procedure as a Feynman Kac model where sampling is controlled using potentials from the learnt energy functions. The Feynman Kac model formalism enables composition and low temperature sampling through sequential Monte Carlo.
• Abstract（参考訳）: 拡散モデルは、エネルギー関数の負の勾配に対応するエネルギーベースモデルの時系列として定式化することができる。 スコアを直接学習するのとは対照的に、エネルギーのパラメータ化はモンテカルロのサンプルを通してエネルギーを制御できるので魅力的である。 エネルギーパラメータ化モデルにおける構造的制約とトレーニング不安定性は、スコアやデノイザーを直接近似するよりも性能が劣っている。 我々はこれらの欠陥を,スコアベクトル場のヘルムホルツ分解に類似した事前学習拡散モデルの蒸留により,エネルギー関数の新たなトレーニング体制を導入することで解決する。 さらに,Fynman Kacモデルとして,学習エネルギー関数からのポテンシャルを用いてサンプリングを制御する拡散サンプリング手順をキャストすることで,エネルギーとスコアの相乗効果を示す。 ファインマン・カックモデル形式は、連続モンテカルロによる組成と低温サンプリングを可能にする。

関連論文リスト

• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• Latent Space Energy-based Neural ODEs [73.01344439786524]
  本稿では,連続時間列を表現するために設計された新しい深部力学モデルを提案する。 マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。 振動系, ビデオ, 実世界の状態系列(MuJoCo)の実験結果から, 学習可能なエネルギーベース先行モデルの方が既存のモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-05T18:14:22Z)
• EM Distillation for One-step Diffusion Models [65.57766773137068]
  最小品質の損失を最小限に抑えた1ステップ生成モデルに拡散モデルを蒸留する最大可能性に基づく手法を提案する。 本研究では, 蒸留プロセスの安定化を図るため, 再パラメータ化サンプリング手法とノイズキャンセリング手法を開発した。
  論文  参考訳（メタデータ） (2024-05-27T05:55:22Z)
• Deep generative modelling of canonical ensemble with differentiable thermal properties [0.9421843976231371]
  標準アンサンブルの温度の異なる変分モデルを提案する。 深部生成モデルを用いて、連続した温度範囲で自由エネルギーを推定し、同時に最小化する。 トレーニングプロセスはデータセットを必要とせず、任意の明示的な密度生成モデルで動作する。
  論文  参考訳（メタデータ） (2024-04-29T03:41:49Z)
• Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
  反復Denoising Energy Matching (iDEM) iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。 提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
  論文  参考訳（メタデータ） (2024-02-09T01:11:23Z)
• Generalized Contrastive Divergence: Joint Training of Energy-Based Model and Diffusion Model through Inverse Reinforcement Learning [13.22531381403974]
  Generalized Contrastive Divergence (GCD) はエネルギーベースモデル(EBM)とサンプルを同時にトレーニングするための新しい目的関数である。 EBMと拡散モデルの両方にジョイントトレーニングが有用であることを示す予備的かつ有望な結果を示す。
  論文  参考訳（メタデータ） (2023-12-06T10:10:21Z)
• MCMC-Correction of Score-Based Diffusion Models for Model Composition [2.682859657520006]
  拡散モデルは、スコアまたはエネルギー関数のどちらかの観点からパラメータ化することができる。 本稿では,エネルギーモデルにインスパイアされたスコアパラメータ化と受理確率の計算を提案する。
  論文  参考訳（メタデータ） (2023-07-26T07:50:41Z)
• Your Autoregressive Generative Model Can be Better If You Treat It as an Energy-Based One [83.5162421521224]
  本稿では,自己回帰生成モデルの学習のための独自のE-ARM法を提案する。 E-ARMは、よく設計されたエネルギーベースの学習目標を活用する。 我々は、E-ARMを効率的に訓練でき、露光バイアス問題を緩和できることを示した。
  論文  参考訳（メタデータ） (2022-06-26T10:58:41Z)
• Particle Dynamics for Learning EBMs [83.59335980576637]
  エネルギーベースモデリングは教師なし学習への有望なアプローチであり、単一のモデルから多くの下流アプリケーションを生み出す。 コントラスト的アプローチ(contrastive approach)"でエネルギーベースモデルを学習する際の主な困難は、各イテレーションで現在のエネルギー関数からサンプルを生成することである。 本稿では,これらのサンプルを取得し,現行モデルからの粗大なMCMCサンプリングを回避するための代替手法を提案する。
  論文  参考訳（メタデータ） (2021-11-26T23:41:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。