論文の概要: Energy Matching: Unifying Flow Matching and Energy-Based Models for Generative Modeling
- arxiv url: http://arxiv.org/abs/2504.10612v1
- Date: Mon, 14 Apr 2025 18:10:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-16 22:12:23.453612
- Title: Energy Matching: Unifying Flow Matching and Energy-Based Models for Generative Modeling
- Title（参考訳）: エネルギーマッチング:ジェネレーティブモデリングのためのフローマッチングとエネルギーベースモデルの統合
- Authors: Michal Balcerak, Tamaz Amiranashvili, Suprosanna Shit, Antonio Terpin, Sebastian Kaltenbach, Petros Koumoutsakos, Bjoern Menze,
- Abstract要約: 生成モデルは、しばしばフローやスコアの一致によってデータにノイズをマッピングするが、これらのアプローチは部分的な観測や追加の事前を組み込むのに難しくなる。
ワッサースタイン勾配流の最近の進歩に触発されて,エネルギーモデル(EBM)の柔軟性とフローベースアプローチを統一するフレームワークであるEnergy Matchingを提案する。
我々は、このダイナミクスを、1つの時間非依存スカラー場でパラメータ化し、逆問題の効率的な正則化のために、強力な生成器と柔軟な先行器の両方として機能する。
- 参考スコア（独自算出の注目度）: 4.584647857042494
- License:
- Abstract: Generative models often map noise to data by matching flows or scores, but these approaches become cumbersome for incorporating partial observations or additional priors. Inspired by recent advances in Wasserstein gradient flows, we propose Energy Matching, a framework that unifies flow-based approaches with the flexibility of energy-based models (EBMs). Far from the data manifold, samples move along curl-free, optimal transport paths from noise to data. As they approach the data manifold, an entropic energy term guides the system into a Boltzmann equilibrium distribution, explicitly capturing the underlying likelihood structure of the data. We parameterize this dynamic with a single time-independent scalar field, which serves as both a powerful generator and a flexible prior for effective regularization of inverse problems. Our method substantially outperforms existing EBMs on CIFAR-10 generation (FID 3.97 compared to 8.61), while retaining the simulation-free training of transport-based approaches away from the data manifold. Additionally, we exploit the flexibility of our method and introduce an interaction energy for diverse mode exploration. Our approach focuses on learning a static scalar potential energy -- without time conditioning, auxiliary generators, or additional networks -- marking a significant departure from recent EBM methods. We believe this simplified framework significantly advances EBM capabilities and paves the way for their broader adoption in generative modeling across diverse domains.
- Abstract（参考訳）: 生成モデルは、しばしばフローやスコアの一致によってデータにノイズをマッピングするが、これらのアプローチは部分的な観測や追加の事前を組み込むのに煩雑になる。
ワッサースタイン勾配流の最近の進歩に触発されて,エネルギーモデル(EBM)の柔軟性とフローベースアプローチを統一するフレームワークであるEnergy Matchingを提案する。
データ多様体から遠く離れたところで、サンプルはカールフリーで最適な輸送経路に沿ってノイズからデータへと移動する。
データ多様体に近づくと、エントロピーエネルギー項が系をボルツマン平衡分布へと導き、データの基礎となる可能性構造を明示的に捉える。
我々は、このダイナミクスを、1つの時間非依存スカラー場でパラメータ化し、逆問題の効率的な正則化のために、強力な生成器と柔軟な先行器の両方として機能する。
CIFAR-10 の既存のEMM(FID 3.97 対 8.61 対 8ID 3.97 対 861 対)は,データ多様体から切り離したトランスポートベースアプローチのシミュレーション不要な訓練を継続する。
さらに,本手法の柔軟性を活用し,多様なモード探索のための相互作用エネルギーを導入する。
われわれのアプローチは、時間条件や補助発電機、追加のネットワークを使わずに、静的なスカラーポテンシャルエネルギーを学習することに焦点を当てている。
この単純化されたフレームワークは、EMM能力を著しく向上させ、多様なドメインにまたがる生成モデリングに広く採用する道を開いたと信じています。
関連論文リスト
- Energy-Based Modelling for Discrete and Mixed Data via Heat Equations on Structured Spaces [19.92604781654767]
エネルギーベースモデル(EBM)は、様々なデータドメインにわたる確率的モデリングのための柔軟なフレームワークを提供する。
本稿では,データポイントにおけるエネルギー関数の評価のみを必要とする損失関数であるEnergy Discrepancyを用いた個別ESMの訓練を提案する。
論文 参考訳（メタデータ） (2024-12-02T00:35:29Z) - Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。
我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
論文 参考訳（メタデータ） (2024-10-28T17:25:56Z) - Generalized Flow Matching for Transition Dynamics Modeling [14.76793118877456]
局所力学から非線形性を学習することでシミュレーションをウォームアップするデータ駆動手法を提案する。
具体的には、局所力学データからポテンシャルエネルギー関数を推定し、2つの準安定状態間の可塑性経路を求める。
提案手法の有効性を検証するため, 合成分子系と実世界の分子系の両方において, 確率的経路をサンプリングする手法の有効性を検証する。
論文 参考訳（メタデータ） (2024-10-19T15:03:39Z) - Latent Space Energy-based Neural ODEs [73.01344439786524]
本稿では,連続時間列を表現するために設計された新しい深部力学モデルを提案する。
マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。
振動系, ビデオ, 実世界の状態系列(MuJoCo)の実験結果から, 学習可能なエネルギーベース先行モデルの方が既存のモデルより優れていることが示された。
論文 参考訳（メタデータ） (2024-09-05T18:14:22Z) - Variational Potential Flow: A Novel Probabilistic Framework for Energy-Based Generative Modelling [10.926841288976684]
エネルギーをベースとした新しい生成フレームワークVAPOについて述べる。
VAPOは、勾配(流れ)が前のサンプルを導くポテンシャルエネルギー関数を学習することを目的としており、その密度の進化は近似的なデータ準同相性に従う。
イメージはポテンシャルエネルギーをトレーニングした後、ガウスのサンプルを初期化し、固定時間間隔で電位フローを管理するODEを解くことで生成することができる。
論文 参考訳（メタデータ） (2024-07-21T18:08:12Z) - Hitchhiker's guide on Energy-Based Models: a comprehensive review on the relation with other generative models, sampling and statistical physics [0.0]
エネルギーベースモデル(EBM)は、生成モデリングの領域において強力なフレームワークとして登場した。
このレビューは、物理学者にESMの包括的理解を提供し、他の生成モデルとの関係を説明することを目的としている。
論文 参考訳（メタデータ） (2024-06-19T16:08:00Z) - Revisiting Energy Based Models as Policies: Ranking Noise Contrastive
Estimation and Interpolating Energy Models [18.949193683555237]
本研究では,エネルギーベースモデル (EBM) の選択を政策クラスとして再考する。
我々は,いくつかの重要な要素を組み合わせたエネルギーモデルのための学習目標とアルゴリズムを開発する。
Inlicit Behavior Cloning (IBC) の目的が実際に人口レベルでも偏っていることを示す。
論文 参考訳（メタデータ） (2023-09-11T20:13:47Z) - Your Autoregressive Generative Model Can be Better If You Treat It as an
Energy-Based One [83.5162421521224]
本稿では,自己回帰生成モデルの学習のための独自のE-ARM法を提案する。
E-ARMは、よく設計されたエネルギーベースの学習目標を活用する。
我々は、E-ARMを効率的に訓練でき、露光バイアス問題を緩和できることを示した。
論文 参考訳（メタデータ） (2022-06-26T10:58:41Z) - Particle Dynamics for Learning EBMs [83.59335980576637]
エネルギーベースモデリングは教師なし学習への有望なアプローチであり、単一のモデルから多くの下流アプリケーションを生み出す。
コントラスト的アプローチ(contrastive approach)"でエネルギーベースモデルを学習する際の主な困難は、各イテレーションで現在のエネルギー関数からサンプルを生成することである。
本稿では,これらのサンプルを取得し,現行モデルからの粗大なMCMCサンプリングを回避するための代替手法を提案する。
論文 参考訳（メタデータ） (2021-11-26T23:41:07Z) - No MCMC for me: Amortized sampling for fast and stable training of
energy-based models [62.1234885852552]
エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。
本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。
次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
論文 参考訳（メタデータ） (2020-10-08T19:17:20Z) - Energy-Based Processes for Exchangeable Data [109.04978766553612]
エネルギーベースモデルを交換可能なデータに拡張するために、エネルギーベースプロセス(EBP)を導入する。
EBPの鍵となる利点は、集合上のより柔軟な分布を、その濃度を制限することなく表現できることである。
本研究では,多種多様なタスクにおける最先端性能を実演する電子掲示板の効率的な訓練手順を開発する。
論文 参考訳（メタデータ） (2020-03-17T04:26:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。