論文の概要: Energy Matching: Unifying Flow Matching and Energy-Based Models for Generative Modeling
- arxiv url: http://arxiv.org/abs/2504.10612v3
- Date: Thu, 22 May 2025 15:22:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-23 14:49:22.131584
- Title: Energy Matching: Unifying Flow Matching and Energy-Based Models for Generative Modeling
- Title（参考訳）: エネルギーマッチング:ジェネレーティブモデリングのためのフローマッチングとエネルギーベースモデルの統合
- Authors: Michal Balcerak, Tamaz Amiranashvili, Antonio Terpin, Suprosanna Shit, Lea Bogensperger, Sebastian Kaltenbach, Petros Koumoutsakos, Bjoern Menze,
- Abstract要約: エネルギーベースモデル(EBM)は、フローやスコアの一致によるノイズとデータの分布をマッピングする。
EBMの柔軟性でフローベースのアプローチを実現するフレームワークであるEnergy Matchingを提案する。
提案手法は,CIFAR-10 と ImageNet 生成における既存の EBM を大幅に上回っている。
- 参考スコア（独自算出の注目度）: 4.395339671282145
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The most widely used generative models map noise and data distributions by matching flows or scores. However, they struggle to incorporate partial observations and additional priors--something energy-based models (EBMs) handle elegantly by simply adding corresponding scalar energy terms. We address this issue by proposing Energy Matching, a framework that endows flow-based approaches with the flexibility of EBMs. Far from the data manifold, samples move along curl-free, optimal transport paths from noise to data. As they approach the data manifold, an entropic energy term guides the system into a Boltzmann equilibrium distribution, explicitly capturing the underlying likelihood structure of the data. We parameterize this dynamic with a single time-independent scalar field, which serves as both a powerful generator and a flexible prior for effective regularization of inverse problems. Our method substantially outperforms existing EBMs on CIFAR-10 and ImageNet generation in terms of fidelity, while retaining simulation-free training of transport-based approaches away from the data manifold. Furthermore, we leverage the method's flexibility to introduce an interaction energy that supports diverse mode exploration, which we demonstrate in a controlled protein-generation setting. Our approach focuses on learning a scalar potential energy--without time-conditioning, auxiliary generators, or additional networks--which marks a significant departure from recent EBM methods. We believe that this simplified framework significantly advances EBMs capabilities and paves the way for their wider adoption in generative modeling across diverse domains.
- Abstract（参考訳）: 最も広く使われている生成モデルは、フローやスコアの一致によってノイズとデータの分布をマッピングする。
しかし、彼らは部分的な観測と追加の先例(EBM)を組み込むのに苦労し、対応するスカラーエネルギー項を追加するだけでエレガントにエネルギーベースのモデル(EBM)を扱う。
EBMの柔軟性によってフローベースのアプローチを実現するフレームワークであるEnergy Matchingを提案し、この問題に対処する。
データ多様体から遠く離れたところで、サンプルはカールフリーで最適な輸送経路に沿ってノイズからデータへと移動する。
データ多様体に近づくと、エントロピーエネルギー項が系をボルツマン平衡分布へと導き、データの基礎となる可能性構造を明示的に捉える。
我々は、このダイナミクスを、1つの時間非依存スカラー場でパラメータ化し、逆問題の効率的な正則化のために、強力な生成器と柔軟な先行器の両方として機能する。
CIFAR-10 と ImageNet の既存 EBM を忠実度で大幅に上回りながら,データ多様体から切り離したトランスポートベースアプローチのシミュレーションなしトレーニングを継続する。
さらに,本手法の柔軟性を活用し,多種多様なモード探索を支援する相互作用エネルギーを導入する。
我々のアプローチは、時間条件のないスカラーポテンシャルエネルギー、補助発電機、その他のネットワークの学習に重点を置いており、これは最近のEMM法から大きく離れている。
この単純化されたフレームワークは、ESMの能力を大幅に向上させ、多様なドメインにまたがる生成モデリングに広く採用する道を開くと信じている。
関連論文リスト
- Learning Energy-Based Generative Models via Potential Flow: A Variational Principle Approach to Probability Density Homotopy Matching [9.12119858170289]
エネルギーベースモデル(EBMs)は確率的生成モデルの強力なクラスである。
本稿では,新しいエネルギーベース生成フレームワークVPFBを提案する。
論文 参考訳（メタデータ） (2025-04-22T20:39:07Z) - Energy-Weighted Flow Matching for Offline Reinforcement Learning [53.64306385597818]
本稿では, 生成モデルにおけるエネルギー誘導について検討し, 対象分布をp(mathbf x)exp(-beta mathcal E(mathcal x))$, $p(mathbf x)$, $mathcal E(mathcal x)$と定義する。
補助モデルを必要としないエネルギー誘導流を直接学習するEFM(Energy-weighted Flow Match)を導入する。
我々はこの方法論をエネルギー重み付けに拡張する
論文 参考訳（メタデータ） (2025-03-06T21:10:12Z) - Energy-Based Modelling for Discrete and Mixed Data via Heat Equations on Structured Spaces [19.92604781654767]
エネルギーベースモデル(EBM)は、様々なデータドメインにわたる確率的モデリングのための柔軟なフレームワークを提供する。
本稿では,データポイントにおけるエネルギー関数の評価のみを必要とする損失関数であるEnergy Discrepancyを用いた個別ESMの訓練を提案する。
論文 参考訳（メタデータ） (2024-12-02T00:35:29Z) - Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。
我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
論文 参考訳（メタデータ） (2024-10-28T17:25:56Z) - Generalized Flow Matching for Transition Dynamics Modeling [14.76793118877456]
局所力学から非線形性を学習することでシミュレーションをウォームアップするデータ駆動手法を提案する。
具体的には、局所力学データからポテンシャルエネルギー関数を推定し、2つの準安定状態間の可塑性経路を求める。
提案手法の有効性を検証するため, 合成分子系と実世界の分子系の両方において, 確率的経路をサンプリングする手法の有効性を検証する。
論文 参考訳（メタデータ） (2024-10-19T15:03:39Z) - Latent Space Energy-based Neural ODEs [73.01344439786524]
本稿では,連続時間列を表現するために設計された新しい深部力学モデルを提案する。
マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。
振動系, ビデオ, 実世界の状態系列(MuJoCo)の実験結果から, 学習可能なエネルギーベース先行モデルの方が既存のモデルより優れていることが示された。
論文 参考訳（メタデータ） (2024-09-05T18:14:22Z) - Variational Potential Flow: A Novel Probabilistic Framework for Energy-Based Generative Modelling [10.926841288976684]
エネルギーをベースとした新しい生成フレームワークVAPOについて述べる。
VAPOは、勾配(流れ)が前のサンプルを導くポテンシャルエネルギー関数を学習することを目的としており、その密度の進化は近似的なデータ準同相性に従う。
イメージはポテンシャルエネルギーをトレーニングした後、ガウスのサンプルを初期化し、固定時間間隔で電位フローを管理するODEを解くことで生成することができる。
論文 参考訳（メタデータ） (2024-07-21T18:08:12Z) - Hitchhiker's guide on Energy-Based Models: a comprehensive review on the relation with other generative models, sampling and statistical physics [0.0]
エネルギーベースモデル(EBM)は、生成モデリングの領域において強力なフレームワークとして登場した。
このレビューは、物理学者にESMの包括的理解を提供し、他の生成モデルとの関係を説明することを目的としている。
論文 参考訳（メタデータ） (2024-06-19T16:08:00Z) - Revisiting Energy Based Models as Policies: Ranking Noise Contrastive
Estimation and Interpolating Energy Models [18.949193683555237]
本研究では,エネルギーベースモデル (EBM) の選択を政策クラスとして再考する。
我々は,いくつかの重要な要素を組み合わせたエネルギーモデルのための学習目標とアルゴリズムを開発する。
Inlicit Behavior Cloning (IBC) の目的が実際に人口レベルでも偏っていることを示す。
論文 参考訳（メタデータ） (2023-09-11T20:13:47Z) - Your Autoregressive Generative Model Can be Better If You Treat It as an
Energy-Based One [83.5162421521224]
本稿では,自己回帰生成モデルの学習のための独自のE-ARM法を提案する。
E-ARMは、よく設計されたエネルギーベースの学習目標を活用する。
我々は、E-ARMを効率的に訓練でき、露光バイアス問題を緩和できることを示した。
論文 参考訳（メタデータ） (2022-06-26T10:58:41Z) - No MCMC for me: Amortized sampling for fast and stable training of
energy-based models [62.1234885852552]
エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。
本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。
次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
論文 参考訳（メタデータ） (2020-10-08T19:17:20Z) - Energy-Based Processes for Exchangeable Data [109.04978766553612]
エネルギーベースモデルを交換可能なデータに拡張するために、エネルギーベースプロセス(EBP)を導入する。
EBPの鍵となる利点は、集合上のより柔軟な分布を、その濃度を制限することなく表現できることである。
本研究では,多種多様なタスクにおける最先端性能を実演する電子掲示板の効率的な訓練手順を開発する。
論文 参考訳（メタデータ） (2020-03-17T04:26:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。