論文の概要: Learning Through Energy Refinement and Manifold Projection: A Cooperative EBM-AE Framework
- arxiv url: http://arxiv.org/abs/2609.13917v1
- Date: Sat, 12 Sep 2026 13:03:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.609273
- Title: Learning Through Energy Refinement and Manifold Projection: A Cooperative EBM-AE Framework
- Title（参考訳）: エナジーリファインメントとマニフォールドプロジェクションによる学習:協調型EMM-AEフレームワーク
- Abstract要約: 本稿では,エネルギーベースの改良と多様体投影を組み合わせた協調型エネルギーベースモデル・オートエンコーダ(EBM-AE)フレームワークを提案する。
提案手法は,EMMをデノナイジングオートエンコーダと共同で訓練し,反復的なEMMサンプリング手順を導入する。
MNISTデータセットで行った実験は、共同EBM-AEトレーニングが生成品質を大幅に改善することを示した。
- 参考スコア（独自算出の注目度）: 1.3029475597850848
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Energy-Based Models (EBMs) provide a flexible framework for generative modeling by learning an energy landscape that assigns low energy values to realistic samples and higher energies to unlikely observations. Despite their theoretical appeal, training EBMs remains challenging due to the computational cost of Langevin sampling and the difficulty of efficiently exploring the learned data manifold. In this work, we propose a cooperative Energy-Based Model and Autoencoder (EBM-AE) framework that combines energy-based refinement with manifold projection. The proposed approach jointly trains an EBM with a denoising autoencoder and introduces an iterative EBM$\rightarrow$AE$\rightarrow$EBM sampling procedure in which Langevin dynamics and autoencoder projection alternately refine generated samples. Within this framework, the autoencoder acts as a manifold projection operator that regularizes sampling trajectories, while the EBM performs energy-based refinement toward low-energy regions of the learned distribution. Extensive experiments conducted on the MNIST dataset demonstrate that joint EBM-AE training substantially improves generation quality compared with a conventional autoencoder. Beyond unconditional generation, we evaluate the proposed framework on image inpainting tasks involving structured and random masks. The results show that manifold projection provides the majority of the reconstruction capability, whereas the final energy-based refinement becomes increasingly beneficial as the reconstruction problem becomes more challenging. Taken together, the results indicate that combining manifold projection and energy minimization provides an effective and interpretable framework for generation, reconstruction, and out-of-distribution detection, while offering new insights into the complementary roles of energy-based modeling and representation learning.
- Abstract（参考訳）: エネルギーベースモデル(Energy-Based Models, EBMs)は、エネルギーランドスケープを学習し、現実的なサンプルに低エネルギー値を割り当て、観測不可能な観測に高エネルギーを割り当てることで、生成モデリングのための柔軟なフレームワークを提供する。
理論上の魅力にもかかわらず、ランゲヴィンサンプリングの計算コストと学習したデータ多様体を効率的に探索することの難しさにより、EBMの訓練は依然として困難である。
本研究では,エネルギーベースの改良と多様体投影を組み合わせた協調型エネルギーベースモデル・オートエンコーダ(EBM-AE)フレームワークを提案する。
提案手法は,EBMをデノナイジングオートエンコーダで訓練し,反復的EBM$\rightarrow$AE$\rightarrow$EBMサンプリング手順を導入し,ランゲヴィンダイナミクスとオートエンコーダプロジェクションを交互に改良する。
このフレームワーク内では、オートエンコーダはサンプリング軌道を規則化する多様体射影演算子として機能し、ESMは学習された分布の低エネルギー領域に対してエネルギーベースの精製を行う。
MNISTデータセットで行った大規模な実験は、従来のオートエンコーダと比較して、共同EBM-AEトレーニングが生成品質を大幅に向上することを示した。
非条件生成の他に、構造化マスクとランダムマスクを含む画像の塗装に関する枠組みの評価を行った。
その結果, 復元能力の大部分を多様体射影が担っているのに対し, 復元問題がより困難になるにつれて, 最終エネルギーベースの改良はますます有益であることが示唆された。
この結果から、多様体の投影とエネルギー最小化の組み合わせは、エネルギーベースモデリングと表現学習の相補的役割に関する新たな洞察を提供するとともに、生成、再構成、分布外検出のための効果的かつ解釈可能なフレームワークを提供することを示した。
関連論文リスト
- Generating Physically Consistent Molecules with Energy-Based Models [6.4105959373235875]
原子付加スカラー電位を明示的シミュレーションなしで学習することにより誘導バイアスを復元するエネルギーベースモデルであるEMMolを導入する。
EBMolは、QM9とGEOM-Drugsの最先端性能を達成した最初の3D分子生成用ESMである。
論文 参考訳（メタデータ） (2026-05-18T13:26:52Z) - Kolmogorov-Arnold Energy Models: Fast and Interpretable Generative Modeling [0.0]
構造的および帰納的バイアスを利用するために,Kolmogorov-Arnold Energy Model (KAEM)を導入する。
KAEMは一般的な生成モデリングトレードオフのバランスをとり、高速な推論、解釈可能性、安定したトレーニングを提供する。
論文 参考訳（メタデータ） (2025-06-17T04:07:32Z) - Hitchhiker's guide on the relation of Energy-Based Models with other generative models, sampling and statistical physics: a comprehensive review [0.0]
エネルギーベースモデル(英語版)は、生成モデリングの領域において強力なフレームワークとして登場した。
このレビューは、物理学者にESMの包括的理解を提供し、他の生成モデルとの関係を説明することを目的としている。
論文 参考訳（メタデータ） (2024-06-19T16:08:00Z) - Improving Adversarial Energy-Based Model via Diffusion Process [25.023967485839155]
対戦型EMMはミニマックストレーニングゲームを形成するジェネレータを導入する。
拡散モデルにインスパイアされた私たちは、長い過程をいくつかの小さなステップに分割するために、各デノイングステップにESMを組み込んだ。
本実験は, 既存の敵ESMと比較して, 世代が著しく改善したことを示す。
論文 参考訳（メタデータ） (2024-03-04T01:33:53Z) - Learning Energy-Based Prior Model with Diffusion-Amortized MCMC [89.95629196907082]
非収束短距離MCMCを用いた事前及び後方サンプリングによる潜時空間EMM学習の一般的な実践は、さらなる進歩を妨げている。
本稿では,MCMCサンプリングのための単純だが効果的な拡散型アモータイズ手法を導入し,それに基づく潜時空間EMMのための新しい学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-10-05T00:23:34Z) - Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。
EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。
本研究では,協調拡散回復可能性 (CDRL) を提案する。
論文 参考訳（メタデータ） (2023-09-10T22:05:24Z) - On Feature Diversity in Energy-based Models [98.78384185493624]
エネルギーベースモデル(EBM)は通常、異なる特徴の組み合わせを学習し、入力構成ごとにエネルギーマッピングを生成する内部モデルによって構成される。
EBMのほぼ正しい(PAC)理論を拡張し,EBMの性能に及ぼす冗長性低減の影響を解析した。
論文 参考訳（メタデータ） (2023-06-02T12:30:42Z) - Latent Diffusion Energy-Based Model for Interpretable Text Modeling [104.85356157724372]
本稿では,拡散モデルと潜時空間ESMの共生を変動学習フレームワークで導入する。
我々は,学習した潜在空間の品質を向上させるために,情報ボトルネックと合わせて幾何学的クラスタリングに基づく正規化を開発する。
論文 参考訳（メタデータ） (2022-06-13T03:41:31Z) - Learning Discrete Energy-based Models via Auxiliary-variable Local
Exploration [130.89746032163106]
離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。
エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。
本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
論文 参考訳（メタデータ） (2020-11-10T19:31:29Z) - Learning Latent Space Energy-Based Prior Model [118.86447805707094]
我々はジェネレータモデルの潜在空間でエネルギーベースモデル(EBM)を学習する。
学習したモデルが画像やテキストの生成や異常検出の点で強い性能を示すことを示す。
論文 参考訳（メタデータ） (2020-06-15T08:11:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。