論文の概要: Equilibrium Training of Energy-Based Models with Parallel Trajectory Tempering
- arxiv url: http://arxiv.org/abs/2607.27077v1
- Date: Wed, 29 Jul 2026 16:00:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-30 21:06:25.735448
- Title: Equilibrium Training of Energy-Based Models with Parallel Trajectory Tempering
- Title（参考訳）: 並列軌道テンパリングを用いたエネルギーベースモデルの平衡トレーニング
- Abstract要約: エネルギーベースモデル(EBM)は、科学データの生成モデリングのための解釈可能なフレームワークを提供する。
並列軌道テンパリング(PTT)に基づくトレーニングアルゴリズムを提案する。
PTTは、学習を通して平衡サンプリングを維持するために最適化経路の連続性を利用する。
- 参考スコア（独自算出の注目度）: 11.614569891383873
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Energy-Based Models (EBMs) provide an interpretable framework for generative modeling of scientific data, but poor Markov Chain Monte Carlo mixing often limits their reliability. We introduce a training algorithm based on Parallel Trajectory Tempering (PTT), which exploits the continuity of the optimization path to maintain equilibrium sampling throughout learning. This enables stable and fast training on highly multimodal and data-scarce scientific datasets. Combined with reservoir sampling and adaptive optimization, PTT has a computational cost comparable to Persistent Contrastive Divergence, making it a practical replacement for standard training methods. It also provides direct estimates of thermalization times, equilibrium samples from trained models, and accurate log-likelihoods at essentially no additional cost. Experiments on Restricted Boltzmann Machines show that PTT consistently outperforms existing EBM training approaches. On discrete tabular data, it also surpasses state-of-the-art deep generative models, yielding higher-quality samples and greater robustness to overfitting and limited data. Our results make equilibrium maximum-likelihood training of EBMs practical and computationally efficient.
- Abstract（参考訳）: エネルギーベースモデル (EBMs) は、科学データの生成モデリングのための解釈可能なフレームワークを提供するが、マルコフ・チェイン・モンテカルロの混合は、しばしば信頼性を制限している。
並列軌道テンパリング(PTT: Parallel Trajectory Tempering)に基づく学習アルゴリズムを導入する。
これにより、高度にマルチモーダルかつデータスカースな科学データセットの安定的で高速なトレーニングが可能になる。
貯水池サンプリングと適応最適化を組み合わせることで、PTTは永続的コントラスト分散に匹敵する計算コストを持ち、標準的な訓練手法の代替となる。
また、熱化時間、訓練されたモデルからの平衡サンプル、正確な対数類似度を基本的に追加費用なしで直接見積もっている。
Restricted Boltzmann Machines の実験では、PTT は既存の EBM トレーニング手法を一貫して上回っている。
離散表データでは、最先端の深層生成モデルを超え、高品質なサンプルと、オーバーフィットや制限されたデータに対するロバスト性が向上する。
本研究は,EMMの平衡最大化学習を実用化し,計算効率を向上するものである。
関連論文リスト
- FALCON: Few-step Accurate Likelihoods for Continuous Flows [78.37361800856583]
本稿では,FALCON(Few-step Accurate Likelihoods for Continuous Flows)を提案する。
FALCONは分子ボルツマンサンプリングのための最先端の正規化フローモデルより優れており、同等の性能を持つCNFモデルよりも2桁高速である。
論文 参考訳（メタデータ） (2025-12-10T18:47:25Z) - Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。
従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。
本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
論文 参考訳（メタデータ） (2025-07-11T08:00:47Z) - Fast training and sampling of Restricted Boltzmann Machines [4.785158987724452]
我々は、RBMトレーニングの最近の理論的進歩に基づいて、トレーニングの計算コストを大幅に削減する。
コンベックス最適化プロセスにより,主成分を低ランクのRBMに符号化する事前学習フェーズを提案する。
パラメータアニール軌道の連続的かつ滑らかな性質を利用して、信頼性と計算効率のよい対数類似度推定を行う。
論文 参考訳（メタデータ） (2024-05-24T09:23:43Z) - Stability-Aware Training of Machine Learning Force Fields with Differentiable Boltzmann Estimators [11.699834591020057]
本稿では,機械学習力場のためのマルチモーダルトレーニングであるStABlEトレーニングを提案する。
StABlEトレーニングは、不安定な領域を探すためにMDシミュレーションを並行して実行し、監督を通じて不安定を補正する。
有機分子, テトラペプチド, 凝縮相系にまたがる方法論を実証する。
論文 参考訳（メタデータ） (2024-02-21T18:12:07Z) - Online Variational Sequential Monte Carlo [49.97673761305336]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。
オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文 参考訳（メタデータ） (2023-12-19T21:45:38Z) - Learning Energy-Based Prior Model with Diffusion-Amortized MCMC [89.95629196907082]
非収束短距離MCMCを用いた事前及び後方サンプリングによる潜時空間EMM学習の一般的な実践は、さらなる進歩を妨げている。
本稿では,MCMCサンプリングのための単純だが効果的な拡散型アモータイズ手法を導入し,それに基づく潜時空間EMMのための新しい学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-10-05T00:23:34Z) - Balanced Training of Energy-Based Models with Adaptive Flow Sampling [13.951904929884618]
エネルギーベースモデル (EBMs) は、非正規化ログ密度を直接パラメータ化する汎用密度推定モデルである。
我々は、異なる種類の生成モデル、正規化フロー(NF)を用いたESMのための新しい最大可能性トレーニングアルゴリズムを提案する。
本手法はトレーニング中にNFをEMMに適合させ,NF支援サンプリング方式によりESMの正確な勾配が常に得られるようにする。
論文 参考訳（メタデータ） (2023-06-01T13:58:06Z) - Stabilizing Machine Learning Prediction of Dynamics: Noise and
Noise-inspired Regularization [58.720142291102135]
近年、機械学習(ML)モデルはカオス力学系の力学を正確に予測するために訓練可能であることが示されている。
緩和技術がなければ、この技術は人工的に迅速にエラーを発生させ、不正確な予測と/または気候不安定をもたらす可能性がある。
トレーニング中にモデル入力に付加される多数の独立雑音実効化の効果を決定論的に近似する正規化手法であるLinearized Multi-Noise Training (LMNT)を導入する。
論文 参考訳（メタデータ） (2022-11-09T23:40:52Z) - Learning a Restricted Boltzmann Machine using biased Monte Carlo
sampling [0.6554326244334867]
マルコフ・チェイン・モンテカルロによる平衡分布のサンプリングはバイアスサンプリング法により劇的に加速できることを示す。
また、このサンプリング手法を用いて、トレーニング中のログライクな勾配の計算を改善することも示している。
論文 参考訳（メタデータ） (2022-06-02T21:29:01Z) - No MCMC for me: Amortized sampling for fast and stable training of
energy-based models [62.1234885852552]
エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。
本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。
次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
論文 参考訳（メタデータ） (2020-10-08T19:17:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。