論文の概要: Jarzynski Reweighting and Sampling Dynamics for Training Energy-Based Models: Theoretical Analysis of Different Transition Kernels

• arxiv url: http://arxiv.org/abs/2506.07843v1
• Date: Mon, 09 Jun 2025 15:08:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:11.012753
• Title: Jarzynski Reweighting and Sampling Dynamics for Training Energy-Based Models: Theoretical Analysis of Different Transition Kernels
• Title（参考訳）: 訓練エネルギーベースモデルのためのジャジンスキー再重み付けとサンプリングダイナミクス:異なる遷移カーネルの理論解析
• Authors: Davide Carbone,
• Abstract要約: エネルギーベースモデル(EBM)は、生成モデリングのための柔軟なフレームワークを提供する。 対照的な発散やスコアマッチングといった従来の手法は、正確な学習を妨げるバイアスを導入している。 本稿では,非平衡統計力学の手法であるジャジンスキー再重み付けの理論的解析とそのEBM訓練への応用について述べる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Energy-Based Models (EBMs) provide a flexible framework for generative modeling, but their training remains theoretically challenging due to the need to approximate normalization constants and efficiently sample from complex, multi-modal distributions. Traditional methods, such as contrastive divergence and score matching, introduce biases that can hinder accurate learning. In this work, we present a theoretical analysis of Jarzynski reweighting, a technique from non-equilibrium statistical mechanics, and its implications for training EBMs. We focus on the role of the choice of the kernel and we illustrate these theoretical considerations in two key generative frameworks: (i) flow-based diffusion models, where we reinterpret Jarzynski reweighting in the context of stochastic interpolants to mitigate discretization errors and improve sample quality, and (ii) Restricted Boltzmann Machines, where we analyze its role in correcting the biases of contrastive divergence. Our results provide insights into the interplay between kernel choice and model performance, highlighting the potential of Jarzynski reweighting as a principled tool for generative learning.
• Abstract（参考訳）: エネルギーベースモデル(EBM)は、生成モデリングのための柔軟なフレームワークを提供するが、正規化定数を近似し、複雑なマルチモーダル分布から効率的にサンプリングする必要があるため、理論上は難しい。 対照的な発散やスコアマッチングといった従来の手法は、正確な学習を妨げるバイアスを導入している。 本研究では、非平衡統計力学の手法であるジャジンスキー再重み付けの理論解析と、そのEMMの訓練への応用について述べる。 我々はカーネルの選択の役割に焦点をあて、これらの理論的考察を2つの主要な生成フレームワークで説明する。 (i)フローベース拡散モデルでは,確率補間剤の文脈でジャジンスキー再重み付けを解釈し,離散化誤差を緩和し,試料の品質を向上させる。 (2)制限ボルツマン機械(英語版)は、対照的な発散のバイアスを補正する役割を解析する。 本稿では,カーネル選択とモデル性能の相互作用を考察し,ジェネレーティブ学習の原則的ツールとしてのJarzynski再重み付けの可能性を強調した。

関連論文リスト

• Analytic Energy-Guided Policy Optimization for Offline Reinforcement Learning [54.07840818762834]
  拡散モデルによる条件決定生成は強化学習(RL)において強力な競争力を示す。 近年の研究では、エネルギー-関数-誘導拡散モデルと制約付きRL問題との関係が明らかにされている。 主な課題は中間エネルギーを推定することであり、これは生成過程における対数予測の定式化によって引き起こされる。
  論文  参考訳（メタデータ） (2025-05-03T14:00:25Z)
• A theoretical framework for overfitting in energy-based modeling [5.1337384597700995]
  相互作用ネットワークの同定を目的とした逆問題に対するペアワイズエネルギーベースモデルの学習における限られたデータの影響について検討する。 これらの時間スケールとトレーニングの初期条件との相互作用から早期停止の最適点が生じることを示す。 本稿では、スコアマッチングの下でのスコア関数のニューラルネットワークカーネルダイナミクスを導出することにより、任意のエネルギーベースモデルへの一般化を提案する。
  論文  参考訳（メタデータ） (2025-01-31T14:21:02Z)
• Physics-Informed Diffusion Models [0.0]
  生成モデルと偏微分方程式の充足を統一する枠組みを提案する。 本手法は,流体流動ケーススタディにおける従来の研究と比較して,残差を最大2桁まで低減する。
  論文  参考訳（メタデータ） (2024-03-21T13:52:55Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Unmasking Bias in Diffusion Model Training [40.90066994983719]
  拡散モデルが画像生成の主流のアプローチとして登場した。 トレーニングの収束が遅く、サンプリングのカラーシフトの問題に悩まされている。 本稿では,これらの障害は,既定のトレーニングパラダイムに固有のバイアスや準最適性に大きく起因していると考えられる。
  論文  参考訳（メタデータ） (2023-10-12T16:04:41Z)
• Learning Robust Models Using The Principle of Independent Causal Mechanisms [26.79262903241044]
  ICMの原理から目的関数を導出する勾配学習フレームワークを提案する。 理論的、実験的に、このフレームワークで訓練されたニューラルネットワークは、環境間で不変な関係に重点を置いていることを示す。
  論文  参考訳（メタデータ） (2020-10-14T15:38:01Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)
• Training Deep Energy-Based Models with f-Divergence Minimization [113.97274898282343]
  深部エネルギーベースモデル(EBM)は分布パラメトリゼーションにおいて非常に柔軟であるが、計算的に困難である。 所望のf偏差を用いてEMMを訓練するための、f-EBMと呼ばれる一般的な変分フレームワークを提案する。 実験の結果,F-EBMは対照的なばらつきよりも優れており,KL以外のf-divergencesを用いたEBMの訓練の利点も示された。
  論文  参考訳（メタデータ） (2020-03-06T23:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。