論文の概要: Explaining the effects of non-convergent sampling in the training of Energy-Based Models

• arxiv url: http://arxiv.org/abs/2301.09428v1
• Date: Mon, 23 Jan 2023 13:30:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-24 13:34:49.149292
• Title: Explaining the effects of non-convergent sampling in the training of Energy-Based Models
• Title（参考訳）: エネルギーモデル学習における非収束サンプリングの効果について
• Authors: Elisabeth Agoritsas, Giovanni Catania, Aur\'elien Decelle, Beatriz Seoane
• Abstract要約: 我々は,非収束マルコフ連鎖を用いたエネルギーモデルトレーニングの効果を定量化する。 本研究では,非持続的短距離走で訓練したESMを用いて勾配を推定することにより,経験的統計の集合を完璧に再現できることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this paper, we quantify the impact of using non-convergent Markov chains to train Energy-Based models (EBMs). In particular, we show analytically that EBMs trained with non-persistent short runs to estimate the gradient can perfectly reproduce a set of empirical statistics of the data, not at the level of the equilibrium measure, but through a precise dynamical process. Our results provide a first-principles explanation for the observations of recent works proposing the strategy of using short runs starting from random initial conditions as an efficient way to generate high-quality samples in EBMs, and lay the groundwork for using EBMs as diffusion models. After explaining this effect in generic EBMs, we analyze two solvable models in which the effect of the non-convergent sampling in the trained parameters can be described in detail. Finally, we test these predictions numerically on the Boltzmann machine.
• Abstract（参考訳）: 本稿では,非収束マルコフ連鎖を用いたエネルギーベースモデル(EBM)の訓練の効果を定量化する。 特に,非永続的ショートランで訓練したESMを用いて勾配を推定することにより,平衡測定のレベルでではなく,正確な動的プロセスによって,データの経験的統計を完璧に再現できることを示す。 本研究は,ESMの高品質試料を効率よく生成し,ESMを拡散モデルとして用いるための基礎となる基礎となる手法として,ランダム初期条件からのショートランの利用戦略を提案する。 この効果を汎用ebmsで説明した後、訓練パラメータにおける非収束サンプリングの効果を詳細に記述できる2つの可解モデルの解析を行った。 最後にボルツマンマシン上でこれらの予測を数値的に検証する。

関連論文リスト

• Flow-based sampling in the lattice Schwinger model at criticality [54.48885403692739]
  フローベースアルゴリズムは、格子場理論への応用のためのフィールド分布の効率的なサンプリングを提供することができる。 フェルミオン質量の臨界値におけるシュウィンガーモデルにおけるロバストな流れに基づくサンプリングの数値的な実演を行う。
  論文  参考訳（メタデータ） (2022-02-23T19:00:00Z)
• $\mathcal{F}$-EBM: Energy Based Learning of Functional Data [1.0896567381206714]
  エネルギーベースモデル (EBMs) は有限次元空間上の密度をモデル化するための非常に効果的なアプローチであることが証明されている。 有限個の点で評価された関数サンプルから関数の分布を学習できる新しいEMMのクラスを提案する。
  論文  参考訳（メタデータ） (2022-02-04T01:01:50Z)
• Particle Dynamics for Learning EBMs [83.59335980576637]
  エネルギーベースモデリングは教師なし学習への有望なアプローチであり、単一のモデルから多くの下流アプリケーションを生み出す。 コントラスト的アプローチ(contrastive approach)"でエネルギーベースモデルを学習する際の主な困難は、各イテレーションで現在のエネルギー関数からサンプルを生成することである。 本稿では,これらのサンプルを取得し,現行モデルからの粗大なMCMCサンプリングを回避するための代替手法を提案する。
  論文  参考訳（メタデータ） (2021-11-26T23:41:07Z)
• Prediction of liquid fuel properties using machine learning models with Gaussian processes and probabilistic conditional generative learning [56.67751936864119]
  本研究の目的は、代替燃料の物理的特性を予測するためのクロージャ方程式として機能する、安価で計算可能な機械学習モデルを構築することである。 これらのモデルは、MDシミュレーションのデータベースや、データ融合-忠実性アプローチによる実験的な測定を用いて訓練することができる。 その結果,MLモデルでは,広範囲の圧力および温度条件の燃料特性を正確に予測できることがわかった。
  論文  参考訳（メタデータ） (2021-10-18T14:43:50Z)
• EBMs Trained with Maximum Likelihood are Generator Models Trained with a Self-adverserial Loss [6.445605125467574]
  Langevin ダイナミクスを関連する勾配降下 ODE の決定論的解に置き換えます。 本研究は, 動的騒音の再導入は, 動作の質的変化に繋がらないことを示す。 そこで, EBMトレーニングは, 最大確率推定よりも, 事実上自己反逆的処置であることを示す。
  論文  参考訳（メタデータ） (2021-02-23T15:34:12Z)
• Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
  実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。 特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。 本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
  論文  参考訳（メタデータ） (2021-02-12T12:23:13Z)
• Learning Energy-Based Model with Variational Auto-Encoder as Amortized Sampler [35.80109055748496]
  最大確率でエネルギーベースモデル(ebms)を訓練するにはマルコフ連鎖モンテカルロサンプリングが必要である。 我々は、エネルギー関数から派生したランゲビンダイナミクスのような有限ステップMCMCを初期化する変分オートエンコーダ(VAE)を学びます。 これらのアモールト化MCMCサンプルにより、ESMは「合成による分析」スキームに従って最大で訓練することができる。 我々はこの共同学習アルゴリズムを変分MCMC教育と呼び、VAEはEMMをデータ分布に向けて追従する。
  論文  参考訳（メタデータ） (2020-12-29T20:46:40Z)
• Learning Energy-Based Models by Diffusion Recovery Likelihood [61.069760183331745]
  本稿では,エネルギーベースモデルから気軽に学習・サンプルできる拡散回復可能性法を提案する。 学習後、ガウスの白色雑音分布から初期化するサンプリングプロセスにより合成画像を生成することができる。 非条件 CIFAR-10 では,本手法は FID 9.58 と開始スコア 8.30 を達成する。
  論文  参考訳（メタデータ） (2020-12-15T07:09:02Z)
• No MCMC for me: Amortized sampling for fast and stable training of energy-based models [62.1234885852552]
  エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。 本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。 次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
  論文  参考訳（メタデータ） (2020-10-08T19:17:20Z)
• Learning Partially Known Stochastic Dynamics with Empirical PAC Bayes [12.44342023476206]
  本稿では,これらのモデルの予測精度を3段階で向上させる手法を提案する。 実験では、このレシピは、部分的およびノイズの多い事前知識を改良されたモデル適合に効果的に翻訳することを示した。
  論文  参考訳（メタデータ） (2020-06-17T14:47:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。