論文の概要: Learning a Restricted Boltzmann Machine using biased Monte Carlo sampling

• arxiv url: http://arxiv.org/abs/2206.01310v1
• Date: Thu, 2 Jun 2022 21:29:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-06 15:19:59.900923
• Title: Learning a Restricted Boltzmann Machine using biased Monte Carlo sampling
• Title（参考訳）: バイアスドモンテカルロサンプリングを用いた制限ボルツマンマシンの学習
• Authors: Nicolas B\'ereux, Aur\'elien Decelle, Cyril Furtlehner, Beatriz Seoane
• Abstract要約: マルコフ・チェイン・モンテカルロによる平衡分布のサンプリングはバイアスサンプリング法により劇的に加速できることを示す。 また、このサンプリング手法を用いて、トレーニング中のログライクな勾配の計算を改善することも示している。
• 参考スコア（独自算出の注目度）: 0.6554326244334867
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Restricted Boltzmann Machines are simple and powerful generative models capable of encoding any complex dataset. Despite all their advantages, in practice, trainings are often unstable, and it is hard to assess their quality because dynamics are hampered by extremely slow time-dependencies. This situation becomes critical when dealing with low-dimensional clustered datasets, where the time needed to sample ergodically the trained models becomes computationally prohibitive. In this work, we show that this divergence of Monte Carlo mixing times is related to a phase coexistence phenomenon, similar to that encountered in Physics in the vicinity of a first order phase transition. We show that sampling the equilibrium distribution via Markov Chain Monte Carlo can be dramatically accelerated using biased sampling techniques, in particular, the Tethered Monte Carlo method (TMC). This sampling technique solves efficiently the problem of evaluating the quality of a given trained model and the generation of new samples in reasonable times. In addition, we show that this sampling technique can be exploited to improve the computation of the log-likelihood gradient during the training too, which produces dramatic improvements when training RBMs with artificial clustered datasets. When dealing with real low-dimensional datasets, this new training procedure fits RBM models with significantly faster relaxational dynamics than those obtained with standard PCD recipes. We also show that TMC sampling can be used to recover free-energy profile of the RBM, which turns out to be extremely useful to compute the probability distribution of a given model and to improve the generation of new decorrelated samples on slow PCD trained models.
• Abstract（参考訳）: 制限ボルツマンマシンは、複雑なデータセットをエンコードできるシンプルで強力な生成モデルである。 彼らの利点にもかかわらず、実際にはトレーニングはしばしば不安定であり、ダイナミクスが非常に遅い時間依存によって阻害されるため、彼らの品質を評価するのは難しい。 この状況は、訓練されたモデルをエルゴディカルにサンプリングするために必要な時間が計算的に禁じられるような、低次元のクラスタデータセットを扱う際に重要となる。 本研究では,このモンテカルロ混合時間のばらつきが,第1次相転移の近傍で物理学で見られるような相共存現象と関連していることを示す。 本稿では,マルコフ連鎖モンテカルロ法による平衡分布のサンプリングを,特にテザードモンテカルロ法(TMC)を用いて劇的に加速させることができることを示す。 このサンプリング手法は、与えられたトレーニングモデルの品質評価と、合理的な時間内に新しいサンプルを生成する問題を効率的に解決する。 さらに,このサンプリング手法を用いて,トレーニング中のログ類似度勾配の計算も改善できることを示し,人工クラスタ化データセットを用いたRAMのトレーニングにおいて劇的な改善がもたらされた。 実際の低次元データセットを扱う場合、この新しいトレーニング手順は、通常のPCDレシピよりもはるかに高速な緩和ダイナミクスを持つRBMモデルに適合する。 また, TMC サンプリングは, RBM の自由エネルギー分布の復元に有効であり, 与えられたモデルの確率分布を計算し, 遅いPCD 訓練モデル上での新しい非相関サンプルの生成を改善するのに極めて有用であることを示した。

関連論文リスト

• Fast training and sampling of Restricted Boltzmann Machines [4.785158987724452]
  我々は、RBMトレーニングの最近の理論的進歩に基づいて、トレーニングの計算コストを大幅に削減する。 コンベックス最適化プロセスにより,主成分を低ランクのRBMに符号化する事前学習フェーズを提案する。 パラメータアニール軌道の連続的かつ滑らかな性質を利用して、信頼性と計算効率のよい対数類似度推定を行う。
  論文  参考訳（メタデータ） (2024-05-24T09:23:43Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Micro-Macro Consistency in Multiscale Modeling: Score-Based Model Assisted Sampling of Fast/Slow Dynamical Systems [0.0]
  物理に基づくマルチ時間動的システムの研究において,サンプリングの高度化のための技術が開発されている。 機械学習の分野では、生成モデルの一般的な目標は、この密度から経験的なサンプルをトレーニングした後、ターゲット密度からサンプリングすることである。 本研究では,SGMをこのような結合フレームワークで利用することにより,マルチスケールな動的システムにおけるサンプリングを改善することができることを示す。
  論文  参考訳（メタデータ） (2023-12-10T00:46:37Z)
• Learning Energy-Based Prior Model with Diffusion-Amortized MCMC [89.95629196907082]
  非収束短距離MCMCを用いた事前及び後方サンプリングによる潜時空間EMM学習の一般的な実践は、さらなる進歩を妨げている。 本稿では,MCMCサンプリングのための単純だが効果的な拡散型アモータイズ手法を導入し,それに基づく潜時空間EMMのための新しい学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-05T00:23:34Z)
• Balanced Training of Energy-Based Models with Adaptive Flow Sampling [13.951904929884618]
  エネルギーベースモデル (EBMs) は、非正規化ログ密度を直接パラメータ化する汎用密度推定モデルである。 我々は、異なる種類の生成モデル、正規化フロー(NF)を用いたESMのための新しい最大可能性トレーニングアルゴリズムを提案する。 本手法はトレーニング中にNFをEMMに適合させ,NF支援サンプリング方式によりESMの正確な勾配が常に得られるようにする。
  論文  参考訳（メタデータ） (2023-06-01T13:58:06Z)
• Stabilizing Machine Learning Prediction of Dynamics: Noise and Noise-inspired Regularization [58.720142291102135]
  近年、機械学習(ML)モデルはカオス力学系の力学を正確に予測するために訓練可能であることが示されている。 緩和技術がなければ、この技術は人工的に迅速にエラーを発生させ、不正確な予測と/または気候不安定をもたらす可能性がある。 トレーニング中にモデル入力に付加される多数の独立雑音実効化の効果を決定論的に近似する正規化手法であるLinearized Multi-Noise Training (LMNT)を導入する。
  論文  参考訳（メタデータ） (2022-11-09T23:40:52Z)
• Low-variance estimation in the Plackett-Luce model via quasi-Monte Carlo sampling [58.14878401145309]
  PLモデルにおいて,より標本効率の高い予測値を生成するための新しい手法を開発した。 Amazon MusicのリアルなレコメンデーションデータとYahooの学習からランクへの挑戦を理論的にも実証的にも使用しています。
  論文  参考訳（メタデータ） (2022-05-12T11:15:47Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Learning Energy-Based Model with Variational Auto-Encoder as Amortized Sampler [35.80109055748496]
  最大確率でエネルギーベースモデル(ebms)を訓練するにはマルコフ連鎖モンテカルロサンプリングが必要である。 我々は、エネルギー関数から派生したランゲビンダイナミクスのような有限ステップMCMCを初期化する変分オートエンコーダ(VAE)を学びます。 これらのアモールト化MCMCサンプルにより、ESMは「合成による分析」スキームに従って最大で訓練することができる。 我々はこの共同学習アルゴリズムを変分MCMC教育と呼び、VAEはEMMをデータ分布に向けて追従する。
  論文  参考訳（メタデータ） (2020-12-29T20:46:40Z)
• No MCMC for me: Amortized sampling for fast and stable training of energy-based models [62.1234885852552]
  エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。 本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。 次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
  論文  参考訳（メタデータ） (2020-10-08T19:17:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。