論文の概要: Fast training and sampling of Restricted Boltzmann Machines

• arxiv url: http://arxiv.org/abs/2405.15376v2
• Date: Fri, 08 Nov 2024 14:42:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:51:56.162478
• Title: Fast training and sampling of Restricted Boltzmann Machines
• Title（参考訳）: 制限ボルツマンマシンの高速訓練とサンプリング
• Authors: Nicolas Béreux, Aurélien Decelle, Cyril Furtlehner, Lorenzo Rosset, Beatriz Seoane,
• Abstract要約: 我々は、RBMトレーニングの最近の理論的進歩に基づいて、トレーニングの計算コストを大幅に削減する。 コンベックス最適化プロセスにより,主成分を低ランクのRBMに符号化する事前学習フェーズを提案する。 パラメータアニール軌道の連続的かつ滑らかな性質を利用して、信頼性と計算効率のよい対数類似度推定を行う。
• 参考スコア（独自算出の注目度）: 4.785158987724452
• License:
• Abstract: Restricted Boltzmann Machines (RBMs) are effective tools for modeling complex systems and deriving insights from data. However, training these models with highly structured data presents significant challenges due to the slow mixing characteristics of Markov Chain Monte Carlo processes. In this study, we build upon recent theoretical advancements in RBM training, to significantly reduce the computational cost of training (in very clustered datasets), evaluating and sampling in RBMs in general. The learning process is analogous to thermodynamic continuous phase transitions observed in ferromagnetic models, where new modes in the probability measure emerge in a continuous manner. Such continuous transitions are associated with the critical slowdown effect, which adversely affects the accuracy of gradient estimates, particularly during the initial stages of training with clustered data. To mitigate this issue, we propose a pre-training phase that encodes the principal components into a low-rank RBM through a convex optimization process. This approach enables efficient static Monte Carlo sampling and accurate computation of the partition function. We exploit the continuous and smooth nature of the parameter annealing trajectory to achieve reliable and computationally efficient log-likelihood estimations, enabling online assessment during the training, and propose a novel sampling strategy named parallel trajectory tempering (PTT) which outperforms previously optimized MCMC methods. Our results show that this training strategy enables RBMs to effectively address highly structured datasets that conventional methods struggle with. We also provide evidence that our log-likelihood estimation is more accurate than traditional, more computationally intensive approaches in controlled scenarios. The PTT algorithm significantly accelerates MCMC processes compared to existing and conventional methods.
• Abstract（参考訳）: 制限ボルツマンマシン(RBM)は、複雑なシステムをモデル化し、データから洞察を得るための効果的なツールである。 しかし、これらのモデルを高度に構造化されたデータで訓練することはマルコフ・チェイン・モンテカルロ過程の緩やかな混合特性のために大きな課題となる。 本研究では, RBMトレーニングの最近の理論的進歩を基盤として, RBMトレーニングの計算コスト(非常にクラスタ化されたデータセット)を大幅に削減し, 一般の RBM における評価とサンプリングを行う。 学習過程は強磁性モデルで観測される熱力学的連続相転移と類似しており、確率測定の新しいモードが連続的に現れる。 このような連続的な遷移は、特にクラスタ化されたデータによるトレーニングの初期段階において、勾配推定の精度に悪影響を及ぼす臨界減速効果と関連付けられている。 この問題を軽減するため,コンベックス最適化プロセスを通じて主成分を低ランクのRBMに符号化する事前学習フェーズを提案する。 このアプローチにより、効率的なモンテカルロサンプリングと分割関数の正確な計算が可能となる。 我々は,パラメータアニーリング軌道の連続的かつ滑らかな性質を利用して,信頼性と計算効率のよいログ類似度推定を実現し,トレーニング中のオンライン評価を可能にするとともに,従来最適化されていたMCMC法より優れた並列トラジェクトリ・テンパリング(PTT)と呼ばれる新しいサンプリング戦略を提案する。 このトレーニング戦略により,従来の手法が抱える高度に構造化されたデータセットに,RAMが効果的に対処できることが示唆された。 また、制御シナリオにおける従来の、より計算集約的なアプローチよりも、ログのような推定がより正確であることを示す。 PTTアルゴリズムは,従来の手法に比べてMCMCプロセスを大幅に高速化する。

関連論文リスト

• Towards Stable Machine Learning Model Retraining via Slowly Varying Sequences [6.067007470552307]
  そこで本研究では,繰り返しのトレーニングにおいて安定な機械学習モデルのシーケンスを見つける手法を提案する。 最適モデルの復元が保証される混合整数最適化の定式化を開発する。 本手法は, 予測力の小さい, 制御可能な犠牲を伴い, 厳密に訓練されたモデルよりも強い安定性を示す。
  論文  参考訳（メタデータ） (2024-03-28T22:45:38Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Learning a Restricted Boltzmann Machine using biased Monte Carlo sampling [0.6554326244334867]
  マルコフ・チェイン・モンテカルロによる平衡分布のサンプリングはバイアスサンプリング法により劇的に加速できることを示す。 また、このサンプリング手法を用いて、トレーニング中のログライクな勾配の計算を改善することも示している。
  論文  参考訳（メタデータ） (2022-06-02T21:29:01Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Real-time Forecast Models for TBM Load Parameters Based on Machine Learning Methods [6.247628933072029]
  本論文では, TBM運用データに基づいて機械学習(ML)手法を用いて, TBM負荷パラメータのリアルタイム予測モデルを構築する。 モデル複雑性を低減し、一般化を改善するため、予測タスクの本質的特徴を抽出するために、最小絶対縮小および選択法(Lasso)を適用した。
  論文  参考訳（メタデータ） (2021-04-12T07:31:39Z)
• No MCMC for me: Amortized sampling for fast and stable training of energy-based models [62.1234885852552]
  エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。 本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。 次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
  論文  参考訳（メタデータ） (2020-10-08T19:17:20Z)
• Non-convex Learning via Replica Exchange Stochastic Gradient MCMC [25.47669573608621]
  本稿では,適応的複製交換SGMCMC(reSGMCMC)を提案し,バイアスを自動的に補正し,対応する特性について検討する。 実験では,様々な設定の広範囲な実験を通じてアルゴリズムを検証し,その結果を得た。
  論文  参考訳（メタデータ） (2020-08-12T15:02:59Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Using Machine Learning to Emulate Agent-Based Simulations [0.0]
  エージェントベースモデル(ABM)解析に用いる統計エミュレータとして,複数の機械学習手法の性能評価を行った。 エージェントベースのモデリングは、モデルに対するより堅牢な感度解析を容易にするため、エミュレーションに機械学習を用いる利点がある。
  論文  参考訳（メタデータ） (2020-05-05T11:48:36Z)
• Dynamic Scale Training for Object Detection [111.33112051962514]
  本稿では,オブジェクト検出におけるスケール変動問題を軽減するために,動的スケールトレーニングパラダイム(DST)を提案する。 提案したDSTのスケール変動処理に対する有効性を示す実験結果を得た。 推論オーバーヘッドを導入せず、一般的な検出設定のための無料ランチとして機能する。
  論文  参考訳（メタデータ） (2020-04-26T16:48:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。