論文の概要: Fast training and sampling of Restricted Boltzmann Machines

• arxiv url: http://arxiv.org/abs/2405.15376v2
• Date: Fri, 08 Nov 2024 14:42:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:51:56.162478
• Title: Fast training and sampling of Restricted Boltzmann Machines
• Title（参考訳）: 制限ボルツマンマシンの高速訓練とサンプリング
• Authors: Nicolas Béreux, Aurélien Decelle, Cyril Furtlehner, Lorenzo Rosset, Beatriz Seoane,
• Abstract要約: 我々は、RBMトレーニングの最近の理論的進歩に基づいて、トレーニングの計算コストを大幅に削減する。 コンベックス最適化プロセスにより,主成分を低ランクのRBMに符号化する事前学習フェーズを提案する。 パラメータアニール軌道の連続的かつ滑らかな性質を利用して、信頼性と計算効率のよい対数類似度推定を行う。
• 参考スコア（独自算出の注目度）: 4.785158987724452
• License:
• Abstract: Restricted Boltzmann Machines (RBMs) are effective tools for modeling complex systems and deriving insights from data. However, training these models with highly structured data presents significant challenges due to the slow mixing characteristics of Markov Chain Monte Carlo processes. In this study, we build upon recent theoretical advancements in RBM training, to significantly reduce the computational cost of training (in very clustered datasets), evaluating and sampling in RBMs in general. The learning process is analogous to thermodynamic continuous phase transitions observed in ferromagnetic models, where new modes in the probability measure emerge in a continuous manner. Such continuous transitions are associated with the critical slowdown effect, which adversely affects the accuracy of gradient estimates, particularly during the initial stages of training with clustered data. To mitigate this issue, we propose a pre-training phase that encodes the principal components into a low-rank RBM through a convex optimization process. This approach enables efficient static Monte Carlo sampling and accurate computation of the partition function. We exploit the continuous and smooth nature of the parameter annealing trajectory to achieve reliable and computationally efficient log-likelihood estimations, enabling online assessment during the training, and propose a novel sampling strategy named parallel trajectory tempering (PTT) which outperforms previously optimized MCMC methods. Our results show that this training strategy enables RBMs to effectively address highly structured datasets that conventional methods struggle with. We also provide evidence that our log-likelihood estimation is more accurate than traditional, more computationally intensive approaches in controlled scenarios. The PTT algorithm significantly accelerates MCMC processes compared to existing and conventional methods.
• Abstract（参考訳）: 制限ボルツマンマシン(RBM)は、複雑なシステムをモデル化し、データから洞察を得るための効果的なツールである。 しかし、これらのモデルを高度に構造化されたデータで訓練することはマルコフ・チェイン・モンテカルロ過程の緩やかな混合特性のために大きな課題となる。 本研究では, RBMトレーニングの最近の理論的進歩を基盤として, RBMトレーニングの計算コスト(非常にクラスタ化されたデータセット)を大幅に削減し, 一般の RBM における評価とサンプリングを行う。 学習過程は強磁性モデルで観測される熱力学的連続相転移と類似しており、確率測定の新しいモードが連続的に現れる。 このような連続的な遷移は、特にクラスタ化されたデータによるトレーニングの初期段階において、勾配推定の精度に悪影響を及ぼす臨界減速効果と関連付けられている。 この問題を軽減するため,コンベックス最適化プロセスを通じて主成分を低ランクのRBMに符号化する事前学習フェーズを提案する。 このアプローチにより、効率的なモンテカルロサンプリングと分割関数の正確な計算が可能となる。 我々は,パラメータアニーリング軌道の連続的かつ滑らかな性質を利用して,信頼性と計算効率のよいログ類似度推定を実現し,トレーニング中のオンライン評価を可能にするとともに,従来最適化されていたMCMC法より優れた並列トラジェクトリ・テンパリング(PTT)と呼ばれる新しいサンプリング戦略を提案する。 このトレーニング戦略により,従来の手法が抱える高度に構造化されたデータセットに,RAMが効果的に対処できることが示唆された。 また、制御シナリオにおける従来の、より計算集約的なアプローチよりも、ログのような推定がより正確であることを示す。 PTTアルゴリズムは,従来の手法に比べてMCMCプロセスを大幅に高速化する。

関連論文リスト

• Towards Stable and Storage-efficient Dataset Distillation: Matching Convexified Trajectory [53.37473225728298]
  ディープラーニングと大規模言語モデルの急速な進化により、トレーニングデータの需要が指数関数的に増加した。 MTT(Matching Training Trajectories)は、専門家ネットワークのトレーニングトラジェクトリを、合成データセットで実データ上に複製する、顕著なアプローチである。 そこで本研究では,学生の軌道に対するより良いガイダンスを提供することを目的として,MCT (Matching Convexified Trajectory) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-28T11:06:46Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Learning Energy-Based Prior Model with Diffusion-Amortized MCMC [89.95629196907082]
  非収束短距離MCMCを用いた事前及び後方サンプリングによる潜時空間EMM学習の一般的な実践は、さらなる進歩を妨げている。 本稿では,MCMCサンプリングのための単純だが効果的な拡散型アモータイズ手法を導入し,それに基づく潜時空間EMMのための新しい学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-05T00:23:34Z)
• Stabilizing Machine Learning Prediction of Dynamics: Noise and Noise-inspired Regularization [58.720142291102135]
  近年、機械学習(ML)モデルはカオス力学系の力学を正確に予測するために訓練可能であることが示されている。 緩和技術がなければ、この技術は人工的に迅速にエラーを発生させ、不正確な予測と/または気候不安定をもたらす可能性がある。 トレーニング中にモデル入力に付加される多数の独立雑音実効化の効果を決定論的に近似する正規化手法であるLinearized Multi-Noise Training (LMNT)を導入する。
  論文  参考訳（メタデータ） (2022-11-09T23:40:52Z)
• Self-learning locally-optimal hypertuning using maximum entropy, and comparison of machine learning approaches for estimating fatigue life in composite materials [0.0]
  疲労損傷を予測するための最大エントロピーの原理に基づくML近傍近似アルゴリズムを開発した。 予測は、他のMLアルゴリズムと同様、高いレベルの精度を達成する。
  論文  参考訳（メタデータ） (2022-10-19T12:20:07Z)
• Learning a Restricted Boltzmann Machine using biased Monte Carlo sampling [0.6554326244334867]
  マルコフ・チェイン・モンテカルロによる平衡分布のサンプリングはバイアスサンプリング法により劇的に加速できることを示す。 また、このサンプリング手法を用いて、トレーニング中のログライクな勾配の計算を改善することも示している。
  論文  参考訳（メタデータ） (2022-06-02T21:29:01Z)
• No MCMC for me: Amortized sampling for fast and stable training of energy-based models [62.1234885852552]
  エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。 本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。 次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
  論文  参考訳（メタデータ） (2020-10-08T19:17:20Z)
• Non-convex Learning via Replica Exchange Stochastic Gradient MCMC [25.47669573608621]
  本稿では,適応的複製交換SGMCMC(reSGMCMC)を提案し,バイアスを自動的に補正し,対応する特性について検討する。 実験では,様々な設定の広範囲な実験を通じてアルゴリズムを検証し,その結果を得た。
  論文  参考訳（メタデータ） (2020-08-12T15:02:59Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。