論文の概要: Fast, accurate training and sampling of Restricted Boltzmann Machines
- arxiv url: http://arxiv.org/abs/2405.15376v1
- Date: Fri, 24 May 2024 09:23:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-27 15:11:32.793060
- Title: Fast, accurate training and sampling of Restricted Boltzmann Machines
- Title（参考訳）: 制限ボルツマンマシンの高速かつ高精度な訓練とサンプリング
- Authors: Nicolas Béreux, Aurélien Decelle, Cyril Furtlehner, Lorenzo Rosset, Beatriz Seoane,
- Abstract要約: 本稿では,データセットの主方向を低ランクRBMに統合する革新的な手法を提案する。
このアプローチは静的モンテカルロ過程による平衡測度の効率的なサンプリングを可能にする。
この戦略は,従来の手法が失敗するデータセットにおけるデータの多様性をフルに捉えるために,RAMのトレーニングに成功していることを示す。
- 参考スコア（独自算出の注目度）: 4.785158987724452
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Thanks to their simple architecture, Restricted Boltzmann Machines (RBMs) are powerful tools for modeling complex systems and extracting interpretable insights from data. However, training RBMs, as other energy-based models, on highly structured data poses a major challenge, as effective training relies on mixing the Markov chain Monte Carlo simulations used to estimate the gradient. This process is often hindered by multiple second-order phase transitions and the associated critical slowdown. In this paper, we present an innovative method in which the principal directions of the dataset are integrated into a low-rank RBM through a convex optimization procedure. This approach enables efficient sampling of the equilibrium measure via a static Monte Carlo process. By starting the standard training process with a model that already accurately represents the main modes of the data, we bypass the initial phase transitions. Our results show that this strategy successfully trains RBMs to capture the full diversity of data in datasets where previous methods fail. Furthermore, we use the training trajectories to propose a new sampling method, {\em parallel trajectory tempering}, which allows us to sample the equilibrium measure of the trained model much faster than previous optimized MCMC approaches and a better estimation of the log-likelihood. We illustrate the success of the training method on several highly structured datasets.
- Abstract（参考訳）: そのシンプルなアーキテクチャのおかげで、制約ボルツマンマシン(RBM)は複雑なシステムをモデリングし、データから解釈可能な洞察を抽出する強力なツールである。
しかし、他のエネルギーベースモデルと同様に、RBMを高度に構造化したデータで訓練することは、マルコフ連鎖モンテカルロシミュレーションを混合して勾配を推定することに依存するため、大きな課題となる。
この過程は、しばしば複数の二階相転移と関連する臨界減速によって妨げられる。
本稿では,凸最適化手法を用いて,データセットの主方向を低ランクRBMに統合する革新的な手法を提案する。
このアプローチは静的モンテカルロ過程による平衡測度の効率的なサンプリングを可能にする。
標準的なトレーニングプロセスを、データのメインモードを正確に表現したモデルで開始することにより、初期フェーズ遷移をバイパスする。
この戦略は,従来の手法が失敗するデータセットにおけるデータの多様性をフルに捉えるために,RAMのトレーニングに成功していることを示す。
さらに、トレーニングトラジェクトリを用いて新しいサンプリング手法 {\em parallel trajectory tempering} を提案する。これにより、従来の最適化MCMCアプローチよりもはるかに高速にトレーニングされたモデルの平衡測定をサンプリングし、ログ類似度をよりよく推定することができる。
いくつかの高度に構造化されたデータセット上でのトレーニング手法の成功について説明する。
関連論文リスト
- Towards Stable and Storage-efficient Dataset Distillation: Matching Convexified Trajectory [53.37473225728298]
ディープラーニングと大規模言語モデルの急速な進化により、トレーニングデータの需要が指数関数的に増加した。
MTT(Matching Training Trajectories)は、専門家ネットワークのトレーニングトラジェクトリを、合成データセットで実データ上に複製する、顕著なアプローチである。
そこで本研究では,学生の軌道に対するより良いガイダンスを提供することを目的として,MCT (Matching Convexified Trajectory) と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2024-06-28T11:06:46Z) - Online Variational Sequential Monte Carlo [49.97673761305336]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。
オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文 参考訳（メタデータ） (2023-12-19T21:45:38Z) - Learning Energy-Based Prior Model with Diffusion-Amortized MCMC [89.95629196907082]
非収束短距離MCMCを用いた事前及び後方サンプリングによる潜時空間EMM学習の一般的な実践は、さらなる進歩を妨げている。
本稿では,MCMCサンプリングのための単純だが効果的な拡散型アモータイズ手法を導入し,それに基づく潜時空間EMMのための新しい学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-10-05T00:23:34Z) - Stabilizing Machine Learning Prediction of Dynamics: Noise and
Noise-inspired Regularization [58.720142291102135]
近年、機械学習(ML)モデルはカオス力学系の力学を正確に予測するために訓練可能であることが示されている。
緩和技術がなければ、この技術は人工的に迅速にエラーを発生させ、不正確な予測と/または気候不安定をもたらす可能性がある。
トレーニング中にモデル入力に付加される多数の独立雑音実効化の効果を決定論的に近似する正規化手法であるLinearized Multi-Noise Training (LMNT)を導入する。
論文 参考訳（メタデータ） (2022-11-09T23:40:52Z) - Self-learning locally-optimal hypertuning using maximum entropy, and
comparison of machine learning approaches for estimating fatigue life in
composite materials [0.0]
疲労損傷を予測するための最大エントロピーの原理に基づくML近傍近似アルゴリズムを開発した。
予測は、他のMLアルゴリズムと同様、高いレベルの精度を達成する。
論文 参考訳（メタデータ） (2022-10-19T12:20:07Z) - Learning a Restricted Boltzmann Machine using biased Monte Carlo
sampling [0.6554326244334867]
マルコフ・チェイン・モンテカルロによる平衡分布のサンプリングはバイアスサンプリング法により劇的に加速できることを示す。
また、このサンプリング手法を用いて、トレーニング中のログライクな勾配の計算を改善することも示している。
論文 参考訳（メタデータ） (2022-06-02T21:29:01Z) - No MCMC for me: Amortized sampling for fast and stable training of
energy-based models [62.1234885852552]
エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。
本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。
次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
論文 参考訳（メタデータ） (2020-10-08T19:17:20Z) - Non-convex Learning via Replica Exchange Stochastic Gradient MCMC [25.47669573608621]
本稿では,適応的複製交換SGMCMC(reSGMCMC)を提案し,バイアスを自動的に補正し,対応する特性について検討する。
実験では,様々な設定の広範囲な実験を通じてアルゴリズムを検証し,その結果を得た。
論文 参考訳（メタデータ） (2020-08-12T15:02:59Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。