論文の概要: Mean field initialization of the Annealed Importance Sampling algorithm for an efficient evaluation of the Partition Function of Restricted Boltzmann Machines
- arxiv url: http://arxiv.org/abs/2404.11229v1
- Date: Wed, 17 Apr 2024 10:22:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-18 14:35:31.407242
- Title: Mean field initialization of the Annealed Importance Sampling algorithm for an efficient evaluation of the Partition Function of Restricted Boltzmann Machines
- Title（参考訳）: 制限ボルツマンマシンの分割関数の効率的な評価のためのAnnealed Importance Smplingアルゴリズムの平均場初期化
- Authors: A. Prat Pou, E. Romero, J. Martí, F. Mazzanti,
- Abstract要約: Annealed Importance Smpling (AIS)は、システムのパーティション関数を推定するツールである。
本研究では,適切な選択した平均場開始確率分布を用いることで,推定の品質と計算コストを両立させることができることを示す。
計算コストが比較的低いAISを用いて分割関数を推定するには,これらがよい出発点である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Probabilistic models in physics often require from the evaluation of normalized Boltzmann factors, which in turn implies the computation of the partition function Z. Getting the exact value of Z, though, becomes a forbiddingly expensive task as the system size increases. This problem is also present in probabilistic learning models such as the Restricted Boltzmann Machine (RBM), where the situation is even worse as the exact learning rules implies the computation of Z at each iteration. A possible way to tackle this problem is to use the Annealed Importance Sampling (AIS) algorithm, which provides a tool to stochastically estimate the partition function of the system. So far, the standard application of the AIS algorithm starts from the uniform probability distribution and uses a large number of Monte Carlo steps to obtain reliable estimations of Z following an annealing process. In this work we show that both the quality of the estimation and the cost of the computation can be significantly improved by using a properly selected mean-field starting probability distribution. We perform a systematic analysis of AIS in both small- and large-sized problems, and compare the results to exact values in problems where these are known. As a result of our systematic analysis, we propose two successful strategies that work well in all the problems analyzed. We conclude that these are good starting points to estimate the partition function with AIS with a relatively low computational cost.
- Abstract（参考訳）: 物理学における確率モデルは、しばしば正規化ボルツマン因子の評価から要求されるが、これは分割関数 Z の計算を意味する。
この問題はRestricted Boltzmann Machine (RBM) のような確率論的学習モデルにも存在し、正確な学習規則は各繰り返しにおけるZの計算を意味するため、状況はさらに悪化する。
この問題に対処する方法の1つは、システムのパーティション関数を確率的に推定するツールであるAnnealed Importance Sampling (AIS)アルゴリズムを使用することである。
これまでのところ、AISアルゴリズムの標準的な適用は、均一な確率分布から始まり、多数のモンテカルロステップを使用して、アニール過程の後にZの信頼性の高い推定値を得る。
本研究では,推定値の品質と計算コストの両方を,適切に選択された平均場開始確率分布を用いて向上させることができることを示す。
我々は,AISを小規模・大規模ともに体系的に分析し,その結果を既知の問題における正確な値と比較する。
系統分析の結果、分析された全ての問題でうまく機能する2つの戦略が提案される。
計算コストが比較的低いAISを用いて分割関数を推定するには,これらがよい出発点である。
関連論文リスト
- Provably Efficient Representation Learning with Tractable Planning in
Low-Rank POMDP [81.00800920928621]
部分的に観測可能なマルコフ決定過程(POMDP)における表現学習の研究
まず,不確実性(OFU)に直面した最大推定(MLE)と楽観性を組み合わせた復調性POMDPのアルゴリズムを提案する。
次に、このアルゴリズムをより広範な$gamma$-observable POMDPのクラスで機能させる方法を示す。
論文 参考訳（メタデータ） (2023-06-21T16:04:03Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳（メタデータ） (2023-06-13T01:18:16Z) - A Learning-Based Optimal Uncertainty Quantification Method and Its
Application to Ballistic Impact Problems [1.713291434132985]
本稿では、入力(または事前)測度が部分的に不完全であるシステムに対する最適(最大および無限)不確実性境界について述べる。
本研究では,不確実性最適化問題に対する学習基盤の枠組みを実証する。
本手法は,工学的実践における性能証明と安全性のためのマップ構築に有効であることを示す。
論文 参考訳（メタデータ） (2022-12-28T14:30:53Z) - Bayesian sequential design of computer experiments for quantile set inversion [0.0]
複素数値シミュレータのようなシステムを表現する未知の多変量関数を考える。
我々の目的は、確率が与えられた閾値未満の出力につながる決定論的入力のセットを推定することである。
論文 参考訳（メタデータ） (2022-11-02T10:14:05Z) - Robust leave-one-out cross-validation for high-dimensional Bayesian
models [0.0]
レリーブ・ワン・アウト・クロスバリデーション (LOO-CV) は、アウト・オブ・サンプル予測精度を推定するための一般的な手法である。
そこで本研究では,LOO-CV基準を計算するための新しい混合推定器を提案し,解析する。
提案手法は古典的手法の単純さと計算的利便性を保ちながら, 得られた推定値の有限分散を保証している。
論文 参考訳（メタデータ） (2022-09-19T17:14:52Z) - Parallel Stochastic Mirror Descent for MDPs [72.75921150912556]
無限水平マルコフ決定過程(MDP)における最適政策学習の問題を考える。
リプシッツ連続関数を用いた凸プログラミング問題に対してミラー・ディクセントの変種が提案されている。
このアルゴリズムを一般の場合において解析し,提案手法の動作中に誤差を蓄積しない収束率の推定値を得る。
論文 参考訳（メタデータ） (2021-02-27T19:28:39Z) - Efficient semidefinite-programming-based inference for binary and
multi-class MRFs [83.09715052229782]
分割関数やMAP推定をペアワイズMRFで効率的に計算する手法を提案する。
一般のバイナリMRFから完全多クラス設定への半定緩和を拡張し、解法を用いて再び効率的に解けるようなコンパクトな半定緩和を開発する。
論文 参考訳（メタデータ） (2020-12-04T15:36:29Z) - Variance based sensitivity analysis for Monte Carlo and importance
sampling reliability assessment with Gaussian processes [0.0]
本稿では,2つの不確実性源に対する故障推定器の感度を定量的に評価する手法を提案する。
この分析により、故障確率推定に関連する全誤差を制御でき、推定の精度基準を提供する。
本手法は, モンテカルロ法と重要サンプリング法の両方で提案され, 希少事象確率の推定を改善することを目的としている。
論文 参考訳（メタデータ） (2020-11-30T17:06:28Z) - Efficient Evaluation of the Partition Function of RBMs with Annealed
Importance Sampling [0.30458514384586394]
Annealed Importance Smpling(AIS)メソッドは、システムのパーティション関数を推定するツールを提供する。
我々は,小・大の両問題におけるAISの性能を解析し,どちらの場合も計算コストが少なく,良好なZ推定が得られることを示した。
論文 参考訳（メタデータ） (2020-07-23T10:59:04Z) - Learning Minimax Estimators via Online Learning [55.92459567732491]
確率分布のパラメータを推定するミニマックス推定器を設計する際の問題点を考察する。
混合ケースナッシュ平衡を求めるアルゴリズムを構築した。
論文 参考訳（メタデータ） (2020-06-19T22:49:42Z) - Active Model Estimation in Markov Decision Processes [108.46146218973189]
マルコフ決定過程(MDP)をモデル化した環境の正確なモデル学習のための効率的な探索の課題について検討する。
マルコフに基づくアルゴリズムは,本アルゴリズムと極大エントロピーアルゴリズムの両方を小サンプル方式で上回っていることを示す。
論文 参考訳（メタデータ） (2020-03-06T16:17:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。