論文の概要: Efficient Evaluation of the Partition Function of RBMs with Annealed
Importance Sampling
- arxiv url: http://arxiv.org/abs/2007.11926v1
- Date: Thu, 23 Jul 2020 10:59:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-07 12:13:32.177708
- Title: Efficient Evaluation of the Partition Function of RBMs with Annealed
Importance Sampling
- Title（参考訳）: 重要度サンプリングによるRAMの分割関数の効率的な評価
- Authors: Ferran Mazzanti and Enrique Romero
- Abstract要約: Annealed Importance Smpling(AIS)メソッドは、システムのパーティション関数を推定するツールを提供する。
我々は,小・大の両問題におけるAISの性能を解析し,どちらの場合も計算コストが少なく,良好なZ推定が得られることを示した。
- 参考スコア（独自算出の注目度）: 0.30458514384586394
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Probabilistic models based on Restricted Boltzmann Machines (RBMs) imply the
evaluation of normalized Boltzmann factors, which in turn require from the
evaluation of the partition function Z. The exact evaluation of Z, though,
becomes a forbiddingly expensive task as the system size increases. This even
worsens when one considers most usual learning algorithms for RBMs, where the
exact evaluation of the gradient of the log-likelihood of the empirical
distribution of the data includes the computation of Z at each iteration. The
Annealed Importance Sampling (AIS) method provides a tool to stochastically
estimate the partition function of the system. So far, the standard use of the
AIS algorithm in the Machine Learning context has been done using a large
number of Monte Carlo steps. In this work we show that this may not be required
if a proper starting probability distribution is employed as the initialization
of the AIS algorithm. We analyze the performance of AIS in both small- and
large-sized problems, and show that in both cases a good estimation of Z can be
obtained with little computational cost.
- Abstract（参考訳）: Restricted Boltzmann Machines (RBMs) に基づく確率モデルは、分割関数 Z の評価から要求される正規化ボルツマン因子の評価を意味する。
これは、rbmsのほとんどの一般的な学習アルゴリズムを考えるとさらに悪化し、データの経験分布のログ様相の勾配の正確な評価には、各イテレーションにおけるzの計算が含まれる。
Annealed Importance Smpling(AIS)メソッドは、システムのパーティション関数を確率的に推定するツールを提供する。
これまで、機械学習コンテキストにおけるaisアルゴリズムの標準的な使用は、多数のモンテカルロステップを使用して行われてきた。
本研究では,AISアルゴリズムの初期化として適切な開始確率分布を用いる場合,これは不要であることを示す。
我々は,小・大の両問題におけるAISの性能を解析し,どちらの場合も計算コストが少なく,良好なZ推定が得られることを示した。
関連論文リスト
- Iterative Methods for Full-Scale Gaussian Process Approximations for Large Spatial Data [9.913418444556486]
本稿では, FSAを用いた確率, 勾配, 予測分布の計算コストの削減に, 反復法をどのように利用できるかを示す。
また,推定法や反復法に依存する予測分散を計算する新しい,正確かつ高速な手法を提案する。
すべてのメソッドは、ハイレベルなPythonとRパッケージを備えたフリーのC++ソフトウェアライブラリで実装されている。
論文 参考訳（メタデータ） (2024-05-23T12:25:22Z) - Mean field initialization of the Annealed Importance Sampling algorithm for an efficient evaluation of the Partition Function of Restricted Boltzmann Machines [0.0]
Annealed Importance Smpling (AIS)は、システムのパーティション関数を推定するツールである。
本研究では,適切な選択した平均場開始確率分布を用いることで,推定の品質と計算コストを両立させることができることを示す。
計算コストが比較的低いAISを用いて分割関数を推定するには,これらがよい出発点である。
論文 参考訳（メタデータ） (2024-04-17T10:22:03Z) - Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。
既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。
提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
論文 参考訳（メタデータ） (2023-07-08T15:41:48Z) - Generalizing Backpropagation for Gradient-Based Interpretability [103.2998254573497]
モデルの勾配は、半環を用いたより一般的な定式化の特別な場合であることを示す。
この観測により、バックプロパゲーションアルゴリズムを一般化し、他の解釈可能な統計を効率的に計算することができる。
論文 参考訳（メタデータ） (2023-07-06T15:19:53Z) - Provably Efficient Representation Learning with Tractable Planning in
Low-Rank POMDP [81.00800920928621]
部分的に観測可能なマルコフ決定過程(POMDP)における表現学習の研究
まず,不確実性(OFU)に直面した最大推定(MLE)と楽観性を組み合わせた復調性POMDPのアルゴリズムを提案する。
次に、このアルゴリズムをより広範な$gamma$-observable POMDPのクラスで機能させる方法を示す。
論文 参考訳（メタデータ） (2023-06-21T16:04:03Z) - Improvements to Supervised EM Learning of Shared Kernel Models by
Feature Space Partitioning [0.0]
本稿では、EMトレーニングアルゴリズムの導出における厳密さの欠如と、その手法の計算複雑性について述べる。
まず、ガウス共有カーネルモデル PRBF 分類器に対して、EM の詳細な導出を行う。
結果のSKEMアルゴリズムの複雑さを軽減するために、特徴空間を変数の非重複部分集合の$R$に分割する。
論文 参考訳（メタデータ） (2022-05-31T09:18:58Z) - Parallel Stochastic Mirror Descent for MDPs [72.75921150912556]
無限水平マルコフ決定過程(MDP)における最適政策学習の問題を考える。
リプシッツ連続関数を用いた凸プログラミング問題に対してミラー・ディクセントの変種が提案されている。
このアルゴリズムを一般の場合において解析し,提案手法の動作中に誤差を蓄積しない収束率の推定値を得る。
論文 参考訳（メタデータ） (2021-02-27T19:28:39Z) - Sample-Efficient Reinforcement Learning of Undercomplete POMDPs [91.40308354344505]
この研究は、これらの硬度障壁が、部分観測可能決定過程(POMDP)の豊かで興味深いサブクラスに対する効率的な強化学習を妨げないことを示している。
提案手法は, 観測回数が潜伏状態の数よりも大きく, 探索が学習に不可欠であり, 先行研究と区別できるような, エピソード有限不完全POMDPに対するサンプル効率アルゴリズムOOM-UCBを提案する。
論文 参考訳（メタデータ） (2020-06-22T17:58:54Z) - Learning Minimax Estimators via Online Learning [55.92459567732491]
確率分布のパラメータを推定するミニマックス推定器を設計する際の問題点を考察する。
混合ケースナッシュ平衡を求めるアルゴリズムを構築した。
論文 参考訳（メタデータ） (2020-06-19T22:49:42Z) - Scalable Distributed Approximation of Internal Measures for Clustering
Evaluation [5.144809478361603]
クラスタリング評価のための内部測度はシルエット係数であり、計算には2つの距離計算が必要である。
本稿では,任意の距離に基づいてクラスタリングの評価を行うための厳密な近似を計算した最初のスケーラブルアルゴリズムを提案する。
また,このアルゴリズムは凝集や分離などのクラスタリング品質の他の内部指標の厳密な近似に適応可能であることも証明した。
論文 参考訳（メタデータ） (2020-03-03T10:28:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。