論文の概要: Learning Restricted Boltzmann Machines with Sparse Latent Variables
- arxiv url: http://arxiv.org/abs/2006.04166v2
- Date: Sat, 17 Oct 2020 18:54:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-24 08:05:11.622027
- Title: Learning Restricted Boltzmann Machines with Sparse Latent Variables
- Title（参考訳）: スパース潜在変数を用いた制限ボルツマンマシンの学習
- Authors: Guy Bresler, Rares-Darius Buhai
- Abstract要約: 制限ボルツマンマシン(RBM)は、潜在変数を持つ非指向型グラフィカルモデルである。
そこで本研究では,RBMが生成したサンプルを学習する作業について考察する。
時間複雑性を$tildeO(n2s+1)$で学習するアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 23.521950334858566
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Restricted Boltzmann Machines (RBMs) are a common family of undirected
graphical models with latent variables. An RBM is described by a bipartite
graph, with all observed variables in one layer and all latent variables in the
other. We consider the task of learning an RBM given samples generated
according to it. The best algorithms for this task currently have time
complexity $\tilde{O}(n^2)$ for ferromagnetic RBMs (i.e., with attractive
potentials) but $\tilde{O}(n^d)$ for general RBMs, where $n$ is the number of
observed variables and $d$ is the maximum degree of a latent variable. Let the
MRF neighborhood of an observed variable be its neighborhood in the Markov
Random Field of the marginal distribution of the observed variables. In this
paper, we give an algorithm for learning general RBMs with time complexity
$\tilde{O}(n^{2^s+1})$, where $s$ is the maximum number of latent variables
connected to the MRF neighborhood of an observed variable. This is an
improvement when $s < \log_2 (d-1)$, which corresponds to RBMs with sparse
latent variables. Furthermore, we give a version of this learning algorithm
that recovers a model with small prediction error and whose sample complexity
is independent of the minimum potential in the Markov Random Field of the
observed variables. This is of interest because the sample complexity of
current algorithms scales with the inverse of the minimum potential, which
cannot be controlled in terms of natural properties of the RBM.
- Abstract（参考訳）: 制限ボルツマンマシン(RBMs)は、潜在変数を持つ非指向型グラフィカルモデルの一般的なファミリーである。
RBMは二部グラフによって記述され、観察された全ての変数は1つの層に、全ての潜伏変数はもう一方の層に記述される。
我々は,RBMが生成したサンプルを学習する作業について検討する。
このタスクに最適なアルゴリズムは、現在時間複雑性 $\tilde{O}(n^2)$ for ferromagnetic RBMs (すなわち、魅力的なポテンシャルを持つ) but $\tilde{O}(n^d)$ for general RBMs, where $n$ is the number of observed variables and $d$ is the maximum degree of a latent variable。
観測変数の MRF 近傍を、観測変数の辺分布のマルコフランダム場(Markov Random Field)の近傍とする。
本稿では,観測変数のMRF近傍に接続する潜伏変数の最大値である$s$について,時間複雑性を持つ一般RBMを学習するためのアルゴリズムを提案する。
これは、s < \log_2 (d-1)$ がスパース潜在変数を持つ RBM に対応する場合の改善である。
さらに, この学習アルゴリズムでは, 予測誤差が小さく, サンプル複雑性が観測変数のマルコフ確率場における最小ポテンシャルとは無関係なモデルを復元する。
これは、現在のアルゴリズムのサンプルの複雑さが最小ポテンシャルの逆でスケールするためであり、RBMの自然な性質では制御できない。
関連論文リスト
- Bypassing the Noisy Parity Barrier: Learning Higher-Order Markov Random Fields from Dynamics [21.976109703401114]
我々は、時間的相関サンプルからマルコフランダムフィールド(MRF)として知られるグラフィカルモデルを学ぶことの問題を考察する。
特に,Glauberのダイナミックスから,$widetildeO_k(n)$サイトの更新を$k$ MRFで行うと,$widetildeO_k(n2)$時間でグラフとパラメータを復元するアルゴリズムが存在することを示す。
私たちの結果は、MDFのより現実的で直感的に少ないモデルが、実際には効率をはるかに上回っていることを、驚くほど示しています。
論文 参考訳（メタデータ） (2024-09-09T02:32:45Z) - Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。
我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。
我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
論文 参考訳（メタデータ） (2024-05-10T09:58:47Z) - Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
論文 参考訳（メタデータ） (2023-02-27T16:34:21Z) - Horizon-Free and Variance-Dependent Reinforcement Learning for Latent
Markov Decision Processes [62.90204655228324]
我々は,後期マルコフ決定過程(LMDP)における強化学習(RL)の文脈を考慮した後悔の最小化について検討した。
我々は,モデル最適化と値最適化の両手法でインスタンス化できる,新しいモデルベースアルゴリズムフレームワークを設計する。
論文 参考訳（メタデータ） (2022-10-20T21:32:01Z) - Revealing Unobservables by Deep Learning: Generative Element Extraction
Networks (GEEN) [5.3028918247347585]
本稿では,ランダムサンプル中の潜伏変数$X*$を推定する新しい手法を提案する。
我々の知る限りでは、この論文は観測においてそのような識別を初めて提供するものである。
論文 参考訳（メタデータ） (2022-10-04T01:09:05Z) - Iterative Feature Matching: Toward Provable Domain Generalization with
Logarithmic Environments [55.24895403089543]
ドメインの一般化は、限られた数のトレーニング環境からのデータで、目に見えないテスト環境でうまく機能することを目的としています。
我々は,O(logd_s)$環境のみを見た後に一般化する予測器を高確率で生成することを保証する反復的特徴マッチングに基づく新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-18T04:39:19Z) - Estimation in Tensor Ising Models [5.161531917413708]
N$ノード上の分布から1つのサンプルを与えられた$p$-tensor Isingモデルの自然パラメータを推定する問題を考える。
特に、$sqrt N$-consistency of the MPL estimate in the $p$-spin Sherrington-Kirkpatrick (SK) model。
我々は、$p$-tensor Curie-Weiss モデルの特別な場合における MPL 推定の正確なゆらぎを導出する。
論文 参考訳（メタデータ） (2020-08-29T00:06:58Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z) - Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and
Variance Reduction [63.41789556777387]
非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。
Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
論文 参考訳（メタデータ） (2020-06-04T17:51:00Z) - Hardness of Identity Testing for Restricted Boltzmann Machines and Potts
models [4.370097023410272]
制限ボルツマンマシン(RBM)のアイデンティティテストについて検討する。
例えば、$RP neq NP$ ならば、$beta d=omega(logn)$ ならば、RBMの同一性テストは行われず、$beta d = O(logn)$ ならば、効率的な学習アルゴリズムが存在する。
論文 参考訳（メタデータ） (2020-04-22T19:21:01Z) - Learning and Sampling of Atomic Interventions from Observations [11.522442415989818]
本研究では, 因果ベイズネットワークにおける観測サンプルを用いて, 介入が単一変数(原子介入)に与える影響を効率的に推定する問題について検討した。
我々のゴールは、非パラメトリックな設定で時間とサンプルの複雑さの両方で効率的なアルゴリズムを提供することです。
論文 参考訳（メタデータ） (2020-02-11T07:15:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。