論文の概要: Learning Restricted Boltzmann Machines with Sparse Latent Variables
- arxiv url: http://arxiv.org/abs/2006.04166v2
- Date: Sat, 17 Oct 2020 18:54:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-24 08:05:11.622027
- Title: Learning Restricted Boltzmann Machines with Sparse Latent Variables
- Title(参考訳): スパース潜在変数を用いた制限ボルツマンマシンの学習
- Authors: Guy Bresler, Rares-Darius Buhai
- Abstract要約: 制限ボルツマンマシン(RBM)は、潜在変数を持つ非指向型グラフィカルモデルである。
そこで本研究では,RBMが生成したサンプルを学習する作業について考察する。
時間複雑性を$tildeO(n2s+1)$で学習するアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 23.521950334858566
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Restricted Boltzmann Machines (RBMs) are a common family of undirected
graphical models with latent variables. An RBM is described by a bipartite
graph, with all observed variables in one layer and all latent variables in the
other. We consider the task of learning an RBM given samples generated
according to it. The best algorithms for this task currently have time
complexity $\tilde{O}(n^2)$ for ferromagnetic RBMs (i.e., with attractive
potentials) but $\tilde{O}(n^d)$ for general RBMs, where $n$ is the number of
observed variables and $d$ is the maximum degree of a latent variable. Let the
MRF neighborhood of an observed variable be its neighborhood in the Markov
Random Field of the marginal distribution of the observed variables. In this
paper, we give an algorithm for learning general RBMs with time complexity
$\tilde{O}(n^{2^s+1})$, where $s$ is the maximum number of latent variables
connected to the MRF neighborhood of an observed variable. This is an
improvement when $s < \log_2 (d-1)$, which corresponds to RBMs with sparse
latent variables. Furthermore, we give a version of this learning algorithm
that recovers a model with small prediction error and whose sample complexity
is independent of the minimum potential in the Markov Random Field of the
observed variables. This is of interest because the sample complexity of
current algorithms scales with the inverse of the minimum potential, which
cannot be controlled in terms of natural properties of the RBM.
- Abstract(参考訳): 制限ボルツマンマシン(RBMs)は、潜在変数を持つ非指向型グラフィカルモデルの一般的なファミリーである。
RBMは二部グラフによって記述され、観察された全ての変数は1つの層に、全ての潜伏変数はもう一方の層に記述される。
我々は,RBMが生成したサンプルを学習する作業について検討する。
このタスクに最適なアルゴリズムは、現在時間複雑性 $\tilde{O}(n^2)$ for ferromagnetic RBMs (すなわち、魅力的なポテンシャルを持つ) but $\tilde{O}(n^d)$ for general RBMs, where $n$ is the number of observed variables and $d$ is the maximum degree of a latent variable。
観測変数の MRF 近傍を、観測変数の辺分布のマルコフランダム場(Markov Random Field)の近傍とする。
本稿では,観測変数のMRF近傍に接続する潜伏変数の最大値である$s$について,時間複雑性を持つ一般RBMを学習するためのアルゴリズムを提案する。
これは、s < \log_2 (d-1)$ がスパース潜在変数を持つ RBM に対応する場合の改善である。
さらに, この学習アルゴリズムでは, 予測誤差が小さく, サンプル複雑性が観測変数のマルコフ確率場における最小ポテンシャルとは無関係なモデルを復元する。
これは、現在のアルゴリズムのサンプルの複雑さが最小ポテンシャルの逆でスケールするためであり、RBMの自然な性質では制御できない。
関連論文リスト
- TIC-TAC: A Framework To Learn And Evaluate Your Covariance [119.82937345718378]
State-of-the-art method predict the mean $f_theta(x)$ and covariance $textrmCov(f_theta(x))$ of the target distribution through the two neural network using the negative log-likelihood。
1)予測共分散は予測平均のランダム性を真に捉えているのか?
論文 参考訳(メタデータ) (2023-10-29T09:54:03Z) - Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
論文 参考訳(メタデータ) (2023-02-27T16:34:21Z) - Stochastic Approximation Approaches to Group Distributionally Robust
Optimization [96.26317627118912]
群分散ロバスト最適化(GDRO)
オンライン学習技術は、各ラウンドに必要なサンプル数をm$から1$に減らし、同じサンプルを保持する。
分布依存収束率を導出できる重み付きGDROの新規な定式化。
論文 参考訳(メタデータ) (2023-02-18T09:24:15Z) - Horizon-Free and Variance-Dependent Reinforcement Learning for Latent
Markov Decision Processes [62.90204655228324]
我々は,後期マルコフ決定過程(LMDP)における強化学習(RL)の文脈を考慮した後悔の最小化について検討した。
我々は,モデル最適化と値最適化の両手法でインスタンス化できる,新しいモデルベースアルゴリズムフレームワークを設計する。
論文 参考訳(メタデータ) (2022-10-20T21:32:01Z) - Revealing Unobservables by Deep Learning: Generative Element Extraction
Networks (GEEN) [5.3028918247347585]
本稿では,ランダムサンプル中の潜伏変数$X*$を推定する新しい手法を提案する。
我々の知る限りでは、この論文は観測においてそのような識別を初めて提供するものである。
論文 参考訳(メタデータ) (2022-10-04T01:09:05Z) - An Improved Analysis of Gradient Tracking for Decentralized Machine
Learning [34.144764431505486]
トレーニングデータが$n$エージェントに分散されるネットワーク上での分散機械学習を検討する。
エージェントの共通の目標は、すべての局所損失関数の平均を最小化するモデルを見つけることである。
ノイズのない場合、$p$を$mathcalO(p-1)$から$mathcalO(p-1)$に改善します。
論文 参考訳(メタデータ) (2022-02-08T12:58:14Z) - Estimation in Tensor Ising Models [5.161531917413708]
N$ノード上の分布から1つのサンプルを与えられた$p$-tensor Isingモデルの自然パラメータを推定する問題を考える。
特に、$sqrt N$-consistency of the MPL estimate in the $p$-spin Sherrington-Kirkpatrick (SK) model。
我々は、$p$-tensor Curie-Weiss モデルの特別な場合における MPL 推定の正確なゆらぎを導出する。
論文 参考訳(メタデータ) (2020-08-29T00:06:58Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳(メタデータ) (2020-07-16T06:44:44Z) - Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and
Variance Reduction [63.41789556777387]
非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。
Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
論文 参考訳(メタデータ) (2020-06-04T17:51:00Z) - Hardness of Identity Testing for Restricted Boltzmann Machines and Potts
models [4.370097023410272]
制限ボルツマンマシン(RBM)のアイデンティティテストについて検討する。
例えば、$RP neq NP$ ならば、$beta d=omega(logn)$ ならば、RBMの同一性テストは行われず、$beta d = O(logn)$ ならば、効率的な学習アルゴリズムが存在する。
論文 参考訳(メタデータ) (2020-04-22T19:21:01Z) - Learning and Sampling of Atomic Interventions from Observations [11.522442415989818]
本研究では, 因果ベイズネットワークにおける観測サンプルを用いて, 介入が単一変数(原子介入)に与える影響を効率的に推定する問題について検討した。
我々のゴールは、非パラメトリックな設定で時間とサンプルの複雑さの両方で効率的なアルゴリズムを提供することです。
論文 参考訳(メタデータ) (2020-02-11T07:15:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。