論文の概要: On the mapping between Hopfield networks and Restricted Boltzmann Machines

• arxiv url: http://arxiv.org/abs/2101.11744v2
• Date: Sat, 6 Mar 2021 02:08:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-13 19:31:22.342210
• Title: On the mapping between Hopfield networks and Restricted Boltzmann Machines
• Title（参考訳）: ホップフィールドネットワークと制限ボルツマンマシンのマッピングについて
• Authors: Matthew Smart, Anton Zilman
• Abstract要約: ホップフィールドネットワーク(HN)と制限ボルツマンマシン(RBM)の正確なマッピングを示す。 逆写像が存在する条件を概説し、MNISTデータセット上で実験を行う。 本稿では,拡張性,RBMの訓練におけるこの対応の重要性,およびRBMを利用した深層建築の性能の理解について論じる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hopfield networks (HNs) and Restricted Boltzmann Machines (RBMs) are two important models at the interface of statistical physics, machine learning, and neuroscience. Recently, there has been interest in the relationship between HNs and RBMs, due to their similarity under the statistical mechanics formalism. An exact mapping between HNs and RBMs has been previously noted for the special case of orthogonal (uncorrelated) encoded patterns. We present here an exact mapping in the case of correlated pattern HNs, which are more broadly applicable to existing datasets. Specifically, we show that any HN with $N$ binary variables and $p<N$ arbitrary binary patterns can be transformed into an RBM with $N$ binary visible variables and $p$ gaussian hidden variables. We outline the conditions under which the reverse mapping exists, and conduct experiments on the MNIST dataset which suggest the mapping provides a useful initialization to the RBM weights. We discuss extensions, the potential importance of this correspondence for the training of RBMs, and for understanding the performance of deep architectures which utilize RBMs.
• Abstract（参考訳）: ホップフィールド・ネットワーク(HN)と制限ボルツマン・マシン(RBM)は統計物理学、機械学習、神経科学の2つの重要なモデルである。 近年、統計力学の定式化の下での類似性から、HNsとRBMsの関係への関心が高まっている。 HNとRBMの正確なマッピングは、直交(非相関)符号化パターンの特別なケースで以前に指摘されている。 ここでは、既存のデータセットに広く適用できる相関パターンHNの正確なマッピングを紹介します。 具体的には、$N$ バイナリ変数と $p<N$ 任意のバイナリパターンを持つ HN は、$N$ バイナリ可視変数と $p$ gaussian 隠れ変数を持つ RBM に変換できることを示します。 逆写像が存在する条件を概説し、MNISTデータセット上で実験を行い、このマッピングがRBM重み付けに有用な初期化を提供することを示唆する。 本稿では,拡張性,RBMの訓練におけるこの対応の重要性,およびRBMを利用した深層建築の性能の理解について論じる。

関連論文リスト

• Scalable Weibull Graph Attention Autoencoder for Modeling Document Networks [50.42343781348247]
  解析条件後部を解析し,推論精度を向上させるグラフポアソン因子分析法(GPFA)を開発した。 また,GPFAを多層構造に拡張したグラフPoisson gamma belief Network (GPGBN) を用いて,階層的な文書関係を複数の意味レベルで捉える。 本モデルでは,高品質な階層型文書表現を抽出し,様々なグラフ解析タスクにおいて有望な性能を実現する。
  論文  参考訳（メタデータ） (2024-10-13T02:22:14Z)
• Learning Restricted Boltzmann Machines with greedy quantum search [2.98017021422101]
  我々は、量子コンピューティング領域の範囲を拡大し、この問題に対する対応する量子アルゴリズムを提案する。 本研究は,提案した量子アルゴリズムが,これらの2種類のRBMの構造を学習するための古典的アルゴリズムと比較して高速化されることを示す。
  論文  参考訳（メタデータ） (2023-09-25T14:56:30Z)
• DA-VEGAN: Differentiably Augmenting VAE-GAN for microstructure reconstruction from extremely small data sets [110.60233593474796]
  DA-VEGANは2つの中心的なイノベーションを持つモデルである。 $beta$-variational autoencoderはハイブリッドGANアーキテクチャに組み込まれている。 このアーキテクチャに特化して、独自の差別化可能なデータ拡張スキームが開発されている。
  論文  参考訳（メタデータ） (2023-02-17T08:49:09Z)
• Tree Mover's Distance: Bridging Graph Metrics and Stability of Graph Neural Networks [54.225220638606814]
  本稿では,属性グラフの擬似測度,ツリー・モーバー距離(TMD)を提案し,その一般化との関係について検討する。 まず、TMDはグラフ分類に関連する特性をキャプチャし、単純なTMD-SVMは標準のGNNと競合することを示す。 第2に、分散シフトの下でのGNNの一般化とTMDを関連付け、そのようなシフト下での性能低下とよく相関していることを示す。
  論文  参考訳（メタデータ） (2022-10-04T21:03:52Z)
• Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution Detection [55.028065567756066]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。 本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。 バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。 We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
  論文  参考訳（メタデータ） (2022-06-26T16:00:22Z)
• Restricted Boltzmann Machine and Deep Belief Network: Tutorial and Survey [5.967999555890417]
  本チュートリアルおよび調査論文は,Boltzmann Machine (BM), Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN)に関するものである。 まず,確率的グラフィカルモデル,マルコフ確率場,ギブスサンプリング,統計物理学,イジングモデル,ホップフィールドネットワークの背景から始める。 可視変数と隠れ変数の条件分布,変数を生成するためのRBMにおけるギブズサンプリング,最大推定値によるBMとRBMのトレーニング,および対照的なばらつきについて説明する。
  論文  参考訳（メタデータ） (2021-07-26T23:59:12Z)
• Barriers and Dynamical Paths in Alternating Gibbs Sampling of Restricted Boltzmann Machines [0.0]
  本研究は,AGS(Alternating Gibbs Sampling)の性能について,解析的に抽出可能なモデルを用いて検討する。 AGSは従来のメトロポリス・ハスティングス(MH)より効率が良くないことを示す。 私たちは、機械学習でよく知られるBarsとStripesとMNIST、いわゆるLattice Proteinsという3つのデータセットについて、我々の研究結果を説明します。
  論文  参考訳（メタデータ） (2021-07-13T12:07:56Z)
• Restricted Boltzmann Machine, recent advances and mean-field theory [0.8702432681310401]
  Restricted Boltzmann Machine (RBM) を統計物理学の光の下で扱う。 RBMは機械学習(ML)モデルの古典的なファミリーであり、ディープラーニングの発展において中心的な役割を果たした。
  論文  参考訳（メタデータ） (2020-11-23T10:08:53Z)
• Exact representations of many body interactions with RBM neural networks [77.34726150561087]
  我々は、RBMの表現力を利用して、多体接触相互作用を1体演算子に正確に分解する。 この構成は、ハバードモデルでよく知られたヒルシュの変換を、核物理学におけるピオンレスFTのようなより複雑な理論に一般化する。
  論文  参考訳（メタデータ） (2020-05-07T15:59:29Z)
• On the Difference Between the Information Bottleneck and the Deep Information Bottleneck [81.89141311906552]
  本稿では,Deep Variational Information Bottleneckとその導出に必要な仮定について再考する。 後者のマルコフ連鎖のみを満たすべき$I(T;Y)$に対して下界を最適化することで、この制限を回避する方法を示す。
  論文  参考訳（メタデータ） (2019-12-31T18:31:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。