論文の概要: From Boltzmann Machines to Neural Networks and Back Again
- arxiv url: http://arxiv.org/abs/2007.12815v1
- Date: Sat, 25 Jul 2020 00:42:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-07 00:52:46.119586
- Title: From Boltzmann Machines to Neural Networks and Back Again
- Title（参考訳）: ボルツマンマシンからニューラルネットワークまで 再び
- Authors: Surbhi Goel, Adam Klivans, Frederic Koehler
- Abstract要約: 制限ボルツマンマシン(Restricted Boltzmann Machines)は、おそらく最もよく研究されている潜在変数モデルのクラスである。
我々の結果は、$ell_infty$bounded inputの下で二層ニューラルネットワークを学習するための新しい接続に基づいている。
次に,分散仮定を使わずに,関連するネットワークのクラスに対して可能なものよりも,より優れたランタイムで教師付きRAMの自然なクラスを学習するアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 31.613544605376624
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graphical models are powerful tools for modeling high-dimensional data, but
learning graphical models in the presence of latent variables is well-known to
be difficult. In this work we give new results for learning Restricted
Boltzmann Machines, probably the most well-studied class of latent variable
models. Our results are based on new connections to learning two-layer neural
networks under $\ell_{\infty}$ bounded input; for both problems, we give nearly
optimal results under the conjectured hardness of sparse parity with noise.
Using the connection between RBMs and feedforward networks, we also initiate
the theoretical study of $supervised~RBMs$ [Hinton, 2012], a version of
neural-network learning that couples distributional assumptions induced from
the underlying graphical model with the architecture of the unknown function
class. We then give an algorithm for learning a natural class of supervised
RBMs with better runtime than what is possible for its related class of
networks without distributional assumptions.
- Abstract（参考訳）: グラフィカルモデルは高次元データをモデリングするための強力なツールであるが、潜在変数の存在下でグラフィカルなモデルを学習することは困難である。
この研究において、最もよく研究されている潜在変数モデルのクラスであるRestricted Boltzmann Machinesを学習するための新しい結果を与える。
その結果,2層ニューラルネットワークの学習に対する新たな接続として,$\ell_{\infty}$ の有界入力が得られた。
RBMとフィードフォワードネットワークの接続を利用して、基礎となるグラフィカルモデルから導出される分布仮定と未知の関数クラスのアーキテクチャを結合するニューラルネットワーク学習の、$supervised~RBMs$[Hinton, 2012]の理論的研究を開始する。
次に, 分布的仮定を伴わずに, 関連するネットワークのクラスに対して可能なものよりも, 実行時に優れた教師付きrbmsの自然なクラスを学習するためのアルゴリズムを与える。
関連論文リスト
- Diffusion-Model-Assisted Supervised Learning of Generative Models for
Density Estimation [10.793646707711442]
本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。
スコアベース拡散モデルを用いてラベル付きデータを生成する。
ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
論文 参考訳（メタデータ） (2023-10-22T23:56:19Z) - Layer-wise Linear Mode Connectivity [52.6945036534469]
ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。
フェデレートラーニングにおいて最も顕著に用いられている。
私たちは、単一グループやグループを平均化するモデルの性能を分析します。
論文 参考訳（メタデータ） (2023-07-13T09:39:10Z) - Interpretability of an Interaction Network for identifying $H
\rightarrow b\bar{b}$ jets [4.553120911976256]
近年、ディープニューラルネットワークに基づくAIモデルは、これらのアプリケーションの多くで人気が高まっている。
我々は、高揚した$Hto bbarb$ jetを識別するために設計されたインタラクションネットワーク(IN)モデルを調べることで、AIモデルの解釈可能性を検討する。
さらに、INモデル内の隠れレイヤの活動を、ニューラルアクティベーションパターン(NAP)ダイアグラムとして記述する。
論文 参考訳（メタデータ） (2022-11-23T08:38:52Z) - EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。
メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文 参考訳（メタデータ） (2022-02-21T18:59:03Z) - Neural Capacitance: A New Perspective of Neural Network Selection via
Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。
本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。
我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文 参考訳（メタデータ） (2022-01-11T20:53:15Z) - Tensor networks for unsupervised machine learning [9.897828174118974]
本稿では,量子多体物理学の行列状態と機械学習の自己回帰モデルを組み合わせたテンソルネットワークモデルであるAutoregressive Matrix Product States(AMPS)を提案する。
提案手法は,既存のテンソルネットワークモデルや制限されたボルツマンマシンよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-06-24T12:51:00Z) - Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。
また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
論文 参考訳（メタデータ） (2021-06-24T01:40:17Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Sparsely constrained neural networks for model discovery of PDEs [0.0]
本稿では,任意のスパース回帰手法を用いて,ディープラーニングに基づくサロゲートのスパースパターンを決定するモジュラーフレームワークを提案する。
異なるネットワークアーキテクチャと疎度推定器がモデル発見精度と収束性を,いくつかのベンチマーク例でどのように改善するかを示す。
論文 参考訳（メタデータ） (2020-11-09T11:02:40Z) - Learning Queuing Networks by Recurrent Neural Networks [0.0]
データから性能モデルを導出する機械学習手法を提案する。
我々は、通常の微分方程式のコンパクトな系の観点から、それらの平均力学の決定論的近似を利用する。
これにより、ニューラルネットワークの解釈可能な構造が可能になり、システム測定からトレーニングしてホワイトボックスパラメータ化モデルを生成することができる。
論文 参考訳（メタデータ） (2020-02-25T10:56:47Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。