論文の概要: Restricted Boltzmann Machine, recent advances and mean-field theory
- arxiv url: http://arxiv.org/abs/2011.11307v2
- Date: Fri, 28 May 2021 08:32:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-22 03:33:14.044036
- Title: Restricted Boltzmann Machine, recent advances and mean-field theory
- Title（参考訳）: 制限ボルツマン機械、最近の進歩と平均場理論
- Authors: Aur\'elien Decelle and Cyril Furtlehner
- Abstract要約: Restricted Boltzmann Machine (RBM) を統計物理学の光の下で扱う。
RBMは機械学習(ML)モデルの古典的なファミリーであり、ディープラーニングの発展において中心的な役割を果たした。
- 参考スコア（独自算出の注目度）: 0.8702432681310401
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This review deals with Restricted Boltzmann Machine (RBM) under the light of
statistical physics. The RBM is a classical family of Machine learning (ML)
models which played a central role in the development of deep learning. Viewing
it as a Spin Glass model and exhibiting various links with other models of
statistical physics, we gather recent results dealing with mean-field theory in
this context. First the functioning of the RBM can be analyzed via the phase
diagrams obtained for various statistical ensembles of RBM leading in
particular to identify a {\it compositional phase} where a small number of
features or modes are combined to form complex patterns. Then we discuss recent
works either able to devise mean-field based learning algorithms; either able
to reproduce generic aspects of the learning process from some {\it ensemble
dynamics equations} or/and from linear stability arguments.
- Abstract（参考訳）: このレビューは統計物理学の光の下で制限ボルツマン機械(RBM)を扱う。
RBMは機械学習(ML)モデルの古典的なファミリーであり、ディープラーニングの発展において中心的な役割を果たした。
スピングラスモデルとみなし、統計物理学の他のモデルと様々な関連性を示すことから、この文脈で平均場理論を扱う最近の結果を収集する。
第一に、RBMの機能は、RBMの様々な統計的アンサンブルの位相図によって解析され、特に少数の特徴やモードが組み合わさって複雑なパターンを形成するような合成位相を特定することができる。
次に、平均場に基づく学習アルゴリズムを考案できる最近の研究について論じる。学習過程の一般的な側面を、いくつかの {\displaystyle {\it ensemble dynamics equation} から再現するか、線形安定性の議論から再現することができる。
関連論文リスト
- Relational Learning in Pre-Trained Models: A Theory from Hypergraph Recovery Perspective [60.64922606733441]
我々は,関係学習をハイパーグラフリカバリとして形式化する数学的モデルを導入し,基礎モデル(FM)の事前学習について検討する。
我々のフレームワークでは、世界はハイパーグラフとして表現され、データはハイパーエッジからランダムなサンプルとして抽象化される。我々は、このハイパーグラフを復元するための事前学習モデル(PTM)の有効性を理論的に検証し、ミニマックスに近い最適スタイルでデータ効率を解析する。
論文 参考訳（メタデータ） (2024-06-17T06:20:39Z) - Discovering Interpretable Physical Models using Symbolic Regression and
Discrete Exterior Calculus [55.2480439325792]
本稿では,記号回帰(SR)と離散指数計算(DEC)を組み合わせて物理モデルの自動発見を行うフレームワークを提案する。
DECは、SRの物理問題への最先端の応用を越えている、場の理論の離散的な類似に対して、ビルディングブロックを提供する。
実験データから連続体物理の3つのモデルを再発見し,本手法の有効性を実証する。
論文 参考訳（メタデータ） (2023-10-10T13:23:05Z) - Tasks Makyth Models: Machine Learning Assisted Surrogates for Tipping
Points [0.0]
本稿では,複雑なシステムの創発的挙動におけるヒント点を検出するための機械学習支援フレームワークを提案する。
我々は、異なるスケールで創発的ダイナミクスのための縮小次モデルを構築した。
異なるモデルの使用と、それらを学ぶための努力とは対照的です。
論文 参考訳（メタデータ） (2023-09-25T17:58:23Z) - Capturing dynamical correlations using implicit neural representations [85.66456606776552]
実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。
そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
論文 参考訳（メタデータ） (2023-04-08T07:55:36Z) - The emergence of a concept in shallow neural networks [0.0]
我々は,定型だが不可能なアーチタイプを曖昧にコピーした非構造化データセット上で訓練された制限されたボルツマンマシン(RBM)を考える。」
RBMが古型を学習できる限界標本サイズが存在することを示す。
論文 参考訳（メタデータ） (2021-09-01T15:56:38Z) - Mean-field methods and algorithmic perspectives for high-dimensional
machine learning [5.406386303264086]
障害のあるシステムの統計物理学のツールに基づくアプローチを再検討する。
我々は、様々な理論モデルの位相図に光を放つために、複製法とメッセージパッシングアルゴリズムの深い接続に乗じる。
論文 参考訳（メタデータ） (2021-03-10T09:02:36Z) - Physics-Integrated Variational Autoencoders for Robust and Interpretable
Generative Modeling [86.9726984929758]
我々は、不完全物理モデルの深部生成モデルへの統合に焦点を当てる。
本稿では,潜在空間の一部が物理によって基底づけられたVAEアーキテクチャを提案する。
合成および実世界のデータセットの集合に対して生成的性能改善を示す。
論文 参考訳（メタデータ） (2021-02-25T20:28:52Z) - Using Restricted Boltzmann Machines to Model Molecular Geometries [0.0]
本稿では,ボルツマンマシンの高速学習能力と表現力を利用して,物理パラメータ群をモデル化するための新しい手法を提案する。
本稿では,Tanhアクティベーション機能に基づく新しいRBMについて紹介し,異なるアクティベーション機能を有するRBMの比較を行う。
我々は、水やエタンなどの小さな分子をモデル化するガウスRBMの能力を示す。
論文 参考訳（メタデータ） (2020-12-13T07:02:32Z) - Exact representations of many body interactions with RBM neural networks [77.34726150561087]
我々は、RBMの表現力を利用して、多体接触相互作用を1体演算子に正確に分解する。
この構成は、ハバードモデルでよく知られたヒルシュの変換を、核物理学におけるピオンレスFTのようなより複雑な理論に一般化する。
論文 参考訳（メタデータ） (2020-05-07T15:59:29Z) - Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。
また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
論文 参考訳（メタデータ） (2020-02-20T15:43:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。