論文の概要: Dense Hebbian neural networks: a replica symmetric picture of supervised
learning
- arxiv url: http://arxiv.org/abs/2212.00606v2
- Date: Sun, 2 Jul 2023 14:36:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-04 15:11:13.329466
- Title: Dense Hebbian neural networks: a replica symmetric picture of supervised
learning
- Title（参考訳）: Dense Hebbian Neural Network:教師付き学習のレプリカ対称画像
- Authors: Elena Agliari, Linda Albanese, Francesco Alemanno, Andrea
Alessandrelli, Adriano Barra, Fosca Giannotti, Daniele Lotito, Dino Pedreschi
- Abstract要約: 我々は教師が指導する高密度で連想的なニューラルネットについて検討する。
スピングラスの統計力学およびモンテカルロシミュレーションによる数値計算能力の解析を行った。
- 参考スコア（独自算出の注目度）: 4.133728123207142
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider dense, associative neural-networks trained by a teacher (i.e.,
with supervision) and we investigate their computational capabilities
analytically, via statistical-mechanics of spin glasses, and numerically, via
Monte Carlo simulations. In particular, we obtain a phase diagram summarizing
their performance as a function of the control parameters such as quality and
quantity of the training dataset, network storage and noise, that is valid in
the limit of large network size and structureless datasets: these networks may
work in a ultra-storage regime (where they can handle a huge amount of
patterns, if compared with shallow neural networks) or in a ultra-detection
regime (where they can perform pattern recognition at prohibitive
signal-to-noise ratios, if compared with shallow neural networks). Guided by
the random theory as a reference framework, we also test numerically learning,
storing and retrieval capabilities shown by these networks on structured
datasets as MNist and Fashion MNist. As technical remarks, from the analytic
side, we implement large deviations and stability analysis within Guerra's
interpolation to tackle the not-Gaussian distributions involved in the
post-synaptic potentials while, from the computational counterpart, we insert
Plefka approximation in the Monte Carlo scheme, to speed up the evaluation of
the synaptic tensors, overall obtaining a novel and broad approach to
investigate supervised learning in neural networks, beyond the shallow limit,
in general.
- Abstract（参考訳）: 教師が訓練した密集した連想型ニューラルネットワークについて検討し,スピングラスの統計力学,モンテカルロシミュレーションによる数値計算によりその計算能力を解析的に検討した。
In particular, we obtain a phase diagram summarizing their performance as a function of the control parameters such as quality and quantity of the training dataset, network storage and noise, that is valid in the limit of large network size and structureless datasets: these networks may work in a ultra-storage regime (where they can handle a huge amount of patterns, if compared with shallow neural networks) or in a ultra-detection regime (where they can perform pattern recognition at prohibitive signal-to-noise ratios, if compared with shallow neural networks).
また,MNist や Fashion MNist などの構造化データセット上で,これらのネットワークが示す数値学習,記憶,検索機能についても検証した。
As technical remarks, from the analytic side, we implement large deviations and stability analysis within Guerra's interpolation to tackle the not-Gaussian distributions involved in the post-synaptic potentials while, from the computational counterpart, we insert Plefka approximation in the Monte Carlo scheme, to speed up the evaluation of the synaptic tensors, overall obtaining a novel and broad approach to investigate supervised learning in neural networks, beyond the shallow limit, in general.
関連論文リスト
- Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。
ネットワークが強力なデータ依存機能を取得することを示す。
驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文 参考訳（メタデータ） (2024-06-24T14:50:05Z) - Fundamental limits of overparametrized shallow neural networks for
supervised learning [11.136777922498355]
本研究では,教師ネットワークが生成した入力-出力ペアから学習した2層ニューラルネットワークについて検討する。
この結果は,トレーニングデータとネットワーク重み間の相互情報,すなわちベイズ最適一般化誤差に関連する境界の形で得られる。
論文 参考訳（メタデータ） (2023-07-11T08:30:50Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - Dense Hebbian neural networks: a replica symmetric picture of
unsupervised learning [4.133728123207142]
我々は、監督なしで訓練された密集的で連想的なニューラルネットを考える。
本稿では,モンテカルロシミュレーションを用いて,その計算能力を解析的に,統計力学的手法を用いて,数値解析的に検討する。
論文 参考訳（メタデータ） (2022-11-25T12:40:06Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Dynamic Analysis of Nonlinear Civil Engineering Structures using
Artificial Neural Network with Adaptive Training [2.1202971527014287]
本研究では,適応学習アルゴリズムを用いて人工ニューラルネットワークを開発した。
実地運動記録に対するせん断フレームと岩体構造の時間履歴応答をネットワークで予測できる。
論文 参考訳（メタデータ） (2021-11-21T21:14:48Z) - Anomaly Detection on Attributed Networks via Contrastive Self-Supervised
Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。
このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。
高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文 参考訳（メタデータ） (2021-02-27T03:17:20Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。