論文の概要: Dense Hebbian neural networks: a replica symmetric picture of unsupervised learning

• arxiv url: http://arxiv.org/abs/2211.14067v1
• Date: Fri, 25 Nov 2022 12:40:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-28 17:57:05.688562
• Title: Dense Hebbian neural networks: a replica symmetric picture of unsupervised learning
• Title（参考訳）: 密集したヘビーニューラルネットワーク:教師なし学習のレプリカ対称画像
• Authors: Elena Agliari, Linda Albanese, Francesco Alemanno, Andrea Alessandrelli, Adriano Barra, Fosca Giannotti, Daniele Lotito, Dino Pedreschi
• Abstract要約: 我々は、監督なしで訓練された密集的で連想的なニューラルネットを考える。 本稿では,モンテカルロシミュレーションを用いて,その計算能力を解析的に,統計力学的手法を用いて,数値解析的に検討する。
• 参考スコア（独自算出の注目度）: 4.133728123207142
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider dense, associative neural-networks trained with no supervision and we investigate their computational capabilities analytically, via a statistical-mechanics approach, and numerically, via Monte Carlo simulations. In particular, we obtain a phase diagram summarizing their performance as a function of the control parameters such as the quality and quantity of the training dataset and the network storage, valid in the limit of large network size and structureless datasets. Moreover, we establish a bridge between macroscopic observables standardly used in statistical mechanics and loss functions typically used in the machine learning. As technical remarks, from the analytic side, we implement large deviations and stability analysis within Guerra's interpolation to tackle the not-Gaussian distributions involved in the post-synaptic potentials while, from the computational counterpart, we insert Plefka approximation in the Monte Carlo scheme, to speed up the evaluation of the synaptic tensors, overall obtaining a novel and broad approach to investigate neural networks in general.
• Abstract（参考訳）: 我々は,教師なしの高密度な連想型ニューラルネットワークを考察し,モンテカルロシミュレーションを用いて,統計力学手法を用いて解析的な計算能力について検討する。 特に,トレーニングデータセットの品質や量,ネットワークストレージなどの制御パラメータの関数としての性能を要約した位相図を,ネットワークサイズや構造レスデータセットの限界値として有効とする。 さらに,統計力学で標準的に使用されるマクロ観測器と,機械学習で一般的に使用される損失関数との間に橋渡しを行う。 技術的には、分析的な側面から、ゲラの補間において大きな偏差と安定性解析を行い、ポストシナプスポテンシャルに関連する非ガウシアン分布に取り組む一方で、モンテカルロスキームにプレフカ近似を挿入し、シナプステンソルの評価を高速化し、全体としてはニューラルネットワークを一般に研究するための新しい広範なアプローチを得る。

関連論文リスト

• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Dense Hebbian neural networks: a replica symmetric picture of supervised learning [4.133728123207142]
  我々は教師が指導する高密度で連想的なニューラルネットについて検討する。 スピングラスの統計力学およびモンテカルロシミュレーションによる数値計算能力の解析を行った。
  論文  参考訳（メタデータ） (2022-11-25T13:37:47Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• The emergence of a concept in shallow neural networks [0.0]
  我々は,定型だが不可能なアーチタイプを曖昧にコピーした非構造化データセット上で訓練された制限されたボルツマンマシン(RBM)を考える。」 RBMが古型を学習できる限界標本サイズが存在することを示す。
  論文  参考訳（メタデータ） (2021-09-01T15:56:38Z)
• Persistent Homology Captures the Generalization of Neural Networks Without A Validation Set [0.0]
  本稿では,代数的トポロジー,特に永続的ホモロジーを用いたニューラルネットワークのトレーニングについて考察する。 ニューラルネットワークの単純な複雑な表現を用いて、ニューラルネットワーク学習プロセスにおけるPHダイアグラム距離の進化について検討する。 その結果,連続するニューラルネットワーク状態間のPHダイアグラム距離は,検証精度と相関していることがわかった。
  論文  参考訳（メタデータ） (2021-05-31T09:17:31Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• Estimation of the Mean Function of Functional Data via Deep Neural Networks [6.230751621285321]
  関数データに対して非パラメトリック回帰を行うディープニューラルネットワーク手法を提案する。 本手法は,アルツハイマー病患者における陽電子放出トモグラフィ画像の解析に用いる。
  論文  参考訳（メタデータ） (2020-12-08T17:18:16Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Extending machine learning classification capabilities with histogram reweighting [0.0]
  本稿では,モンテカルロヒストグラム再重み付けを用いて機械学習手法の予測を外挿する手法を提案する。 本稿では,畳み込みニューラルネットワークの出力を統計システムで観測可能なものとして扱い,パラメータ空間の連続範囲における外挿を可能にする。
  論文  参考訳（メタデータ） (2020-04-29T17:20:16Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。