論文の概要: Hebbian Learning from First Principles
- arxiv url: http://arxiv.org/abs/2401.07110v1
- Date: Sat, 13 Jan 2024 16:19:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-17 19:45:19.062086
- Title: Hebbian Learning from First Principles
- Title（参考訳）: 第一原理から学ぶヘビアン
- Authors: Linda Albanese, Adriano Barra, Pierluigi Bianco, Fabrizio Durante,
Diego Pallara
- Abstract要約: 我々は、そのハミルトン的表現を教師なしおよび教師なしのプロトコルに仮定する。
エントロピー拡大力ネットワークにおけるラグランジアン制約がニューラル相関に与える影響を示す。
指数ホップフィールドモデル(密度のばらつきに富んだ高密度ネットワークの限界として)や半教師付きプロトコルについても言及する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, the original storage prescription for the Hopfield model of neural
networks -- as well as for its dense generalizations -- has been turned into a
genuine Hebbian learning rule by postulating the expression of its Hamiltonian
for both the supervised and unsupervised protocols. In these notes, first, we
obtain these explicit expressions by relying upon maximum entropy extremization
\`a la Jaynes. Beyond providing a formal derivation of these recipes for
Hebbian learning, this construction also highlights how Lagrangian constraints
within entropy extremization force network's outcomes on neural correlations:
these try to mimic the empirical counterparts hidden in the datasets provided
to the network for its training and, the denser the network, the longer the
correlations that it is able to capture. Next, we prove that, in the big data
limit, whatever the presence of a teacher (or its lacking), not only these
Hebbian learning rules converge to the original storage prescription of the
Hopfield model but also their related free energies (and, thus, the statistical
mechanical picture provided by Amit, Gutfreund and Sompolinsky is fully
recovered). As a sideline, we show mathematical equivalence among standard Cost
functions (Hamiltonian), preferred in Statistical Mechanical jargon, and
quadratic Loss Functions, preferred in Machine Learning terminology. Remarks on
the exponential Hopfield model (as the limit of dense networks with diverging
density) and semi-supervised protocols are also provided.
- Abstract（参考訳）: 近年、ニューラルネットワークのホップフィールドモデルと密集した一般化のためのオリジナルの記憶処方は、教師なしプロトコルと教師なしプロトコルの両方に対してハミルトニアン表現を仮定することで、真のヘビー学習規則に変わった。
これらのノートでは、まず、最大エントロピー極限化 \`a la Jaynes を頼りにこれらの明示表現を得る。
ヘビー学習のためのこれらのレシピを形式的に導出するだけでなく、この構成は、エントロピーの極値化におけるラグランジアン制約が、ニューラルネットワークの神経相関に対する結果にどのように影響するかを強調する。
次に、ビッグデータの限界において、教師の存在(またはその欠如)が如何にせよ、これらのヘビアン学習規則はホップフィールドモデルの元の記憶則に収束するだけでなく、関連する自由エネルギーにも収束する(したがって、Amit, Gutfreund, Sompolinskyによって提供される統計力学図は、完全に回復される)。
副次的に,統計的機械用語で好まれる標準コスト関数(Hamiltonian)と,機械学習用語で好まれる2次ロス関数の数学的等価性を示す。
指数的ホップフィールドモデル(分散密度を持つ高密度ネットワークの限界として)や半教師付きプロトコルについても言及する。
関連論文リスト
- Revealing Decurve Flows for Generalized Graph Propagation [108.80758541147418]
本研究は,有向グラフと重み付きグラフを用いて,m文を一般化した伝播を定義することによって,従来のメッセージパッシング(中心からグラフ学習)の限界に対処する。
この分野ではじめて、データセットにおける学習された伝播パターンの予備的な探索を含む。
論文 参考訳（メタデータ） (2024-02-13T14:13:17Z) - Statistical Mechanics of Learning via Reverberation in Bidirectional
Associative Memories [0.0]
ランダムなアーチタイプのノイズに曝される双方向連想ニューラルネットワークについて検討する。
この設定では、学習はヘテロアソシエイトな -- パターンのカップルを含む -- であり、サンプルから表現された情報をリバーバリングすることで達成される。
論文 参考訳（メタデータ） (2023-07-17T10:04:04Z) - Fundamental limits of overparametrized shallow neural networks for
supervised learning [11.136777922498355]
本研究では,教師ネットワークが生成した入力-出力ペアから学習した2層ニューラルネットワークについて検討する。
この結果は,トレーニングデータとネットワーク重み間の相互情報,すなわちベイズ最適一般化誤差に関連する境界の形で得られる。
論文 参考訳（メタデータ） (2023-07-11T08:30:50Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - Dense Hebbian neural networks: a replica symmetric picture of supervised
learning [4.133728123207142]
我々は教師が指導する高密度で連想的なニューラルネットについて検討する。
スピングラスの統計力学およびモンテカルロシミュレーションによる数値計算能力の解析を行った。
論文 参考訳（メタデータ） (2022-11-25T13:37:47Z) - Neural network enhanced measurement efficiency for molecular
groundstates [63.36515347329037]
いくつかの分子量子ハミルトニアンの複雑な基底状態波動関数を学習するために、一般的なニューラルネットワークモデルを適用する。
ニューラルネットワークモデルを使用することで、単一コピー計測結果だけで観測対象を再構築するよりも堅牢な改善が得られます。
論文 参考訳（メタデータ） (2022-06-30T17:45:05Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Exploring Deep Neural Networks via Layer-Peeled Model: Minority Collapse
in Imbalanced Training [39.137793683411424]
解析的に抽出できない最適化プログラムである textitLayer-Peeled Model を導入する。
このモデルでは,よく訓練されたネットワークの特徴の多くを継承し,ディープラーニング学習の一般的な経験的パターンを説明・予測するための効果的なツールを提供する。
特に,本モデルでは,テキストマイノリティ崩壊(textitMinority Collapse)という,マイノリティクラスにおけるディープラーニングモデルの性能を根本的に制限する未知の現象が明らかにされている。
論文 参考訳（メタデータ） (2021-01-29T17:37:17Z) - Emergence of a finite-size-scaling function in the supervised learning
of the Ising phase transition [0.7658140759553149]
強磁性イジングモデルにおける二相分類の教師付き学習と二階相転移の標準有限サイズスケーリング理論との関係について検討する。
1つの自由パラメータだけで、ネットワーク出力における普遍的な有限サイズスケーリング関数の出現を記述するのに十分であることを示す。
論文 参考訳（メタデータ） (2020-10-01T12:34:12Z) - Hyperbolic Neural Networks++ [66.16106727715061]
ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。
実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
論文 参考訳（メタデータ） (2020-06-15T08:23:20Z) - Parsimonious neural networks learn interpretable physical laws [77.34726150561087]
本稿では、ニューラルネットワークと進化的最適化を組み合わせたパシモニクスニューラルネットワーク(PNN)を提案し、精度とパシモニクスのバランスをとるモデルを求める。
アプローチのパワーと汎用性は、古典力学のモデルを開発し、基本特性から材料の融解温度を予測することによって実証される。
論文 参考訳（メタデータ） (2020-05-08T16:15:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。