論文の概要: Statistical Mechanics of Learning via Reverberation in Bidirectional Associative Memories

• arxiv url: http://arxiv.org/abs/2307.08365v1
• Date: Mon, 17 Jul 2023 10:04:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-18 13:55:20.367235
• Title: Statistical Mechanics of Learning via Reverberation in Bidirectional Associative Memories
• Title（参考訳）: 双方向連想記憶における残響による学習の統計力学
• Authors: Martino Salomone Centonze, Ido Kanter, Adriano Barra
• Abstract要約: ランダムなアーチタイプのノイズに曝される双方向連想ニューラルネットワークについて検討する。 この設定では、学習はヘテロアソシエイトな -- パターンのカップルを含む -- であり、サンプルから表現された情報をリバーバリングすることで達成される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study bi-directional associative neural networks that, exposed to noisy examples of an extensive number of random archetypes, learn the latter (with or without the presence of a teacher) when the supplied information is enough: in this setting, learning is heteroassociative -- involving couples of patterns -- and it is achieved by reverberating the information depicted from the examples through the layers of the network. By adapting Guerra's interpolation technique, we provide a full statistical mechanical picture of supervised and unsupervised learning processes (at the replica symmetric level of description) obtaining analytically phase diagrams, thresholds for learning, a picture of the ground-state in plain agreement with Monte Carlo simulations and signal-to-noise outcomes. In the large dataset limit, the Kosko storage prescription as well as its statistical mechanical picture provided by Kurchan, Peliti, and Saber in the eighties is fully recovered. Computational advantages in dealing with information reverberation, rather than storage, are discussed for natural test cases. In particular, we show how this network admits an integral representation in terms of two coupled restricted Boltzmann machines, whose hidden layers are entirely built of by grand-mother neurons, to prove that by coupling solely these grand-mother neurons we can correlate the patterns they are related to: it is thus possible to recover Pavlov's Classical Conditioning by adding just one synapse among the correct grand-mother neurons (hence saving an extensive number of these links for further information storage w.r.t. the classical autoassociative setting).
• Abstract（参考訳）: 本研究では,多種多様なランダムなアーチタイプのノイズに曝露された双方向連想ニューラルネットワークについて検討し,提供された情報が十分であれば後者(教師の有無に関わらず)を学習する。この設定では,学習は異種連想的であり,複数のパターンが絡み合っており,ネットワークの層を通じてサンプルから表現された情報をリバーバリングすることで達成される。 guerraの補間手法を応用することにより,解析的位相図,学習しきい値,モンテカルロシミュレーションおよび信号対雑音結果の平易な一致における基底状態の図を得るために,教師付きおよび教師なし学習プロセス(レプリカ対称記述レベルで)の完全な統計力学的図を提供する。 大規模なデータセット制限では、80年代にkurchan、peliti、saberが提供した統計的なメカニカルなイメージとともに、koskoストレージ処方が完全に回復される。 自然検定の場合、記憶よりも情報残響を扱う際の計算上の利点について論じる。 In particular, we show how this network admits an integral representation in terms of two coupled restricted Boltzmann machines, whose hidden layers are entirely built of by grand-mother neurons, to prove that by coupling solely these grand-mother neurons we can correlate the patterns they are related to: it is thus possible to recover Pavlov's Classical Conditioning by adding just one synapse among the correct grand-mother neurons (hence saving an extensive number of these links for further information storage w.r.t. the classical autoassociative setting).

関連論文リスト

• Demolition and Reinforcement of Memories in Spin-Glass-like Neural Networks [0.0]
  この論文の目的は、連想記憶モデルと生成モデルの両方において、アンラーニングの有効性を理解することである。 構造化データの選択により、連想記憶モデルは、相当量のアトラクションを持つニューラルダイナミクスのアトラクションとしての概念を検索することができる。 Boltzmann Machinesの新しい正規化手法が提案され、データセットから隠れ確率分布を学習する以前に開発された手法より優れていることが証明された。
  論文  参考訳（メタデータ） (2024-03-04T23:12:42Z)
• Hebbian Learning from First Principles [0.0]
  我々は、そのハミルトン的表現を教師なしおよび教師なしのプロトコルに仮定する。 エントロピー拡大力ネットワークにおけるラグランジアン制約がニューラル相関に与える影響を示す。 指数ホップフィールドモデル(密度のばらつきに富んだ高密度ネットワークの限界として)や半教師付きプロトコルについても言及する。
  論文  参考訳（メタデータ） (2024-01-13T16:19:49Z)
• Unsupervised Learning of Invariance Transformations [105.54048699217668]
  近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。 重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
  論文  参考訳（メタデータ） (2023-07-24T17:03:28Z)
• Dense Hebbian neural networks: a replica symmetric picture of supervised learning [4.133728123207142]
  我々は教師が指導する高密度で連想的なニューラルネットについて検討する。 スピングラスの統計力学およびモンテカルロシミュレーションによる数値計算能力の解析を行った。
  論文  参考訳（メタデータ） (2022-11-25T13:37:47Z)
• Measures of Information Reflect Memorization Patterns [53.71420125627608]
  異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。 重要なことは、情報組織が記憶の2つの形態を指していることである。
  論文  参考訳（メタデータ） (2022-10-17T20:15:24Z)
• Recurrent neural networks that generalize from examples and optimize by dreaming [0.0]
  オンライン学習のためのHebbの処方則に従って,ニューロン間のペア結合が構築される一般化されたホップフィールドネットワークを導入する。 ネットワークエクスペリエンスは、パターン毎にノイズの多いサンプルのサンプルで構成されたデータセットに過ぎません。 注目すべきは、睡眠メカニズムが常に正しく一般化するために必要なデータセットサイズを著しく削減することです。
  論文  参考訳（メタデータ） (2022-04-17T08:40:54Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。