論文の概要: Energy-based General Sequential Episodic Memory Networks at the
Adiabatic Limit
- arxiv url: http://arxiv.org/abs/2212.05563v1
- Date: Sun, 11 Dec 2022 18:09:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-13 15:45:35.093077
- Title: Energy-based General Sequential Episodic Memory Networks at the
Adiabatic Limit
- Title（参考訳）: 断熱限界におけるエネルギーに基づく一般系列エピソード記憶ネットワーク
- Authors: Arjun Karuvally, Terry J. Sejnowski, Hava T. Siegelmann
- Abstract要約: GSEMM(General Sequential Episodic Memory Models)を新たに導入する。
動的エネルギー面は、ネットワークの隠された層に信号の伝搬遅延を伴う新しい非対称なシナプスによって実現される。
DSEMは、ネットワーク内のニューロン数とともに指数関数的に増大する記憶容量を有することを示す。
- 参考スコア（独自算出の注目度）: 3.5450828190071655
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The General Associative Memory Model (GAMM) has a constant state-dependant
energy surface that leads the output dynamics to fixed points, retrieving
single memories from a collection of memories that can be asynchronously
preloaded. We introduce a new class of General Sequential Episodic Memory
Models (GSEMM) that, in the adiabatic limit, exhibit temporally changing energy
surface, leading to a series of meta-stable states that are sequential episodic
memories. The dynamic energy surface is enabled by newly introduced asymmetric
synapses with signal propagation delays in the network's hidden layer. We study
the theoretical and empirical properties of two memory models from the GSEMM
class, differing in their activation functions. LISEM has non-linearities in
the feature layer, whereas DSEM has non-linearity in the hidden layer. In
principle, DSEM has a storage capacity that grows exponentially with the number
of neurons in the network. We introduce a learning rule for the synapses based
on the energy minimization principle and show it can learn single memories and
their sequential relationships online. This rule is similar to the Hebbian
learning algorithm and Spike-Timing Dependent Plasticity (STDP), which describe
conditions under which synapses between neurons change strength. Thus, GSEMM
combines the static and dynamic properties of episodic memory under a single
theoretical framework and bridges neuroscience, machine learning, and
artificial intelligence.
- Abstract（参考訳）: GAMM(General Associative Memory Model)は、一定の状態依存エネルギー表面を持ち、出力ダイナミクスを一定点に導くことで、非同期にプリロード可能なメモリのコレクションから単一のメモリを取得する。
そこで本研究では, 時間変化エネルギー面を示す新しい一般シーケンスエピソードメモリモデル(gsemm)を紹介し, 逐次エピソードメモリである一連のメタ安定状態へと導く。
動的エネルギー面は、ネットワークの隠された層に信号の伝搬遅延を伴う新しい非対称なシナプスによって実現される。
GSEMMクラスにおける2つのメモリモデルの理論的および経験的特性について検討した。
lisem は特徴層に非線形性を持ち、dsem は隠れ層に非線形性を持つ。
原則として、DSEMは、ネットワーク内のニューロンの数とともに指数関数的に増加する記憶容量を持つ。
エネルギー最小化原理に基づくシナプスの学習ルールを導入し、単一の記憶とその逐次関係をオンラインで学習できることを示す。
この規則は、ニューロン間のシナプスが強度を変化させる条件を記述したヘビー学習アルゴリズムやspike-timingdependent plasticity(stdp)に類似している。
したがって、gsemmはエピソディックメモリの静的および動的特性を単一の理論的枠組みで結合し、神経科学、機械学習、人工知能を橋渡しする。
関連論文リスト
- Latent Space Energy-based Neural ODEs [73.01344439786524]
本稿では,連続時間シーケンスデータを表現するために設計された深部力学モデルの新しいファミリを紹介する。
マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。
発振システム、ビデオ、実世界の状態シーケンス(MuJoCo)の実験は、学習可能なエネルギーベース以前のODEが既存のものより優れていることを示している。
論文 参考訳（メタデータ） (2024-09-05T18:14:22Z) - B'MOJO: Hybrid State Space Realizations of Foundation Models with Eidetic and Fading Memory [91.81390121042192]
我々はB'MOJOと呼ばれるモデル群を開発し、構成可能なモジュール内で理想的メモリと暗黙的メモリをシームレスに結合する。
B'MOJOのイデオティックメモリとフェードメモリを変調する能力は、32Kトークンまでテストされた長いシーケンスの推論をより良くする。
論文 参考訳（メタデータ） (2024-07-08T18:41:01Z) - Single Neuromorphic Memristor closely Emulates Multiple Synaptic
Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。
これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
論文 参考訳（メタデータ） (2024-02-26T15:01:54Z) - Memory-and-Anticipation Transformer for Online Action Understanding [52.24561192781971]
本稿では,過去,現在,未来を含む時間構造全体をモデル化する,メモリ予測に基づく新しいパラダイムを提案する。
本稿では,メモリ・アンド・アンティフィケーション・トランスフォーマ(MAT)を提案する。
論文 参考訳（メタデータ） (2023-08-15T17:34:54Z) - Long Sequence Hopfield Memory [32.28395813801847]
シーケンスメモリは、エージェントが複雑な刺激や行動のシーケンスをエンコードし、保存し、取り出すことを可能にする。
非線形相互作用項を導入し、パターン間の分離を強化する。
このモデルを拡張して、状態遷移間の変動タイミングでシーケンスを格納する。
論文 参考訳（メタデータ） (2023-06-07T15:41:03Z) - Quantum associative memory with a single driven-dissipative nonlinear
oscillator [0.0]
本稿では,単一駆動型量子発振器を用いた連想メモリの実現を提案する。
このモデルは、大局的に離散ニューロンベースのシステムの記憶能力を向上させることができる。
結合記憶容量は、リウヴィリア超作用素におけるスペクトルギャップの存在と本質的に関連していることを示す。
論文 参考訳（メタデータ） (2022-05-19T12:00:35Z) - Hierarchical Associative Memory [2.66512000865131]
Associative Memories や Modern Hopfield Networks は、多くの魅力的な特性を持っている。
パターン補完を行い、多数のメモリを格納し、リカレントニューラルネットワークを使用して記述することができる。
本稿では,任意の数のレイヤを持つ連想メモリの完全再帰モデルについて述べる。
論文 参考訳（メタデータ） (2021-07-14T01:38:40Z) - Continuous Learning and Adaptation with Membrane Potential and
Activation Threshold Homeostasis [91.3755431537592]
本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。
このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。
実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
論文 参考訳（メタデータ） (2021-04-22T04:01:32Z) - Enhancing associative memory recall and storage capacity using confocal
cavity QED [15.696215759892052]
本稿では,連想記憶を実現するための短期的な実験プラットフォームを提案する。
複数モードの光学キャビティに結合されたスピンフルボソンを使用することで、多くの記憶を同時に保存することができる。
この非平衡量子光学スキームはグラウバー力学よりも連想記憶に有利であることを示す。
論文 参考訳（メタデータ） (2020-09-02T17:59:15Z) - Theory of gating in recurrent neural networks [5.672132510411465]
リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、機械学習(ML)や神経科学で広く使われている強力な動的モデルである。
ここでは、ゲーティングが集合力学の2つの健全な特徴を柔軟に制御できることを示す。
ゲート制御の時間スケールは、ネットワークがフレキシブルインテグレータとして機能する、新しい、極端に安定な状態につながる。
論文 参考訳（メタデータ） (2020-07-29T13:20:58Z) - Incremental Training of a Recurrent Neural Network Exploiting a
Multi-Scale Dynamic Memory [79.42778415729475]
本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。
隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。
新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
論文 参考訳（メタデータ） (2020-06-29T08:35:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。