論文の概要: Long Sequence Hopfield Memory
- arxiv url: http://arxiv.org/abs/2306.04532v2
- Date: Thu, 2 Nov 2023 14:55:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-03 17:34:57.965174
- Title: Long Sequence Hopfield Memory
- Title(参考訳): 長いシーケンスホップフィールドメモリ
- Authors: Hamza Tahir Chaudhry, Jacob A. Zavatone-Veth, Dmitry Krotov, Cengiz
Pehlevan
- Abstract要約: シーケンスメモリは、エージェントが複雑な刺激や行動のシーケンスをエンコードし、保存し、取り出すことを可能にする。
非線形相互作用項を導入し、パターン間の分離を強化する。
このモデルを拡張して、状態遷移間の変動タイミングでシーケンスを格納する。
- 参考スコア(独自算出の注目度): 32.28395813801847
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sequence memory is an essential attribute of natural and artificial
intelligence that enables agents to encode, store, and retrieve complex
sequences of stimuli and actions. Computational models of sequence memory have
been proposed where recurrent Hopfield-like neural networks are trained with
temporally asymmetric Hebbian rules. However, these networks suffer from
limited sequence capacity (maximal length of the stored sequence) due to
interference between the memories. Inspired by recent work on Dense Associative
Memories, we expand the sequence capacity of these models by introducing a
nonlinear interaction term, enhancing separation between the patterns. We
derive novel scaling laws for sequence capacity with respect to network size,
significantly outperforming existing scaling laws for models based on
traditional Hopfield networks, and verify these theoretical results with
numerical simulation. Moreover, we introduce a generalized pseudoinverse rule
to recall sequences of highly correlated patterns. Finally, we extend this
model to store sequences with variable timing between states' transitions and
describe a biologically-plausible implementation, with connections to motor
neuroscience.
- Abstract(参考訳): シーケンスメモリは、エージェントが刺激や動作の複雑なシーケンスをエンコードし、保存し、取り出すのを可能にする、自然および人工知能の重要な属性である。
反復ホップフィールドのようなニューラルネットワークを時間的非対称なヘビー規則で訓練するシーケンスメモリの計算モデルが提案されている。
しかし、これらのネットワークはメモリ間の干渉により、限られたシーケンス容量(記憶されたシーケンスの最大長)に悩まされる。
最近のDense Associative Memoriesの研究に触発されて、非線形相互作用項を導入し、パターン間の分離を強化することにより、これらのモデルのシーケンス能力を拡張する。
従来のホップフィールドネットワークに基づくモデルの既存のスケーリング則を著しく上回り、ネットワークサイズに関するシーケンス容量の新しいスケーリング則を導出し、これらの理論結果を数値シミュレーションにより検証する。
さらに、高相関パターンのシーケンスをリコールするために、一般化された擬似逆則を導入する。
最後に、このモデルを拡張し、状態遷移間の変動タイミングでシーケンスを格納し、生物学的に証明可能な実装を記述する。
関連論文リスト
- On the Resurgence of Recurrent Models for Long Sequences -- Survey and
Research Opportunities in the Transformer Era [59.279784235147254]
この調査は、Recurrenceの統一の傘の下に構築されたこれらのトレンドの概要を提供することを目的としている。
長いシーケンスを処理するという考え方を捨てる際に顕著になる新しい研究機会を強調している。
論文 参考訳(メタデータ) (2024-02-12T23:55:55Z) - Energy-based General Sequential Episodic Memory Networks at the
Adiabatic Limit [3.5450828190071655]
GSEMM(General Sequential Episodic Memory Models)を新たに導入する。
動的エネルギー面は、ネットワークの隠された層に信号の伝搬遅延を伴う新しい非対称なシナプスによって実現される。
DSEMは、ネットワーク内のニューロン数とともに指数関数的に増大する記憶容量を有することを示す。
論文 参考訳(メタデータ) (2022-12-11T18:09:34Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:04:45Z) - Kernel Memory Networks: A Unifying Framework for Memory Modeling [4.849550522970841]
我々は、ニューラルネットワークをトレーニングして、最大ノイズロバスト性を持つパターンの集合を格納する問題を考察する。
解は、各ニューロンにカーネル分類または最小重量ノルムの実行を訓練することで導出される。
カネルバのモデルを一般化し、指数関数的な連続値パターンを格納できるカーネルメモリネットワークを設計する簡単な方法を示す。
論文 参考訳(メタデータ) (2022-08-19T16:01:09Z) - Learning Sequence Representations by Non-local Recurrent Neural Memory [61.65105481899744]
教師付きシーケンス表現学習のためのNon-local Recurrent Neural Memory (NRNM)を提案する。
我々のモデルは長距離依存を捉えることができ、潜伏した高レベル特徴を我々のモデルで抽出することができる。
我々のモデルは、これらのシーケンスアプリケーションごとに特別に設計された他の最先端の手法と比較して好意的に比較する。
論文 参考訳(メタデータ) (2022-07-20T07:26:15Z) - Quantum associative memory with a single driven-dissipative nonlinear
oscillator [0.0]
本稿では,単一駆動型量子発振器を用いた連想メモリの実現を提案する。
このモデルは、大局的に離散ニューロンベースのシステムの記憶能力を向上させることができる。
結合記憶容量は、リウヴィリア超作用素におけるスペクトルギャップの存在と本質的に関連していることを示す。
論文 参考訳(メタデータ) (2022-05-19T12:00:35Z) - Neural Computing with Coherent Laser Networks [0.0]
レーザーのコヒーレントなネットワークは、創発的なニューラルコンピューティング能力を示すことを示す。
新たなエネルギーベースのリカレントニューラルネットワークは、ホップフィールドネットワークやボルツマンマシンとは対照的に、連続したデータを処理している。
論文 参考訳(メタデータ) (2022-04-05T13:56:34Z) - Deep Explicit Duration Switching Models for Time Series [84.33678003781908]
状態依存型と時間依存型の両方のスイッチングダイナミクスを識別できるフレキシブルモデルを提案する。
状態依存スイッチングは、リカレントな状態-スイッチ接続によって実現される。
時間依存スイッチング動作を改善するために、明示的な期間カウント変数が使用される。
論文 参考訳(メタデータ) (2021-10-26T17:35:21Z) - Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。
暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。
これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文 参考訳(メタデータ) (2020-06-08T09:53:35Z) - Encoding-based Memory Modules for Recurrent Neural Networks [79.42778415729475]
本稿では,リカレントニューラルネットワークの設計とトレーニングの観点から,記憶サブタスクについて考察する。
本稿では,線形オートエンコーダを組み込んだエンコーディングベースのメモリコンポーネントを特徴とする新しいモデルであるLinear Memory Networkを提案する。
論文 参考訳(メタデータ) (2020-01-31T11:14:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。