論文の概要: Long Sequence Hopfield Memory

• arxiv url: http://arxiv.org/abs/2306.04532v2
• Date: Thu, 2 Nov 2023 14:55:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-03 17:34:57.965174
• Title: Long Sequence Hopfield Memory
• Title（参考訳）: 長いシーケンスホップフィールドメモリ
• Authors: Hamza Tahir Chaudhry, Jacob A. Zavatone-Veth, Dmitry Krotov, Cengiz Pehlevan
• Abstract要約: シーケンスメモリは、エージェントが複雑な刺激や行動のシーケンスをエンコードし、保存し、取り出すことを可能にする。 非線形相互作用項を導入し、パターン間の分離を強化する。 このモデルを拡張して、状態遷移間の変動タイミングでシーケンスを格納する。
• 参考スコア（独自算出の注目度）: 32.28395813801847
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequence memory is an essential attribute of natural and artificial intelligence that enables agents to encode, store, and retrieve complex sequences of stimuli and actions. Computational models of sequence memory have been proposed where recurrent Hopfield-like neural networks are trained with temporally asymmetric Hebbian rules. However, these networks suffer from limited sequence capacity (maximal length of the stored sequence) due to interference between the memories. Inspired by recent work on Dense Associative Memories, we expand the sequence capacity of these models by introducing a nonlinear interaction term, enhancing separation between the patterns. We derive novel scaling laws for sequence capacity with respect to network size, significantly outperforming existing scaling laws for models based on traditional Hopfield networks, and verify these theoretical results with numerical simulation. Moreover, we introduce a generalized pseudoinverse rule to recall sequences of highly correlated patterns. Finally, we extend this model to store sequences with variable timing between states' transitions and describe a biologically-plausible implementation, with connections to motor neuroscience.
• Abstract（参考訳）: シーケンスメモリは、エージェントが刺激や動作の複雑なシーケンスをエンコードし、保存し、取り出すのを可能にする、自然および人工知能の重要な属性である。 反復ホップフィールドのようなニューラルネットワークを時間的非対称なヘビー規則で訓練するシーケンスメモリの計算モデルが提案されている。 しかし、これらのネットワークはメモリ間の干渉により、限られたシーケンス容量(記憶されたシーケンスの最大長)に悩まされる。 最近のDense Associative Memoriesの研究に触発されて、非線形相互作用項を導入し、パターン間の分離を強化することにより、これらのモデルのシーケンス能力を拡張する。 従来のホップフィールドネットワークに基づくモデルの既存のスケーリング則を著しく上回り、ネットワークサイズに関するシーケンス容量の新しいスケーリング則を導出し、これらの理論結果を数値シミュレーションにより検証する。 さらに、高相関パターンのシーケンスをリコールするために、一般化された擬似逆則を導入する。 最後に、このモデルを拡張し、状態遷移間の変動タイミングでシーケンスを格納し、生物学的に証明可能な実装を記述する。

関連論文リスト

• Storing overlapping associative memories on latent manifolds in low-rank spiking networks [5.041384008847852]
  我々はスパイクベースの計算の理解の進歩を踏まえ、連想記憶問題を再考する。 大規模全阻止ネットワークのスパイク活性は,低次元,凸,片方向線形多様体上に位置することを示す。 学習ルールをいくつか提案し, 記憶容量をニューロン数で線形に拡張し, パターン完備化能力を示す。
  論文  参考訳（メタデータ） (2024-11-26T14:48:25Z)
• Dense Associative Memory Through the Lens of Random Features [48.17520168244209]
  Dense Associative Memoriesはホップフィールドネットワークの高容量版である。 このネットワークは,従来のDense Associative Memoriesのエネルギー関数と力学を密接に近似していることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:10:57Z)
• Explosive neural networks via higher-order interactions in curved statistical manifolds [43.496401697112695]
  我々は、高次現象を研究するためのプロトタイプモデルのクラスとして、曲面ニューラルネットワークを紹介した。 これらの曲線ニューラルネットワークは、メモリ検索を高速化する自己制御プロセスを実装している。
  論文  参考訳（メタデータ） (2024-08-05T09:10:29Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Learning Sequence Representations by Non-local Recurrent Neural Memory [61.65105481899744]
  教師付きシーケンス表現学習のためのNon-local Recurrent Neural Memory (NRNM)を提案する。 我々のモデルは長距離依存を捉えることができ、潜伏した高レベル特徴を我々のモデルで抽出することができる。 我々のモデルは、これらのシーケンスアプリケーションごとに特別に設計された他の最先端の手法と比較して好意的に比較する。
  論文  参考訳（メタデータ） (2022-07-20T07:26:15Z)
• Quantum associative memory with a single driven-dissipative nonlinear oscillator [0.0]
  本稿では,単一駆動型量子発振器を用いた連想メモリの実現を提案する。 このモデルは、大局的に離散ニューロンベースのシステムの記憶能力を向上させることができる。 結合記憶容量は、リウヴィリア超作用素におけるスペクトルギャップの存在と本質的に関連していることを示す。
  論文  参考訳（メタデータ） (2022-05-19T12:00:35Z)
• Neural Computing with Coherent Laser Networks [0.0]
  レーザーのコヒーレントなネットワークは、創発的なニューラルコンピューティング能力を示すことを示す。 新たなエネルギーベースのリカレントニューラルネットワークは、ホップフィールドネットワークやボルツマンマシンとは対照的に、連続したデータを処理している。
  論文  参考訳（メタデータ） (2022-04-05T13:56:34Z)
• Deep Explicit Duration Switching Models for Time Series [84.33678003781908]
  状態依存型と時間依存型の両方のスイッチングダイナミクスを識別できるフレキシブルモデルを提案する。 状態依存スイッチングは、リカレントな状態-スイッチ接続によって実現される。 時間依存スイッチング動作を改善するために、明示的な期間カウント変数が使用される。
  論文  参考訳（メタデータ） (2021-10-26T17:35:21Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。