論文の概要: Storing overlapping associative memories on latent manifolds in low-rank spiking networks

• arxiv url: http://arxiv.org/abs/2411.17485v1
• Date: Tue, 26 Nov 2024 14:48:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:32:55.640245
• Title: Storing overlapping associative memories on latent manifolds in low-rank spiking networks
• Title（参考訳）: 低ランクスパイクネットワークにおける潜在多様体上のストリング重なり合う連想記憶
• Authors: William F. Podlaski, Christian K. Machens,
• Abstract要約: 我々はスパイクベースの計算の理解の進歩を踏まえ、連想記憶問題を再考する。 大規模全阻止ネットワークのスパイク活性は,低次元,凸,片方向線形多様体上に位置することを示す。 学習ルールをいくつか提案し, 記憶容量をニューロン数で線形に拡張し, パターン完備化能力を示す。
• 参考スコア（独自算出の注目度）: 5.041384008847852
• License:
• Abstract: Associative memory architectures such as the Hopfield network have long been important conceptual and theoretical models for neuroscience and artificial intelligence. However, translating these abstract models into spiking neural networks has been surprisingly difficult. Indeed, much previous work has been restricted to storing a small number of primarily non-overlapping memories in large networks, thereby limiting their scalability. Here, we revisit the associative memory problem in light of recent advances in understanding spike-based computation. Using a recently-established geometric framework, we show that the spiking activity for a large class of all-inhibitory networks is situated on a low-dimensional, convex, and piecewise-linear manifold, with dynamics that move along the manifold. We then map the associative memory problem onto these dynamics, and demonstrate how the vertices of a hypercubic manifold can be used to store stable, overlapping activity patterns with a direct correspondence to the original Hopfield model. We propose several learning rules, and demonstrate a linear scaling of the storage capacity with the number of neurons, as well as robust pattern completion abilities. Overall, this work serves as a case study to demonstrate the effectiveness of using a geometrical perspective to design dynamics on neural manifolds, with implications for neuroscience and machine learning.
• Abstract（参考訳）: ホップフィールド・ネットワークのような連想記憶アーキテクチャは、神経科学と人工知能の理論的モデルとして長い間重要であった。 しかし、これらの抽象モデルをスパイクニューラルネットワークに変換することは驚くほど難しい。 実際、これまでの多くの作業は、主に重複しない少数のメモリを大規模ネットワークに格納することに限定されており、それによってスケーラビリティが制限されている。 ここでは、スパイクベースの計算の理解の最近の進歩を踏まえ、連想記憶問題を再考する。 最近確立された幾何学的枠組みを用いて、全ての阻止的ネットワークのスパイキング活性が、多様体に沿って移動するダイナミクスを持つ低次元、凸、片方向の線形多様体上に存在することを示す。 次に、連想記憶問題をこれらのダイナミクスにマッピングし、元のホップフィールドモデルと直接対応して、高立方体多様体の頂点が安定な重なり合う活動パターンを保存するためにどのように使用できるかを示す。 学習ルールをいくつか提案し, 記憶容量をニューロン数で線形に拡張し, パターン完備化能力を示す。 全体として、この研究は、幾何学的視点を用いてニューラル多様体の力学を設計し、神経科学や機械学習に影響を及ぼす効果を示すケーススタディである。

関連論文リスト

• Hierarchical Working Memory and a New Magic Number [1.024113475677323]
  本稿では,作業記憶のシナプス理論の枠組み内でチャンキングを行うための繰り返しニューラルネットワークモデルを提案する。 我々の研究は、認知に不可欠な脳内の情報のオンザフライ組織を理解するための、概念的で分析的な枠組みを提供する。
  論文  参考訳（メタデータ） (2024-08-14T16:03:47Z)
• Explosive neural networks via higher-order interactions in curved statistical manifolds [43.496401697112695]
  我々は、高次現象を研究するためのプロトタイプモデルのクラスとして、曲面ニューラルネットワークを紹介した。 これらの曲線ニューラルネットワークは、メモリ検索を高速化する自己制御プロセスを実装している。
  論文  参考訳（メタデータ） (2024-08-05T09:10:29Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Spiking representation learning for associative memories [0.0]
  本稿では、教師なし表現学習と連想記憶操作を行う新しい人工スパイクニューラルネットワーク(SNN)を提案する。 モデルの構造は新皮質列状構造から派生し,隠れた表現を学習するためのフィードフォワードプロジェクションと,連想記憶を形成するための繰り返しプロジェクションを組み合わせたものである。
  論文  参考訳（メタデータ） (2024-06-05T08:30:11Z)
• A singular Riemannian Geometry Approach to Deep Neural Networks III. Piecewise Differentiable Layers and Random Walks on $n$-dimensional Classes [49.32130498861987]
  本稿ではReLUのような非微分可能活性化関数の事例について検討する。 最近の2つの研究は、ニューラルネットワークを研究するための幾何学的枠組みを導入した。 本稿では,画像の分類と熱力学問題に関する数値実験を行った。
  論文  参考訳（メタデータ） (2024-04-09T08:11:46Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Hierarchical Associative Memory [2.66512000865131]
  Associative Memories や Modern Hopfield Networks は、多くの魅力的な特性を持っている。 パターン補完を行い、多数のメモリを格納し、リカレントニューラルネットワークを使用して記述することができる。 本稿では,任意の数のレイヤを持つ連想メモリの完全再帰モデルについて述べる。
  論文  参考訳（メタデータ） (2021-07-14T01:38:40Z)
• Reservoir Memory Machines as Neural Computers [70.5993855765376]
  微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。 我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
  論文  参考訳（メタデータ） (2020-09-14T12:01:30Z)
• Large Associative Memory Problem in Neurobiology and Machine Learning [6.41804410246642]
  本稿では,生物的妥当性の度合いを指標とした,大きな連想記憶の有効なモデルを提案する。 我々のネットワークの力学と、その縮小次元等価性はともにエネルギー(リアプノフ)関数を最小化する。
  論文  参考訳（メタデータ） (2020-08-16T21:03:52Z)
• Hyperbolic Neural Networks++ [66.16106727715061]
  ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。 実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
  論文  参考訳（メタデータ） (2020-06-15T08:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。