論文の概要: Neural Computation Without Slots: Steps Towards Biologically Plausible Memory and Attention in Natural and Artificial Intelligence

• arxiv url: http://arxiv.org/abs/2511.04593v1
• Date: Thu, 06 Nov 2025 17:49:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-07 20:17:53.540828
• Title: Neural Computation Without Slots: Steps Towards Biologically Plausible Memory and Attention in Natural and Artificial Intelligence
• Title（参考訳）: スロットのない神経計算:自然と人工知能における生物学的にもっともらしい記憶と注意へのステップ
• Authors: Shaunak Bhandarkar, James L. McClelland,
• Abstract要約: 我々は、個々のニューロンの接続重みのパターンを格納するホップフィールドネットワーク上に構築する。 記憶のために、神経科学の研究は、ニューロンのスパースアンサンブルの重みがメモリを保存するために使われることを示唆している。 現代言語モデルにおけるスロットベースメモリの強力な利用について考察する。
• 参考スコア（独自算出の注目度）: 6.565964309624722
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many models used in artificial intelligence and cognitive science rely on multi-element patterns stored in "slots" - dedicated storage locations - in a digital computer. As biological brains likely lack slots, we consider how they might achieve similar functional outcomes without them by building on the neurally-inspired modern Hopfield network (MHN; Krotov & Hopfield, 2021), which stores patterns in the connection weights of an individual neuron. We propose extensions of this approach to increase its biological plausibility as a model of memory and to capture an important advantage of slot-based computation in contemporary language models. For memory, neuroscience research suggests that the weights of overlapping sparse ensembles of neurons, rather than a dedicated individual neuron, are used to store a memory. We introduce the K-winner MHN, extending the approach to ensembles, and find that within a continual learning regime, the ensemble-based MHN exhibits greater retention of older memories, as measured by the graded sensitivity measure d', than a standard (one-neuron) MHN. Next, we consider the powerful use of slot-based memory in contemporary language models. These models use slots to store long sequences of past inputs and their learned encodings, supporting later predictions and allowing error signals to be transported backward in time to adjust weights underlying the learned encodings of these past inputs. Inspired by these models' successes, we show how the MHN can be extended to capture both of these important functional outcomes. Collectively, our modeling approaches constitute steps towards understanding how biologically plausible mechanisms can support computations that have enabled AI systems to capture human-like abilities that no prior models have been able to achieve.
• Abstract（参考訳）: 人工知能と認知科学で使用される多くのモデルは、デジタルコンピュータの「スロット」(専用のストレージロケーション)に格納された多要素パターンに依存している。 生物学的脳にはスロットがない可能性が高いため、神経にインスパイアされた現代のホップフィールドネットワーク(MHN; Krotov & Hopfield, 2021)上に構築することで、同様の機能的な結果が得られないことを考える。 本稿では,メモリモデルとしての生物学的妥当性の向上と,現代の言語モデルにおけるスロットベースの計算の重要な利点を捉えるために,本手法の拡張を提案する。 記憶にとって神経科学の研究は、専用のニューロンではなく、ニューロンのスパースアンサンブルの重みが記憶の保存に使用されることを示唆している。 我々は、K-winner MHNを導入し、アンサンブルへのアプローチを拡張し、連続的な学習体制の中で、アンサンブルベースのMHNは標準(1ニューロン)MHNよりも、グレードされた感度測定d'で測定されたように、古い記憶の保持率が高いことを発見した。 次に、現代言語モデルにおけるスロットベースのメモリの強力な利用について考察する。 これらのモデルはスロットを使用して、過去の入力の長いシーケンスとその学習エンコーディングを格納し、後の予測をサポートし、過去の入力の学習エンコーディングの基盤となる重みを調整するために、エラー信号を後方に転送することを可能にする。 これらのモデルの成功に触発されて、これらの重要な機能的成果の両方を捉えるためにMHNをどのように拡張できるかを示す。 総合的に、我々のモデリングアプローチは、従来のモデルが達成できなかった人間のような能力をAIシステムが捉えることが可能な計算を、生物学的に妥当なメカニズムがどのようにサポートするかを理解するためのステップを構成する。

関連論文リスト

• Predictive Attractor Models [9.947717243638289]
  生成特性が望ましい新しいシーケンスメモリアーキテクチャであるtextitPredictive Attractor Models (PAM) を提案する。 PAMは、皮質小柱の側方抑制を通じて、過去の文脈を一意に表現することで破滅的な忘れを避ける。 PAMは, 生物学的に妥当な枠組みで, ヘビアン可塑性規則による局所計算で訓練されていることを示す。
  論文  参考訳（メタデータ） (2024-10-03T12:25:01Z)
• MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
  脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。 現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。 我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
  論文  参考訳（メタデータ） (2024-04-11T15:46:42Z)
• A Neuro-mimetic Realization of the Common Model of Cognition via Hebbian Learning and Free Energy Minimization [55.11642177631929]
  大規模なニューラル生成モデルは、意味的に豊富なテキストのパスを合成したり、複雑な画像を生成することができる。 我々はコモン・モデル・オブ・コグニティブ・ニューラル・ジェネレーティブ・システムについて論じる。
  論文  参考訳（メタデータ） (2023-10-14T23:28:48Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Sequential Memory with Temporal Predictive Coding [6.228559238589584]
  時空間予測符号化 (tPC) という, PC を用いた時空間メモリモデルを提案する。 我々のtPCモデルは、生物学的に妥当なニューラル実装を用いて、シーケンシャルな入力を正確に記憶し、取得できることを示します。
  論文  参考訳（メタデータ） (2023-05-19T20:03:31Z)
• Neuromorphic Artificial Intelligence Systems [58.1806704582023]
  フォン・ノイマンアーキテクチャと古典的ニューラルネットワークに基づく現代のAIシステムは、脳と比較して多くの基本的な制限がある。 この記事では、そのような制限と、それらが緩和される方法について論じる。 これは、これらの制限が克服されている現在利用可能なニューロモーフィックAIプロジェクトの概要を示す。
  論文  参考訳（メタデータ） (2022-05-25T20:16:05Z)
• Mapping and Validating a Point Neuron Model on Intel's Neuromorphic Hardware Loihi [77.34726150561087]
  インテルの第5世代ニューロモルフィックチップ「Loihi」の可能性について検討する。 Loihiは、脳内のニューロンをエミュレートするスパイキングニューラルネットワーク(SNN)という新しいアイデアに基づいている。 Loihiは従来のシミュレーションを非常に効率的に再現し、ネットワークが大きくなるにつれて、時間とエネルギーの両方のパフォーマンスにおいて顕著にスケールする。
  論文  参考訳（メタデータ） (2021-09-22T16:52:51Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。