論文の概要: Hebbian Memory-Augmented Recurrent Networks: Engram Neurons in Deep Learning

• arxiv url: http://arxiv.org/abs/2507.21474v1
• Date: Tue, 29 Jul 2025 03:34:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-30 17:08:55.568148
• Title: Hebbian Memory-Augmented Recurrent Networks: Engram Neurons in Deep Learning
• Title（参考訳）: Hebbian Memory-Augmented Recurrent Networks: Engram Neurons in Deep Learning
• Authors: Daniel Szelogowski,
• Abstract要約: 本稿では,ヘビアン可塑性とスパース・アテンション駆動型検索機構を備えた,明示的で微分可能なメモリ行列を組み込んだ新しい再帰型アーキテクチャであるEngram Neural Network(ENN)を紹介する。 ENNは、動的ヘビアントレースによるメモリ生成とリコールを明示的にモデル化し、従来のRNNモデルと比較して透明性と解釈性を改善した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite success across diverse tasks, current artificial recurrent network architectures rely primarily on implicit hidden-state memories, limiting their interpretability and ability to model long-range dependencies. In contrast, biological neural systems employ explicit, associative memory traces (i.e., engrams) strengthened through Hebbian synaptic plasticity and activated sparsely during recall. Motivated by these neurobiological insights, we introduce the Engram Neural Network (ENN), a novel recurrent architecture incorporating an explicit, differentiable memory matrix with Hebbian plasticity and sparse, attention-driven retrieval mechanisms. The ENN explicitly models memory formation and recall through dynamic Hebbian traces, improving transparency and interpretability compared to conventional RNN variants. We evaluate the ENN architecture on three canonical benchmarks: MNIST digit classification, CIFAR-10 image sequence modeling, and WikiText-103 language modeling. Our empirical results demonstrate that the ENN achieves accuracy and generalization performance broadly comparable to classical RNN, GRU, and LSTM architectures, with all models converging to similar accuracy and perplexity on the large-scale WikiText-103 task. At the same time, the ENN offers significant enhancements in interpretability through observable memory dynamics. Hebbian trace visualizations further reveal biologically plausible, structured memory formation processes, validating the potential of neuroscience-inspired mechanisms to inform the development of more interpretable and robust deep learning models.
• Abstract（参考訳）: 様々なタスクで成功したにもかかわらず、現在の人工的リカレントネットワークアーキテクチャは、主に暗黙の隠れ状態記憶に依存し、その解釈可能性と長距離依存をモデル化する能力を制限する。 対照的に、生物学的神経系は、ヘビーンのシナプス可塑性によって強化され、リコール中に緩やかに活性化される明示的で連想的な記憶痕跡(すなわち、エングラム)を用いる。 これらの神経生物学的知見に触発され,ヘビアン可塑性とスパース・アテンション駆動型検索機構を備えた明示的で微分可能な記憶行列を組み込んだ新しい再帰的アーキテクチャであるEngram Neural Network(ENN)を導入する。 ENNは、動的ヘビアントレースによるメモリ生成とリコールを明示的にモデル化し、従来のRNNモデルと比較して透明性と解釈性を改善した。 MNIST 桁分類,CIFAR-10 画像シーケンスモデリング,WikiText-103 言語モデリングの3つの標準ベンチマーク上での ENN アーキテクチャの評価を行った。 実験の結果,ENNは従来のRNN, GRU, LSTMアーキテクチャに匹敵する精度と一般化性能を示し, 大規模WikiText-103タスクでは全てのモデルが類似の精度と難易度に収束していることがわかった。 同時に、ENNは、観測可能なメモリダイナミクスによる解釈可能性を大幅に強化する。 ヘビアントレースの可視化は、生物学的に可塑性で構造化された記憶の形成過程をさらに明らかにし、より解釈可能な、堅牢なディープラーニングモデルの開発を知らせる神経科学に触発されたメカニズムの可能性を検証する。

関連論文リスト

• Fractional Spike Differential Equations Neural Network with Efficient Adjoint Parameters Training [63.3991315762955]
  スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンからインスピレーションを得て、脳に似た計算の現実的なモデルを作成する。 既存のほとんどのSNNは、マルコフ特性を持つ一階常微分方程式(ODE)によってモデル化された、神経細胞膜電圧ダイナミクスの単一時間定数を仮定している。 本研究では, 膜電圧およびスパイク列車の長期依存性を分数次力学により捉えるフラクタルSPIKE微分方程式ニューラルネットワーク (fspikeDE) を提案する。
  論文  参考訳（メタデータ） (2025-07-22T18:20:56Z)
• Concept-Guided Interpretability via Neural Chunking [54.73787666584143]
  ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。 本稿では,ラベルの可利用性と次元性に基づいて,これら新たな実体を抽出する3つの手法を提案する。 私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
  論文  参考訳（メタデータ） (2025-05-16T13:49:43Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
  教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。 このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
  論文  参考訳（メタデータ） (2024-06-07T08:32:30Z)
• Spiking representation learning for associative memories [0.0]
  本稿では、教師なし表現学習と連想記憶操作を行う新しい人工スパイクニューラルネットワーク(SNN)を提案する。 モデルの構造は新皮質列状構造から派生し,隠れた表現を学習するためのフィードフォワードプロジェクションと,連想記憶を形成するための繰り返しプロジェクションを組み合わせたものである。
  論文  参考訳（メタデータ） (2024-06-05T08:30:11Z)
• Modelling Neuronal Behaviour with Time Series Regression: Recurrent Neural Networks on C. Elegans Data [0.0]
  我々は、C. Elegansの神経システムを、異なるニューラルネットワークアーキテクチャを用いてデータ駆動モデルでモデル化し、シミュレートする方法を示す。 隠れ層の大きさが4単位のGRUモデルでは,異なる刺激に対するシステムの応答を高精度に再現可能であることを示す。
  論文  参考訳（メタデータ） (2021-07-01T10:39:30Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。