論文の概要: Mind the Gap: Why Neural Memory Fails Under Semantic Density

• arxiv url: http://arxiv.org/abs/2601.15313v1
• Date: Wed, 14 Jan 2026 18:55:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-23 21:37:20.344027
• Title: Mind the Gap: Why Neural Memory Fails Under Semantic Density
• Title（参考訳）: マインド・ザ・ギャップ:なぜ神経記憶がセマンティックな密度で機能しないのか
• Authors: Matt Beton, Simran Chana,
• Abstract要約: 現在のAIシステムは、この分離を欠き、ニューラルウェイトだけで両方の機能を試みている。 オンラインニューラルメモリの'安定性ギャップ'を識別する。 崩壊はN=5の事実を高密度で示している。 また、本運用システムでは、スキーマドリフトとバージョンあいまいさを主要な障害モードとみなしています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The brain solves a problem that current AI architectures struggle to manage: storing specific episodic facts without corrupting general semantic knowledge. Neuroscience explains this through Complementary Learning Systems theory - a fast hippocampal system for episodic storage using pattern-separated representations, and a slow neocortical system for extracting statistical regularities. Current AI systems lack this separation, attempting both functions through neural weights alone. We identify the 'Stability Gap' in online neural memory: fast-weight mechanisms that write facts into shared continuous parameters collapse to near-random accuracy within tens of semantically related facts. Through semantic density (rho), we show collapse occurs with as few as N=5 facts at high density (rho > 0.6) or N ~ 20-75 at moderate density - a phenomenon we formalise as the Orthogonality Constraint. This failure persists even with perfect attention and unlimited context, arising from write-time interference when storage and retrieval share the same substrate. We also identify schema drift and version ambiguity as primary failure modes in production systems, observing 40-70% schema consistency and 0-100% clean correction rates. Context-based memory incurs 30-300% cost premium over selective retrieval. We propose Knowledge Objects (KOs): discrete, typed memory units with controlled vocabularies and explicit version chains. Paired with neural weights, KOs enable a true complementary learning architecture, suggesting reliable AI memory may require this bicameral design.
• Abstract（参考訳）: 脳は、現在のAIアーキテクチャが管理に苦労している問題を解決する。 神経科学は、補完学習システム理論(Complementary Learning Systems theory)、パターン分離表現を用いたエピソード記憶のための高速な海馬システム、統計正則を抽出する遅い新皮質システムを通してこれを説明している。 現在のAIシステムは、この分離を欠き、ニューラルウェイトだけで両方の機能を試みている。 我々は、オンラインのニューラルメモリにおける「安定性ギャップ」を識別する: 共有された連続パラメータに事実を記述する高速ウェイトメカニズムは、意味論的に関係のある数十の事実の中で、ほぼランダムな精度に崩壊する。 意味密度(rho)を通して、崩壊は高密度(rho > 0.6)で N=5 個の事実または中等密度で N ~ 20-75 個の事実で起こる。 この障害は、完全な注意と無制限のコンテキストでも持続し、ストレージと検索が同じ基板を共有するときの書き込み時間の干渉から生じる。 また,40～70%のスキーマ整合性と0～100%のクリーンな修正率を観測し,スキーマドリフトとバージョン曖昧性を本番システムにおける一次障害モードとみなす。 コンテキストベースのメモリでは、選択検索よりも30～300%のコストがかかる。 我々は、制御された語彙と明示的なバージョンチェーンを持つ離散型メモリユニットである知識オブジェクト(KO)を提案する。 ニューラルウェイトを装備したKOは、真の補完的な学習アーキテクチャを可能にし、信頼性の高いAIメモリは、この双カメラ設計を必要とする可能性があることを示唆している。

関連論文リスト

• Memory as Resonance: A Biomimetic Architecture for Infinite Context Memory on Ergodic Phonetic Manifolds [0.0]
  本稿では,言語をエルゴード多様体上の連続経路としてエンコードするニューロシンボリックアーキテクチャであるPhontic Trajectory Memoryを紹介する。 我々は,検索が共鳴の過程となり,最大92%の事実精度を確保することを実証した。 我々の結果は、無限のコンテキストは無限のシリコンを必要としないことを示唆している。記憶されるデータではなく、保存されていない物理信号に作用する再構成プロセスとしてメモリを扱う必要がある。
  論文  参考訳（メタデータ） (2025-12-23T10:55:32Z)
• Agentic Learner with Grow-and-Refine Multimodal Semantic Memory [50.81667005063605]
  ViLoMemは、コンパクトなスキーマベースのメモリを構築するデュアルストリームメモリフレームワークである。 視覚的障害パターンと論理的推論エラーを符号化し、MLLMが成功し失敗した経験から学ぶことを可能にする。
  論文  参考訳（メタデータ） (2025-11-26T18:55:08Z)
• Concept-Guided Interpretability via Neural Chunking [64.6429903327095]
  ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。 神経集団レベルで繰り返しチャンクを抽出する3つの方法を提案する。 私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
  論文  参考訳（メタデータ） (2025-05-16T13:49:43Z)
• Resistive Memory-based Neural Differential Equation Solver for Score-based Diffusion Model [55.116403765330084]
  スコアベースの拡散のような現在のAIGC法は、迅速性と効率性の点で依然として不足している。 スコアベース拡散のための時間連続型およびアナログ型インメモリ型ニューラル微分方程式解法を提案する。 我々は180nmの抵抗型メモリインメモリ・コンピューティング・マクロを用いて,我々の解を実験的に検証した。
  論文  参考訳（メタデータ） (2024-04-08T16:34:35Z)
• Sparse Coding in a Dual Memory System for Lifelong Learning [13.041607703862724]
  Brainは、重複しないスパースコードの情報を効率的にエンコードする。 我々はマルチメモリ再生機構においてスパース符号化を用いる。 本手法は,作業モデルのシナプス重みに符号化された情報を集約し,集約する,長期的セマンティックメモリを新たに維持する。
  論文  参考訳（メタデータ） (2022-12-28T12:56:15Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• The Causal Neural Connection: Expressiveness, Learnability, and Inference [125.57815987218756]
  構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。 本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。 我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
  論文  参考訳（メタデータ） (2021-07-02T01:55:18Z)
• Slow manifolds in recurrent networks encode working memory efficiently and robustly [0.0]
  ワーキングメモリ(working memory)は、潜在情報の保存と操作を短時間で行う認知機能である。 作業メモリのネットワークレベルメカニズムを調べるために,トップダウンモデリング手法を用いる。
  論文  参考訳（メタデータ） (2021-01-08T18:47:02Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Triple Memory Networks: a Brain-Inspired Method for Continual Learning [35.40452724755021]
  ニューラルネットワークは、新しいタスクを学ぶ際にパラメータを調整するが、古いタスクをうまく実行できない。 脳は破滅的な干渉なしに新しい経験を継続的に学習する能力を持っている。 このような脳戦略に触発されて、連続学習のための三重記憶ネットワーク(TMN)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-03-06T11:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。