論文の概要: Memory-Augmented Transformers: A Systematic Review from Neuroscience Principles to Enhanced Model Architectures

• arxiv url: http://arxiv.org/abs/2508.10824v2
• Date: Sat, 16 Aug 2025 03:17:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 12:43:44.918839
• Title: Memory-Augmented Transformers: A Systematic Review from Neuroscience Principles to Enhanced Model Architectures
• Title（参考訳）: メモリ拡張トランス: 神経科学原理から拡張モデルアーキテクチャへの体系的レビュー
• Authors: Parsa Omidi, Xingshuai Huang, Axel Laborieux, Bahareh Nikpour, Tianyu Shi, Armaghan Eshaghi,
• Abstract要約: 記憶は知性の基本であり、生物学的および人工システム間の学習、推論、適応性を可能にする。 トランスフォーマーはシーケンスモデリングにおいて優れているが、長距離コンテキスト保持、連続学習、知識統合において制限に直面している。 このレビューでは、動的多時間記憶、選択的注意、統合など、神経科学の原則をブリッジする統一的な枠組みを提示する。
• 参考スコア（独自算出の注目度）: 4.942399246128045
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Memory is fundamental to intelligence, enabling learning, reasoning, and adaptability across biological and artificial systems. While Transformer architectures excel at sequence modeling, they face critical limitations in long-range context retention, continual learning, and knowledge integration. This review presents a unified framework bridging neuroscience principles, including dynamic multi-timescale memory, selective attention, and consolidation, with engineering advances in Memory-Augmented Transformers. We organize recent progress through three taxonomic dimensions: functional objectives (context extension, reasoning, knowledge integration, adaptation), memory representations (parameter-encoded, state-based, explicit, hybrid), and integration mechanisms (attention fusion, gated control, associative retrieval). Our analysis of core memory operations (reading, writing, forgetting, and capacity management) reveals a shift from static caches toward adaptive, test-time learning systems. We identify persistent challenges in scalability and interference, alongside emerging solutions including hierarchical buffering and surprise-gated updates. This synthesis provides a roadmap toward cognitively-inspired, lifelong-learning Transformer architectures.
• Abstract（参考訳）: 記憶は知性の基本であり、生物学的および人工システム間の学習、推論、適応性を可能にする。 Transformerアーキテクチャはシーケンスモデリングに優れていますが、長距離コンテキスト保持、継続的な学習、知識統合において重要な制限に直面しています。 このレビューでは、動的マルチタイムスケールメモリ、選択的注意、統合を含む神経科学の原則をブリッジする統一的な枠組みを提示し、メモリ拡張トランスフォーマーの工学的進歩について述べる。 機能的目的 (コンテキスト拡張, 推論, 知識統合, 適応), メモリ表現 (パラメータエンコード, 状態ベース, 明示的, ハイブリッド), 統合機構 (アテンション融合, ゲート制御, 連想検索) の3つの分類的側面による最近の進歩を整理した。 コアメモリ操作(読み込み、書き込み、忘れ、キャパシティ管理)の分析により、静的キャッシュから適応的なテスト時間学習システムへの移行が明らかになった。 階層的バッファリングやサプライズゲート更新といった新しいソリューションとともに、スケーラビリティと干渉における永続的な課題を特定します。 この合成は認知にインスパイアされた生涯学習型トランスフォーマーアーキテクチャに向けたロードマップを提供する。

関連論文リスト

• MemOS: A Memory OS for AI System [116.87568350346537]
  大規模言語モデル(LLM)は、人工知能(AGI)にとって不可欠な基盤となっている。 既存のモデルは、主に静的パラメータと短命なコンテキスト状態に依存しており、ユーザの好みを追跡したり、長い期間にわたって知識を更新する能力を制限する。 MemOSはメモリを管理可能なシステムリソースとして扱うメモリオペレーティングシステムである。
  論文  参考訳（メタデータ） (2025-07-04T17:21:46Z)
• MemOS: An Operating System for Memory-Augmented Generation (MAG) in Large Language Models [31.944531660401722]
  我々は,大規模言語モデル(LLM)用に設計されたメモリオペレーティングシステムであるMemOSを紹介する。 コアとなるMemCubeは、異種メモリの追跡、融合、マイグレーションを可能にする標準化されたメモリ抽象化である。 MemOSは、強力な制御性、適応性、進化性を備えたメモリ中心の実行フレームワークを確立する。
  論文  参考訳（メタデータ） (2025-05-28T08:27:12Z)
• CAIM: Development and Evaluation of a Cognitive AI Memory Framework for Long-Term Interaction with Intelligent Agents [1.6082737760346446]
  大規模言語モデル(LLM)は人工知能(AI)の分野を進歩させ、インタラクティブシステムのための強力なイネーブラーとなっている。 ユーザに対して適応する必要のある長期的なインタラクションや、常に変化する環境のコンテキスト的知識や理解において、依然として課題に直面しています。 これらの課題を克服するためには、インタラクションセッション間で関連情報を効率的に検索し保存するために、全体論的メモリモデリングが必要である。 コンピュータ化されたモデルで人間の思考プロセスをシミュレートすることを目的とした認知AIは、思考、記憶機構、意思決定といった興味深い側面を強調している。
  論文  参考訳（メタデータ） (2025-05-19T12:33:52Z)
• Attention is All You Need Until You Need Retention [0.0]
  この研究はトランスフォーマーベースのアーキテクチャのための新しいRetention Layerメカニズムを導入し、本質的な保持機能の欠如に対処する。 Retention Layerには、リアルタイムデータ人口、動的リコール、ガイド付き出力生成が可能な永続メモリモジュールが含まれている。 各領域において、保持機構は、システムが漸進的に学習し、アウトプットをパーソナライズし、進化する現実世界の課題に効果的に対応できるようにする。
  論文  参考訳（メタデータ） (2025-01-15T21:33:53Z)
• Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
  現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。 本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。 我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-10-14T03:50:17Z)
• A Framework for Inference Inspired by Human Memory Mechanisms [9.408704431898279]
  本稿では,知覚,記憶,推論の構成要素からなるPMIフレームワークを提案する。 メモリモジュールは、ワーキングメモリと長期メモリから構成され、後者は、広範囲で複雑なリレーショナル知識と経験を維持するために、高次構造を備えている。 我々は、bAbI-20kやSolt-of-CLEVRデータセットのような質問応答タスクにおいて、一般的なTransformerとCNNモデルを改善するためにPMIを適用します。
  論文  参考訳（メタデータ） (2023-10-01T08:12:55Z)
• Incorporating Neuro-Inspired Adaptability for Continual Learning in Artificial Intelligence [59.11038175596807]
  継続的な学習は、現実世界に強い適応性を持つ人工知能を強化することを目的としている。 既存の進歩は主に、破滅的な忘れを克服するために記憶安定性を維持することに焦点を当てている。 本稿では,学習の可塑性を改善するため,パラメータ分布の古い記憶を適切に減衰させる汎用的手法を提案する。
  論文  参考訳（メタデータ） (2023-08-29T02:43:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。