論文の概要: Memory-Augmented Transformers: A Systematic Review from Neuroscience Principles to Enhanced Model Architectures
- arxiv url: http://arxiv.org/abs/2508.10824v2
- Date: Sat, 16 Aug 2025 03:17:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-19 12:43:44.918839
- Title: Memory-Augmented Transformers: A Systematic Review from Neuroscience Principles to Enhanced Model Architectures
- Title（参考訳）: メモリ拡張トランス: 神経科学原理から拡張モデルアーキテクチャへの体系的レビュー
- Authors: Parsa Omidi, Xingshuai Huang, Axel Laborieux, Bahareh Nikpour, Tianyu Shi, Armaghan Eshaghi,
- Abstract要約: 記憶は知性の基本であり、生物学的および人工システム間の学習、推論、適応性を可能にする。
トランスフォーマーはシーケンスモデリングにおいて優れているが、長距離コンテキスト保持、連続学習、知識統合において制限に直面している。
このレビューでは、動的多時間記憶、選択的注意、統合など、神経科学の原則をブリッジする統一的な枠組みを提示する。
- 参考スコア（独自算出の注目度）: 4.942399246128045
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Memory is fundamental to intelligence, enabling learning, reasoning, and adaptability across biological and artificial systems. While Transformer architectures excel at sequence modeling, they face critical limitations in long-range context retention, continual learning, and knowledge integration. This review presents a unified framework bridging neuroscience principles, including dynamic multi-timescale memory, selective attention, and consolidation, with engineering advances in Memory-Augmented Transformers. We organize recent progress through three taxonomic dimensions: functional objectives (context extension, reasoning, knowledge integration, adaptation), memory representations (parameter-encoded, state-based, explicit, hybrid), and integration mechanisms (attention fusion, gated control, associative retrieval). Our analysis of core memory operations (reading, writing, forgetting, and capacity management) reveals a shift from static caches toward adaptive, test-time learning systems. We identify persistent challenges in scalability and interference, alongside emerging solutions including hierarchical buffering and surprise-gated updates. This synthesis provides a roadmap toward cognitively-inspired, lifelong-learning Transformer architectures.
- Abstract（参考訳）: 記憶は知性の基本であり、生物学的および人工システム間の学習、推論、適応性を可能にする。
Transformerアーキテクチャはシーケンスモデリングに優れていますが、長距離コンテキスト保持、継続的な学習、知識統合において重要な制限に直面しています。
このレビューでは、動的マルチタイムスケールメモリ、選択的注意、統合を含む神経科学の原則をブリッジする統一的な枠組みを提示し、メモリ拡張トランスフォーマーの工学的進歩について述べる。
機能的目的 (コンテキスト拡張, 推論, 知識統合, 適応), メモリ表現 (パラメータエンコード, 状態ベース, 明示的, ハイブリッド), 統合機構 (アテンション融合, ゲート制御, 連想検索) の3つの分類的側面による最近の進歩を整理した。
コアメモリ操作(読み込み、書き込み、忘れ、キャパシティ管理)の分析により、静的キャッシュから適応的なテスト時間学習システムへの移行が明らかになった。
階層的バッファリングやサプライズゲート更新といった新しいソリューションとともに、スケーラビリティと干渉における永続的な課題を特定します。
この合成は認知にインスパイアされた生涯学習型トランスフォーマーアーキテクチャに向けたロードマップを提供する。
関連論文リスト
- The AI Hippocampus: How Far are We From Human Memory? [77.04745635827278]
インプリシットメモリは、事前訓練されたトランスフォーマーの内部パラメータに埋め込まれた知識を指す。
明示メモリは、動的でクエリ可能な知識表現でモデル出力を増大させるように設計された外部ストレージと検索コンポーネントを含んでいる。
エージェントメモリは、自律エージェント内に永続的、時間的に拡張されたメモリ構造を導入する。
論文 参考訳（メタデータ） (2026-01-14T03:24:08Z) - Improving Multi-step RAG with Hypergraph-based Memory for Long-Context Complex Relational Modeling [83.29209853451697]
多段階検索強化世代(RAG)は,大規模言語モデル(LLM)の拡張戦略として広く採用されている。
我々はHGMemというハイパーグラフベースのメモリ機構を導入し、複雑な推論とグローバルな理解のためにメモリの概念を動的に表現的構造に拡張する。
提案手法では,ハイパーエッジが異なるメモリ単位に対応するハイパーグラフとして表現され,メモリ内での高次相互作用の進行的形成を可能にする。
論文 参考訳（メタデータ） (2025-12-30T03:13:10Z) - AI Meets Brain: Memory Systems from Cognitive Neuroscience to Autonomous Agents [69.39123054975218]
メモリは過去と未来の重要なネクサスブリッジとして機能する。
自律エージェントに関する最近の研究は、認知神経科学に基づいて効率的な記憶を設計することに集中している。
論文 参考訳（メタデータ） (2025-12-29T10:01:32Z) - MemEvolve: Meta-Evolution of Agent Memory Systems [66.09735157017558]
自己進化型メモリシステムは、大型言語モデル(LLM)ベースのエージェントの進化パラダイムを前例のない形で再構築している。
MemeEvolveは、エージェントの経験的知識とメモリアーキテクチャを共同で進化させるメタ進化フレームワークである。
EvolveLabは、12の代表的なメモリシステムをモジュール設計空間に蒸留する、統一された自己進化型メモリである。
論文 参考訳（メタデータ） (2025-12-21T14:26:14Z) - Memory-Integrated Reconfigurable Adapters: A Unified Framework for Settings with Multiple Tasks [29.90641701972515]
生物は、捕食者を避けること、捕食、荒れ果てた地形を横切ること、社会化など、しばしばミリ秒以内の作業の間を常に方向転換する。
本稿では,共有バックボーン上にHopfieldスタイルの連想メモリモジュールを統合する統一フレームワークを提案する。
標準ベンチマークの実証評価により、AMアーキテクチャが適応性と保持性を著しく向上することを確認した。
論文 参考訳（メタデータ） (2025-11-30T15:45:55Z) - PISA: A Pragmatic Psych-Inspired Unified Memory System for Enhanced AI Agency [50.712873697511206]
既存の作業は、多種多様なタスクへの適応性に欠けることが多く、AIエージェントメモリの構成的およびタスク指向の役割を見落としている。
PISAは,メモリを構築的かつ適応的なプロセスとして扱う,実践的でサイコにインスパイアされた統合メモリシステムである。
既存のLOCOMOベンチマークと新たに提案したデータ解析タスクのAggQAベンチマークに基づいて,PISAが適応性と長期的知識保持を大幅に向上させることで,新たな最先端技術を設定することを確認した。
論文 参考訳（メタデータ） (2025-10-12T10:34:35Z) - MemOS: A Memory OS for AI System [116.87568350346537]
大規模言語モデル(LLM)は、人工知能(AGI)にとって不可欠な基盤となっている。
既存のモデルは、主に静的パラメータと短命なコンテキスト状態に依存しており、ユーザの好みを追跡したり、長い期間にわたって知識を更新する能力を制限する。
MemOSはメモリを管理可能なシステムリソースとして扱うメモリオペレーティングシステムである。
論文 参考訳（メタデータ） (2025-07-04T17:21:46Z) - MemOS: An Operating System for Memory-Augmented Generation (MAG) in Large Language Models [31.944531660401722]
我々は,大規模言語モデル(LLM)用に設計されたメモリオペレーティングシステムであるMemOSを紹介する。
コアとなるMemCubeは、異種メモリの追跡、融合、マイグレーションを可能にする標準化されたメモリ抽象化である。
MemOSは、強力な制御性、適応性、進化性を備えたメモリ中心の実行フレームワークを確立する。
論文 参考訳（メタデータ） (2025-05-28T08:27:12Z) - CAIM: Development and Evaluation of a Cognitive AI Memory Framework for Long-Term Interaction with Intelligent Agents [1.6082737760346446]
大規模言語モデル(LLM)は人工知能(AI)の分野を進歩させ、インタラクティブシステムのための強力なイネーブラーとなっている。
ユーザに対して適応する必要のある長期的なインタラクションや、常に変化する環境のコンテキスト的知識や理解において、依然として課題に直面しています。
これらの課題を克服するためには、インタラクションセッション間で関連情報を効率的に検索し保存するために、全体論的メモリモデリングが必要である。
コンピュータ化されたモデルで人間の思考プロセスをシミュレートすることを目的とした認知AIは、思考、記憶機構、意思決定といった興味深い側面を強調している。
論文 参考訳（メタデータ） (2025-05-19T12:33:52Z) - Attention is All You Need Until You Need Retention [0.0]
この研究はトランスフォーマーベースのアーキテクチャのための新しいRetention Layerメカニズムを導入し、本質的な保持機能の欠如に対処する。
Retention Layerには、リアルタイムデータ人口、動的リコール、ガイド付き出力生成が可能な永続メモリモジュールが含まれている。
各領域において、保持機構は、システムが漸進的に学習し、アウトプットをパーソナライズし、進化する現実世界の課題に効果的に対応できるようにする。
論文 参考訳（メタデータ） (2025-01-15T21:33:53Z) - Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。
本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。
我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
論文 参考訳（メタデータ） (2024-10-14T03:50:17Z) - A Framework for Inference Inspired by Human Memory Mechanisms [9.408704431898279]
本稿では,知覚,記憶,推論の構成要素からなるPMIフレームワークを提案する。
メモリモジュールは、ワーキングメモリと長期メモリから構成され、後者は、広範囲で複雑なリレーショナル知識と経験を維持するために、高次構造を備えている。
我々は、bAbI-20kやSolt-of-CLEVRデータセットのような質問応答タスクにおいて、一般的なTransformerとCNNモデルを改善するためにPMIを適用します。
論文 参考訳（メタデータ） (2023-10-01T08:12:55Z) - Incorporating Neuro-Inspired Adaptability for Continual Learning in
Artificial Intelligence [59.11038175596807]
継続的な学習は、現実世界に強い適応性を持つ人工知能を強化することを目的としている。
既存の進歩は主に、破滅的な忘れを克服するために記憶安定性を維持することに焦点を当てている。
本稿では,学習の可塑性を改善するため,パラメータ分布の古い記憶を適切に減衰させる汎用的手法を提案する。
論文 参考訳（メタデータ） (2023-08-29T02:43:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。