論文の概要: Metis: Memory Foundation Model

• arxiv url: http://arxiv.org/abs/2607.26760v2
• Date: Tue, 04 Aug 2026 08:51:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 13:15:27.394382
• Title: Metis: Memory Foundation Model
• Title（参考訳）: Metis: メモリファウンデーションモデル
• Authors: Zeyu Zhang, Ziliang Guo, Yihang Sun, Xichong Zhang, Xixuan Hao, Zehao Lin, Yang Zhang, Xiaoyan Zhao, Tong Shen, Bo Tang, Zhi-Qin John Xu, Junchi Yan, Haofen Wang, Xu Chen, Feiyu Xiong, Zhiyu Li, Tat-Seng Chua,
• Abstract要約: メモリ基盤モデルを導入し,基礎モデルにネイティブメモリ機能を持たせる。 ネイティブメモリはアーキテクチャ、エンドツーエンドの最適化、効率性に利点があることを示す。 メモリ基盤モデルの最初のプロトタイプであるMetisを紹介します。
• 参考スコア（独自算出の注目度）: 96.59067961902532
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent advances in AI agents have increasingly internalized native capabilities into their underlying foundation models, giving rise to multimodal foundation models and large reasoning models. However, agent memory is still primarily implemented through external modules, leaving the native memory capability largely unexplored. In this paper, we take a first step toward this direction by introducing memory foundation models, which empower foundation models with native memory capabilities. We formalize native memory from two perspectives: a persistent and dynamically evolving memory state within the backbone, and native memory procedures that autonomously store and utilize information through model computation. We show that native memory offers advantages in architecture, end-to-end optimization, and efficiency. Based on this formulation, we propose Metis, the first prototype of memory foundation models. Metis introduces a new architecture that equips a foundation model with a native memory state, allowing historical information to be compressed into the model and accessed through memory attention. We construct large-scale memory-specific training data and introduce multiple optimization objectives to acquire these native memory procedures through mid-training. The online memory maintenance of Metis is gradient-free, and the memory update requires only a forward pass. At inference time, all learned model weights remain frozen, while the native memory states are autonomously transformed through standard forward computation. Through extensive experiments, we show that Metis exhibits native memory capabilities and further provide a detailed analysis of its strengths, limitations, and behaviors. To facilitate future research on memory foundation models, we release our project and model checkpoints.
• Abstract（参考訳）: AIエージェントの最近の進歩は、土台となる基盤モデルにネイティブ機能の内部化が進み、マルチモーダル基盤モデルと大きな推論モデルが生まれている。 しかし、エージェントメモリは依然として主に外部モジュールを通して実装されており、ネイティブメモリの能力はほとんど探索されていない。 本稿では,メモリ基盤モデルを導入することにより,この方向への第一歩を踏み出す。 我々は、バックボーン内の永続的かつ動的に進化するメモリ状態と、モデル計算を通じて情報を自律的に保存・活用するネイティブメモリプロシージャの2つの観点から、ネイティブメモリを形式化する。 ネイティブメモリはアーキテクチャ、エンドツーエンドの最適化、効率性に利点があることを示す。 この定式化に基づいて,メモリ基盤モデルの最初のプロトタイプであるMetisを提案する。 Metisは、ファンデーションモデルにネイティブメモリ状態を持たせる新しいアーキテクチャを導入し、履歴情報をモデルに圧縮し、メモリアテンションを通じてアクセスできるようにする。 本研究では,大規模なメモリ固有トレーニングデータを構築し,これらのネイティブメモリ手順を中級学習で取得する目的を複数導入する。 Metisのオンラインメモリメンテナンスはグラデーションフリーであり、メモリ更新はフォワードパスのみを必要とする。 推論時には、学習したモデルウェイトはすべて凍結され、ネイティブメモリ状態は標準のフォワード計算によって自律的に変換される。 広範な実験を通じて,Metisはネイティブメモリ能力を示し,その強度,限界,動作の詳細な解析を行う。 メモリファウンデーションモデルに関する今後の研究を促進するため、我々はプロジェクトとモデルチェックポイントをリリースする。

関連論文リスト

• AutoMem: Automated Learning of Memory as a Cognitive Skill [63.07128029793901]
  記憶の専門知識は学習したスキルであることを示す。 メモリ管理の2つの軸を自動化するフレームワークであるAutoMemを紹介する。 その結果,メモリ管理は独立して学習可能なスキルであることが示唆された。
  論文  参考訳（メタデータ） (2026-07-01T17:57:03Z)
• M$^3$Eval: Multi-Modal Memory Evaluation through Cognitively-Grounded Video Tasks [19.25978075323521]
  M$3$Evalは、マルチモーダルモデルで異なるメモリ次元を探索するための最初の包括的な評価フレームワークとベンチマークである。 代表的マルチモーダルモデルにまたがって実験を行い、一貫した弱点と独特な振る舞いを明らかにする。 本研究は、メモリを基礎的かつ未探索の能力として強調し、マルチモーダルモデルにおいてより効率的なメモリ機構を設計するための洞察を提供する。
  論文  参考訳（メタデータ） (2026-06-03T15:28:57Z)
• Memory in the Age of AI Agents [217.9368190980982]
  この研究は、現在のエージェントメモリ研究の最新の展望を提供することを目的としている。 我々は,エージェントメモリ,すなわちトークンレベル,パラメトリック,潜時メモリの3つの支配的実現を同定する。 実用的な開発を支援するため、メモリベンチマークとオープンソースフレームワークの包括的な概要をコンパイルする。
  論文  参考訳（メタデータ） (2025-12-15T17:22:34Z)
• MemoryKT: An Integrative Memory-and-Forgetting Method for Knowledge Tracing [7.096160553754792]
  学生の記憶状態をシミュレーションすることは、知識追跡モデルの性能と解釈可能性の両方を高めるための有望なアプローチである。 メモリは、エンコーディング、ストレージ、検索の3つの基本的なプロセスから構成される。 本稿では,新しい時間変動オートエンコーダに基づく知識追跡モデルであるMemoryKTを提案する。
  論文  参考訳（メタデータ） (2025-08-11T15:59:59Z)
• Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
  現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。 本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。 我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-10-14T03:50:17Z)
• MEMORYLLM: Towards Self-Updatable Large Language Models [101.3777486749529]
  既存のLarge Language Models (LLM) は通常、デプロイ後も静的のままである。 本稿では,変圧器と固定サイズのメモリプールを備えたモデルMEMORYLLMを紹介する。 MEMORYLLMは、テキスト知識を自己更新し、早期に注入された知識を記憶することができる。
  論文  参考訳（メタデータ） (2024-02-07T07:14:11Z)
• Training Language Models with Memory Augmentation [28.4608705738799]
  本稿では,メモリ拡張による言語モデル学習のための新しいトレーニング手法を提案する。 当社のアプローチでは、バッチ内のサンプルをアクセス可能なメモリとして直接取り込むトレーニング目標を用いています。 従来のメモリ拡張アプローチよりも大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2022-05-25T11:37:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。