論文の概要: MemT-1.0: Towards Memory-Native Evolution

• arxiv url: http://arxiv.org/abs/2610.26825v2
• Date: Tue, 20 Oct 2026 14:30:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.369235
• Title: MemT-1.0: Towards Memory-Native Evolution
• Title（参考訳）: MemT-1.0: メモリ依存進化に向けて
• Abstract要約: 本稿では,メモリをモデル計算の一部として内部化するメモリ基盤モデルのアーキテクチャであるMemT-1.0を紹介する。 MemT-1.0はGated DeltaNet-2を採用し、各ターンに安定なトークンレベルのメモリ更新機構を備えている。 MemT-1.0-Nanoは、約$1.86times$ end-to-endの推論速度アップと60times$ Persistenceストレージの削減を実現している。
• 参考スコア（独自算出の注目度）: 118.20889999022494
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Memory-native evolution requires making memory an intrinsic capability of foundation models, enabling them to continuously accumulate and utilize information. To this end, we introduce MemT-1.0, a new architecture of memory foundation models that internalize memory as part of model computation. Building on Metis, MemT-1.0 employs Gated DeltaNet-2 with a stable token-level memory update mechanism within each turn. We further introduce Mixture-of-Storage to scale native memory capacity. Following a deliberate backbone preparation, we develop a two-stage training pipeline consisting of continued pre-training and post-training, supported by 34B tokens of training data and efficient training and inference infrastructure. We release a model family comprising MemT-1.0-Nano and MemT-1.0-Flash, and conduct a comprehensive evaluation of memory and general capabilities. The results show that they outperform the parametric memory baselines on average and remain competitive with retrieval-augmented methods, while largely preserving general capabilities. At a history length of 128K tokens, MemT-1.0-Nano achieves approximately $1.86\times$ end-to-end inference speedup and a $66\times$ reduction in persistent storage relative to full context KV cache. By internalizing retrieved procedural experience, MemT-1.0 improves task success on agentic tasks, providing a practical step toward memory-native evolution.
• Abstract（参考訳）: メモリネイティブな進化には、メモリを基盤モデルの本質的な能力にする必要があります。 この目的のために,メモリをモデル計算の一部として内部化するメモリ基盤モデルの新たなアーキテクチャであるMemT-1.0を紹介する。 Metis上に構築されているMemT-1.0では、各ターンに安定なトークンレベルのメモリ更新機構を備えたGated DeltaNet-2を採用している。 さらに、ネイティブメモリ容量をスケールするためにMixture-of-Storageを導入します。 意図的なバックボーンの準備の後,34Bトークンのトレーニングデータと効率的なトレーニングと推論のインフラによって支援された,継続した事前トレーニングと後トレーニングからなる2段階のトレーニングパイプラインを開発した。 我々は,MemT-1.0-NanoとMemT-1.0-Flashからなるモデルファミリをリリースし,メモリと汎用能力を総合的に評価する。 その結果、パラメトリックメモリのベースラインを平均的に上回り、検索拡張手法と競合する一方で、概ね汎用性を維持していることが明らかとなった。 128Kのトークンで、MemT-1.0-Nanoは、約$1.86\times$ end-to-endの推論スピードアップと、フルコンテキストのKVキャッシュに対する永続化ストレージの6.6\times$還元を達成する。 検索した手続き的エクスペリエンスを内部化することにより、MemT-1.0はエージェントタスクのタスク成功を改善し、メモリネイティブ進化への実践的なステップを提供する。

関連論文リスト

• Metis: Memory Foundation Model [96.59067961902532]
  メモリ基盤モデルを導入し,基礎モデルにネイティブメモリ機能を持たせる。 ネイティブメモリはアーキテクチャ、エンドツーエンドの最適化、効率性に利点があることを示す。 メモリ基盤モデルの最初のプロトタイプであるMetisを紹介します。
  論文  参考訳（メタデータ） (2026-07-29T10:58:44Z)
• MemTrain: Self-Supervised Context Memory Training [40.64801276577851]
  既存のメモリエージェントアプローチは通常、下流タスクで強化学習を施したエンドツーエンドで訓練される。 MemTrainは、LLMエージェントのコンテキストメモリ能力を高めるための自己教師型トレーニングフレームワークである。 MemTrainは、異なるモデル間のダウンストリームメモリ集約推論性能を一貫して改善する。
  論文  参考訳（メタデータ） (2026-06-02T05:56:24Z)
• Memory Grafting: Scaling Language Model Pre-training via Offline Conditional Memory [65.39827296429527]
  条件付きメモリのスケーリングは、言語モデルのキャパシティを向上する有望な方法である。 Engramのような既存の方法は、事前トレーニング中にスクラッチから大きなメモリテーブルを学習する。 本研究では, グラフトモデルから凍結した隠蔽状態を条件n-gramメモリとして利用する条件記憶スケーリング手法であるメモリグラフトを提案する。
  論文  参考訳（メタデータ） (2026-05-20T09:35:04Z)
• Memory Layers at Scale [67.00854080570979]
  この研究はメモリ層を概念実証以上のものにし、現代の規模でその有用性を証明している。 ダウンストリームタスクでは、改善されたメモリ層で強化された言語モデルは、予算の2倍以上の高密度モデルよりも優れており、計算とパラメータの両方にマッチする場合の熟練モデルの混合も優れている。 最大128Bのメモリパラメータを持つスケーリング法則を1兆トークンまで事前訓練し,最大8Bパラメータを持つベースモデルと比較した,完全な並列化可能なメモリレイヤの実装を提供する。
  論文  参考訳（メタデータ） (2024-12-12T23:56:57Z)
• MEMO: Fine-grained Tensor Management For Ultra-long Context LLM Training [24.066283519769968]
  大規模言語モデル(LLM)は、よりクリエイティブなアプリケーションを促進するために、拡張コンテキスト長を使用して訓練されている。 本稿では,メモリ管理を微粒化するための新しいフレームワークであるMEMOを提案する。 MeMOはMegatron-LMやDeepSpeedと比べて平均1.97倍と1.80倍のMFUを達成している。
  論文  参考訳（メタデータ） (2024-07-16T18:59:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。