論文の概要: MemDefrag: Latent Memory Defragmentation for Large Language Models

• arxiv url: http://arxiv.org/abs/2607.05969v2
• Date: Wed, 15 Jul 2026 05:36:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-16 14:31:40.657966
• Title: MemDefrag: Latent Memory Defragmentation for Large Language Models
• Title（参考訳）: MemDefrag: 大規模言語モデルのための遅延メモリデフラグメンテーション
• Abstract要約: ラテントメモリは、過去の知識の断片を層ごとの隠蔽状態として保存する。 MemDefragは、中間層トレース信号を使用してメモリリオーダを実行するフレームワークである。 MemDefragは知識保持においてMemoryLLMとM+を大きく上回っている。
• 参考スコア（独自算出の注目度）: 24.020289854839746
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Latent memory, which stores past knowledge fragments as per-layer hidden states, has emerged as a promising paradigm (e.g., MemoryLLM and M+) for long-term memory in large language models (LLMs). However, the paradigm suffers from significant performance degradation during memory updates, due to positional encoding misalignment and the absence of any tracing mechanism to distinguish target memory fragments from irrelevant ones. To discover such a tracing mechanism, we probe the layer-wise attention density over stored memory fragments, and find that a small set of middle transformer layers consistently concentrates the highest density on the target fragment - exposing an inherent tracing signal. In light of this, we propose MemDefrag, a training-free and model-agnostic framework that (1) uses a middle-layer tracing signal to conduct memory defragmentation (rank, reorder, and filter memories), and (2) applies an informativeness-guided proportional forgetting mechanism once capacity is exceeded. Experiments show that MemDefrag substantially outperforms MemoryLLM and M+ on knowledge retention (e.g., 43.0% vs. 17.4%/17.6% after 50 memory updates) and long-context benchmarks, and generalizes well across various LLMs and latent-memory variants. The code is available at github.com/ryehr/MemDefrag.
• Abstract（参考訳）: 過去の知識フラグメントを階層単位の隠蔽状態として格納する潜時記憶は、大規模言語モデル(LLM)における長期記憶のための有望なパラダイム(例えば、MemoryLLM、M+)として登場した。 しかし、このパラダイムは、位置符号化のミスアライメントと、対象とするメモリフラグメントと無関係なメモリフラグメントを区別するトレース機構が欠如しているため、メモリ更新時の大幅なパフォーマンス劣化に悩まされている。 このようなトレーシング機構を発見するために,記憶メモリフラグメント上での層回りの注意密度を探索し,最小の中間変圧器層が目標フラグメントの最も高い密度を常に集中し,固有のトレーシング信号を公開することを発見した。 そこで本研究では,(1)中間層トレーシング信号を用いてメモリ劣化(ランク,リオーダー,フィルタメモリ)を行い,(2)キャパシティが超過した場合に情報量誘導比例的記憶機構を適用する,トレーニングフリーでモデルに依存しないフレームワークであるMemDefragを提案する。 実験の結果、MemDefragは知識保持(例えば、50メモリ更新後の43.0%対17.4%/17.6%)と長文のベンチマークでメモリLLMとM+を大きく上回り、様々なLLMと潜時メモリの亜種でよく一般化している。 コードはgithub.com/ryehr/MemDefragで入手できる。

関連論文リスト

• CreaMem: A Scene-Aware Memory Architecture for Personalized Agents [10.59532182467324]
  本稿では,メモリを複数のライフシーンメモリに分割することで,シーン認識型メモリ構成を可能にするCreaMemアーキテクチャを提案する。 CreaMemは、すべての評価指標のQA精度を改善し、特にマルチホップ推論のパフォーマンスを大きく向上させる。 強化するために、私たちはコードをパブリックなGitHubリポジトリにリリースしました。
  論文  参考訳（メタデータ） (2026-09-08T10:33:05Z)
• Mechanistic Attention Guidance for Agent Memory Refinement [32.57216046158823]
  検索ヘッドアテンションは,セグメントレベルのメモリ使用量を明らかにするためのメカニスティック信号を提供する。 本稿では,注意による利用パターンを用いてセグメントレベルのメモリ更新を誘導するフレームワークであるAttention-Guided Memory Refinement (AGMR)を提案する。
  論文  参考訳（メタデータ） (2026-07-20T07:17:50Z)
• Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents [72.3752981234916]
  大きな言語モデル(LLM)エージェントは、タスク間の経験を蓄積するために、外部メモリシステムに依存している。 メモリ操作をマルコフ決定プロセスとしてモデル化するフレームワークである制御プロセス(MemCon)としてメモリを提示する。 MemConは、複数のメモリベースラインのタスク成功率を最大15.2ポイント上回り、トークン消費量を5-20%削減している。
  論文  参考訳（メタデータ） (2026-07-15T08:32:40Z)
• Mandol: An Agglomerative Agent Memory System for Long-Term Conversations [19.51654277630379]
  Mandolは、断片化されたメモリ表現とストレージを統一されたメモリネイティブアーキテクチャに統合する集約型メモリシステムである。 マンドルは代表エージェントメモリシステムの中で最高の全体的な精度を達成する。
  論文  参考訳（メタデータ） (2026-06-29T04:43:29Z)
• MemGuard: Preventing Memory Contamination in Long-Term Memory-Augmented Large Language Models [56.31411457917676]
  本稿では,メモリ構築と検索において,機能的メモリ境界を保存するタイプアウェアメモリフレームワークであるMemGuardを紹介する。 幻覚と長期会話のベンチマーク全体で、MemGuardはメモリの信頼性を最大28.27%向上し、メモリトークンは以前の方法より5.8倍少ない。
  論文  参考訳（メタデータ） (2026-05-27T06:04:19Z)
• MemGym: a Long-Horizon Memory Environment for LLM Agents [69.79226770543049]
  本稿では,エージェントメモリのベンチマークであるMemGymを紹介する。 MemGymは、メモリパフォーマンスを推論、検索、ツール使用能力から切り離すメモリアイソレーションスコアを報告している。 MEMGYM-CODEQAとMEMGYM-DRの合成パイプラインは、長さ制御可能であり、各ステージでアブレーションを検証可能であり、下流のシナリオと密に整合している。
  論文  参考訳（メタデータ） (2026-05-20T07:25:33Z)
• MemSearch-o1: Empowering Large Language Models with Reasoning-Aligned Memory Growth in Agentic Search [59.98962867649009]
  本稿では,メモリ成長とリトラシングに基づくエージェント検索フレームワークであるMemSearch-o1を提案する。 MemSearch-o1はクエリからメモリシードトークンからきめ細かいメモリフラグメントを成長させ、コントリビューション関数を通じてメモリを再トレースし、深く洗練し、最終的にグローバルに接続されたメモリパスを再編成する。
  論文  参考訳（メタデータ） (2026-04-19T05:35:06Z)
• From Verbatim to Gist: Distilling Pyramidal Multimodal Memory via Semantic Information Bottleneck for Long-Horizon Video Agents [78.30630000529133]
  本稿ではファジィトレース理論に基づくピラミッド型マルチモーダルメモリアーキテクチャMM-Memを提案する。 MM-Memメモリは階層的に感覚バッファ、エピソードストリーム、シンボリックに構造する。 実験により、MM-Memがオフラインタスクとストリーミングタスクの両方で有効であることが確認された。
  論文  参考訳（メタデータ） (2026-03-02T05:12:45Z)
• Agentic Memory: Learning Unified Long-Term and Short-Term Memory Management for Large Language Model Agents [57.38404718635204]
  大規模言語モデル (LLM) エージェントは、有限コンテキストウィンドウによる長距離推論において基本的な制限に直面している。 既存のメソッドは通常、長期記憶(LTM)と短期記憶(STM)を独立したコンポーネントとして扱う。 本稿では,エージェントのポリシーに LTM と STM 管理を直接統合する統合フレームワークである Agentic Memory (AgeMem) を提案する。
  論文  参考訳（メタデータ） (2026-01-05T08:24:16Z)
• Multiple Memory Systems for Enhancing the Long-term Memory of Agent [9.43633399280987]
  MemoryBankやA-MEMといった既存の手法は、記憶されているメモリの質が劣っている。 我々は認知心理学理論にインスパイアされた多重記憶システムを設計した。
  論文  参考訳（メタデータ） (2025-08-21T06:29:42Z)
• ESSENTIAL: Episodic and Semantic Memory Integration for Video Class-Incremental Learning [8.958316945958025]
  ESSENTIALは、時間的にスパースな特徴を記憶するためのエピソードメモリと、学習可能なプロンプトで表される一般的な知識を記憶するためのセマンティックメモリから構成される。 本稿では,エピソードメモリとセマンティックプロンプトをクロスアテンションを通じて統合した新しいメモリ検索(MR)モジュールを提案する。 注目すべきは、メモリの大幅な削減により、ESSENTIALはベンチマークで良好なパフォーマンスを達成することだ。
  論文  参考訳（メタデータ） (2025-08-14T17:59:07Z)
• From Single to Multi-Granularity: Toward Long-Term Memory Association and Selection of Conversational Agents [79.87304940020256]
  大言語モデル(LLM)は会話エージェントで広く採用されている。 MemGASは、多粒度アソシエーション、適応選択、検索を構築することにより、メモリ統合を強化するフレームワークである。 4つの長期メモリベンチマークの実験により、MemGASは質問応答と検索タスクの両方において最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2025-05-26T06:13:07Z)
• vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
  大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。 大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
  論文  参考訳（メタデータ） (2024-07-22T14:37:58Z)
• XMem: Long-Term Video Object Segmentation with an Atkinson-Shiffrin Memory Model [137.50614198301733]
  機能記憶を統一した長ビデオのためのビデオオブジェクトセグメンテーションアーキテクチャであるXMemを提案する。 独立して深く接続された複数の機能記憶を組み込んだアーキテクチャを開発する。 XMemは、ロングビデオデータセットにおける最先端のパフォーマンスを大幅に上回る。
  論文  参考訳（メタデータ） (2022-07-14T17:59:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。