論文の概要: Deep Fusion Memory: A Chunk-Level Parametric Memory for Large Language Models

• arxiv url: http://arxiv.org/abs/2610.25100v1
• Date: Sun, 18 Oct 2026 08:24:53 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:19:36.907418
• Title: Deep Fusion Memory: A Chunk-Level Parametric Memory for Large Language Models
• Title（参考訳）: Deep Fusion Memory: 大規模言語モデルのためのチャンクレベルパラメトリックメモリ
• Abstract要約: Deep Fusion Memory (DFM) は、学習したメモリを隠蔽状態に組み込むパラメトリックメモリアーキテクチャである。 既存のパラメトリックメモリのアプローチと比較して、DFMは検索クエリを減らし、2048タイムを減らしてトレーニングデータを構築する必要がある。 DFMはMistral-7B-v0.3で12.71%、Qwen3-8B-Baseで11.19%向上した。
• 参考スコア（独自算出の注目度）: 38.51864409464911
• License:
• Abstract: Large language models need effective ways to acquire and use external knowledge beyond what they retain from pretraining. Continued pretraining risks catastrophic forgetting, while retrieval at inference time can add substantial overhead. External parametric memory avoids online retrieval, but constructing its training data requires extensive offline search, and output-level interpolation provides only shallow fusion. We introduce Deep Fusion Memory (DFM), a parametric memory architecture that reduces this construction workload and incorporates learned memory into intermediate hidden states. A causal memory predictor learns to generate memory from the preceding context, using retrieved chunk embeddings from the corpus as supervision. The predicted memory is shared across tokens within each chunk and fused into their hidden states through gated cross-attention. Memory prediction and fusion are trained end to end with the backbone frozen, and inference requires no explicit retrieval. Compared with existing parametric memory approaches, which often construct token-level memory targets, DFM requires $32\times$ fewer retrieval queries and $2048\times$ fewer retrieved items to construct its training data. Across six QA tasks, DFM performs better over the strongest baseline by 12.71% on Mistral-7B-v0.3 and 11.19% on Qwen3-8B-Base. Beyond QA, domain adaptation yields average gains of 6.51 and 4.38 points over Qwen3-4B-Base and Qwen3-8B-Base, respectively.
• Abstract（参考訳）: 大規模な言語モデルは、事前訓練から保持するもの以上の外部知識を取得し、利用する効果的な方法を必要とします。 継続事前訓練は破滅的な忘れ込みを招き、推論時間での検索はかなりのオーバーヘッドをもたらす可能性がある。 外部パラメトリックメモリはオンライン検索を避けるが、トレーニングデータの構築には広範なオフライン検索が必要であり、出力レベルの補間は浅い融合のみを提供する。 本稿では,この作業量を削減し,学習したメモリを中間的な隠蔽状態に組み込むパラメトリックメモリアーキテクチャであるDeep Fusion Memory(DFM)を紹介する。 因果記憶予測器は、コーパスから取得したチャンク埋め込みを監督として、前のコンテキストからメモリを生成することを学習する。 予測されたメモリは、各チャンク内のトークン間で共有され、ゲートクロスアテンションを通じて隠れた状態に融合される。 メモリ予測と融合は、バックボーンを凍結してエンドツーエンドにトレーニングされ、推論は明示的な検索を必要としない。 トークンレベルのメモリターゲットをしばしば構築する既存のパラメトリックメモリアプローチと比較すると、DFMは32-times$検索クエリを減らし、2048-times$検索アイテムを減らしてトレーニングデータを構築する必要がある。 6つのQAタスクで、DFMはMistral-7B-v0.3で12.71%、Qwen3-8B-Baseで11.19%向上した。 QAを超えると、ドメイン適応はQwen3-4BベースとQwen3-8Bベースに対して平均利得6.51点と4.38点を得る。

関連論文リスト

• Test-Time Memory Construction [50.916768004131505]
  大きな言語モデル(LLM)は、長いインタラクション履歴に関する質問に答えるのに苦労しています。 既存のメモリシステムは通常、ユーザクエリが観測される前に、オフラインで洗練されたメモリ表現を構築し維持する。 テスト時間メモリ構築フレームワークであるT$2$Memを提案する。
  論文  参考訳（メタデータ） (2026-10-09T10:24:51Z)
• Dual-Grained Agent Memory and Shapley Context Attribution for Multimodal Agentic Learner [55.80248281761638]
  マルチモーダルな大言語モデル (MLLM) は、科学的および数学的推論において、印象的な認識を提供する。 本稿では,DG-Memを提案する。DG-Memは,トレーニングタイムのロールアウトから一度構築した外部記憶メモリと,テスト時に読み取り専用に相談することで,凍結したMLLMを拡張可能なエージェントメモリフレームワークである。
  論文  参考訳（メタデータ） (2026-08-24T13:56:01Z)
• Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents [72.3752981234916]
  大きな言語モデル(LLM)エージェントは、タスク間の経験を蓄積するために、外部メモリシステムに依存している。 メモリ操作をマルコフ決定プロセスとしてモデル化するフレームワークである制御プロセス(MemCon)としてメモリを提示する。 MemConは、複数のメモリベースラインのタスク成功率を最大15.2ポイント上回り、トークン消費量を5-20%削減している。
  論文  参考訳（メタデータ） (2026-07-15T08:32:40Z)
• MGRetrieval: Memory-Guided Reflective Retrieval for Long-Term Dialogue Agents [10.248580356955085]
  大規模言語モデル(LLM)は対話において大きな進歩を遂げているが、冗長なメモリコンテキストはそれらの有効性を制限している。 歴史的記憶の意味構造における反射的検索を基盤とした検索戦略であるMGRetrievalを提案する。 LoCoMoの大規模な実験により、MGRetrievalはF1の8.91%、BLEU-1の11.11%で最強のベースラインを上回った。
  論文  参考訳（メタデータ） (2026-05-22T14:41:56Z)
• Memory Grafting: Scaling Language Model Pre-training via Offline Conditional Memory [65.39827296429527]
  条件付きメモリのスケーリングは、言語モデルのキャパシティを向上する有望な方法である。 Engramのような既存の方法は、事前トレーニング中にスクラッチから大きなメモリテーブルを学習する。 本研究では, グラフトモデルから凍結した隠蔽状態を条件n-gramメモリとして利用する条件記憶スケーリング手法であるメモリグラフトを提案する。
  論文  参考訳（メタデータ） (2026-05-20T09:35:04Z)
• Hindsight is 20/20: Building Agent Memory that Retains, Recalls, and Reflects [11.300084544174894]
  エージェントメモリを推論のための構造化第1級基板として扱うメモリアーキテクチャであるHindsightを提案する。 情報の追加、アクセス、更新の方法を管理する3つのコア操作 – 保持、リコール、リフレクション – をサポートしている。 オープンソースの20Bモデルは、全文ベースラインで全体の精度を39%から83.6%に引き上げる。
  論文  参考訳（メタデータ） (2025-12-14T19:47:23Z)
• MemSearcher: Training LLMs to Reason, Search and Manage Memory via End-to-End Reinforcement Learning [73.27233666920618]
  本稿では,メモリを反復的に保持し,現在のターンと組み合わせたエージェントワークフローであるMemSearcherを提案する。 それぞれのターンで、MemSearcherはユーザーの質問をメモリに融合させ、推論トレースを生成し、検索アクションを実行し、メモリを更新してタスクの解決に必要な情報のみを保持する。 我々は,MemSearcher Agents の推論,検索戦略,メモリ管理を協調的に最適化する,エンドツーエンドの RL フレームワークである Multi-context GRPO を紹介する。
  論文  参考訳（メタデータ） (2025-11-04T18:27:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。