論文の概要: TransMem: Transforming Hidden States into Memory for Large Language Models
- arxiv url: http://arxiv.org/abs/2607.29032v1
- Date: Fri, 31 Jul 2026 05:11:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 14:29:40.593302
- Title: TransMem: Transforming Hidden States into Memory for Large Language Models
- Title（参考訳）: TransMem: 隠れた状態を大きな言語モデルのためのメモリに変換する
- Abstract要約: 大規模言語モデル(LLM)エージェントは、長い相互作用履歴を通してますます機能する。
TransMemは、凍結したLCMバックボーンから再利用可能なメモリ表現に変換する。
- 参考スコア（独自算出の注目度）: 29.656816378992414
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM) agents increasingly operate over long interaction histories, where effective reasoning requires identifying and exploiting task-relevant evidence distributed across past observations and actions. However, useful information encoded in previously computed representations is often underutilized during subsequent generation. We propose \textbf{TransMem}, a lightweight inference-time parametric memory module that transforms sparse historical hidden states from a frozen LLM backbone into reusable memory representations. TransMem uses a lightweight gating network to dynamically apply the latent intervention to the current hidden states, without repeatedly encoding the preceding context. To learn transferable memory utilization rather than task-specific knowledge, we introduce evidence-conditioned self-distillation. A memory-augmented student processes the full context and matches the predictive distribution of an evidence-only teacher that shares the same frozen backbone. Experiments on LoCoMo, HotpotQA, and MemoryAgentBench demonstrate consistent improvements across different model architectures and scales. TransMem yields gains of 11.58--29.25 $F_1$ on LoCoMo and 10.20--13.03 $F_1$ on HotpotQA, while improving the average MemoryAgentBench accuracy from 29.54\% to 40.00\%. These results establish sparse historical hidden states as an effective and efficient memory substrate for long-context LLM agents. Our code is available at https://github.com/Haodong-Lei-Ray/TransMem.
- Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、過去の観察と行動に分散したタスク関連エビデンスを識別し、活用する必要がある、長い相互作用履歴に対してますます機能する。
しかし、前もって計算された表現に符号化された有用な情報は、後続の世代では利用されないことが多い。
本稿では,軽量な推論時パラメトリックメモリモジュールである \textbf{TransMem} を提案する。
TransMemは軽量なゲーティングネットワークを使用して、前のコンテキストを繰り返しエンコードすることなく、現在の隠れ状態への潜伏介入を動的に適用する。
タスク固有の知識ではなく、転送可能なメモリ利用を学習するために、エビデンス条件の自己蒸留を導入する。
メモリ拡張された学生は、完全なコンテキストを処理し、同じ凍結したバックボーンを共有するエビデンスのみの教師の予測分布と一致します。
LoCoMo、HotpotQA、MemoryAgentBenchの実験では、さまざまなモデルアーキテクチャとスケールで一貫した改善が示されている。
TransMemはLoCoMoでは11.58-29.25 $F_1$、HotpotQAでは10.20--13.03 $F_1$となり、メモリAgentBenchの平均精度は29.54\%から40.00\%に向上した。
これらの結果は、LLMエージェントの有効かつ効率的なメモリ基板として、希少な歴史的隠蔽状態を確立する。
私たちのコードはhttps://github.com/Haodong-Lei-Ray/TransMem.comで公開されています。
関連論文リスト
- Beyond Similarity: Trustworthy Memory Search for Personal AI Agents [25.265839311088516]
個人AIエージェントにおける信頼境界としてのメモリ探索について検討する。
MemGateは、信頼性の高いメモリ検索のための軽量でデプロイ可能なメモリプラグインである。
論文 参考訳（メタデータ） (2026-06-04T11:54:29Z) - Memory is Reconstructed, Not Retrieved: Graph Memory for LLM Agents [51.30250860677378]
本稿では,連想記憶グラフとアクティブな再構成機構を組み合わせたフレームワークであるMRAgentを提案する。
Cue-Tag-Contentグラフ上で実行することで,メモリアクセスに直接推論を統合する。
LoCoMoベンチマークとLongMemEvalベンチマークの実験は、強いベースラインよりも大幅に改善されている。
論文 参考訳（メタデータ） (2026-06-04T11:29:46Z) - InfoMem: Training Long-Context Memory Agents with Answer-Conditioned Information Gain [26.098768400948614]
長いコンテキストタスクは、大きなコンテキストから回答関連情報を識別し保存するためにLLMを必要とする。
既存のRLベースのチャンクワイドエージェントは、スパースファイナルアンサー報酬に依存するか、メモリと検索アクションの語彙中間報酬を使用する。
本稿では,問合せ情報を用いた最終記憶ユーティリティの評価を行う,チャンクワイドメモリエージェントの学習のための報奨機構であるInfoMemを提案する。
論文 参考訳（メタデータ） (2026-06-02T08:39:03Z) - MemGym: a Long-Horizon Memory Environment for LLM Agents [69.79226770543049]
本稿では,エージェントメモリのベンチマークであるMemGymを紹介する。
MemGymは、メモリパフォーマンスを推論、検索、ツール使用能力から切り離すメモリアイソレーションスコアを報告している。
MEMGYM-CODEQAとMEMGYM-DRの合成パイプラインは、長さ制御可能であり、各ステージでアブレーションを検証可能であり、下流のシナリオと密に整合している。
論文 参考訳（メタデータ） (2026-05-20T07:25:33Z) - DimMem: Dimensional Structuring for Efficient Long-Term Agent Memory [9.059024668312434]
DimMemは、各メモリを時間、場所、理由、目的、キーワードなどの明示的なフィールドを持つアトミック、型付き、自己完結したユニットとして表現する。
LoCoMo-10 と LongMemEval-S 全体で、DimMem は textbf81.43% と textbf78.20% の総合精度をそれぞれ達成している。
論文 参考訳（メタデータ） (2026-05-15T09:20:31Z) - Memory Caching: RNNs with Growing Memory [56.25483647131372]
メモリ状態(隠された状態)のチェックポイントをキャッシュすることで、リカレントモデルを強化する技術であるメモリキャッシュ(MC)を導入する。
我々は,ゲートアグリゲーションとスパース選択機構を含むMCの4つの変種を提案し,それらが線形メモリモジュールおよび深部メモリモジュールに与える影響について議論する。
その結果,トランスフォーマーの精度は高いが,我々のMC変種は競争性能を示し,トランスフォーマーとのギャップを埋め,最先端のリカレントモデルよりも優れた性能を示した。
論文 参考訳（メタデータ） (2026-02-27T18:53:41Z) - Agentic Memory: Learning Unified Long-Term and Short-Term Memory Management for Large Language Model Agents [57.38404718635204]
大規模言語モデル (LLM) エージェントは、有限コンテキストウィンドウによる長距離推論において基本的な制限に直面している。
既存のメソッドは通常、長期記憶(LTM)と短期記憶(STM)を独立したコンポーネントとして扱う。
本稿では,エージェントのポリシーに LTM と STM 管理を直接統合する統合フレームワークである Agentic Memory (AgeMem) を提案する。
論文 参考訳（メタデータ） (2026-01-05T08:24:16Z) - Multiple Memory Systems for Enhancing the Long-term Memory of Agent [9.43633399280987]
MemoryBankやA-MEMといった既存の手法は、記憶されているメモリの質が劣っている。
我々は認知心理学理論にインスパイアされた多重記憶システムを設計した。
論文 参考訳（メタデータ） (2025-08-21T06:29:42Z) - HMT: Hierarchical Memory Transformer for Efficient Long Context Language Processing [33.720656946186885]
Hierarchical Memory Transformer (HMT) はモデル長文処理を容易にする新しいフレームワークである。
HMTは、既存のモデルの長文処理能力を一貫して改善する。
論文 参考訳（メタデータ） (2024-05-09T19:32:49Z) - A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental
Learning [56.450090618578]
CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。
モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。
本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
論文 参考訳（メタデータ） (2022-05-26T08:24:01Z) - LaMemo: Language Modeling with Look-Ahead Memory [50.6248714811912]
右側トークンへの漸進的参加により再帰記憶を向上させるLook-Ahead Memory(LaMemo)を提案する。
LaMemoは、メモリ長に比例した追加のオーバーヘッドで、双方向の注意とセグメントの再発を受け入れる。
広く使われている言語モデリングベンチマークの実験は、異なる種類のメモリを備えたベースラインよりも優れていることを示した。
論文 参考訳（メタデータ） (2022-04-15T06:11:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。