論文の概要: LSTMem: Hierarchical Long Short-Term Online Memory for Large Language Models

• arxiv url: http://arxiv.org/abs/2609.33268v1
• Date: Sun, 27 Sep 2026 06:24:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 01:39:44.085851
• Title: LSTMem: Hierarchical Long Short-Term Online Memory for Large Language Models
• Title（参考訳）: LSTMem: 大規模言語モデルのための階層的長期オンラインメモリ
• Abstract要約: 大規模な言語モデルは、ますます長距離アシスタントやエージェントとして機能している。 本研究では,LSTMにインスパイアされたオンラインメモリLSTMemを提案する。 その結果、LSTMベースのメモリ定式化は連想メモリよりも優れていた。
• 参考スコア（独自算出の注目度）: 42.28813866489556
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models increasingly serve as long-horizon assistants and agents, where they must both accumulate information across interactions and make the relevant parts available when later requests depend on them. Existing compact online memories typically use a single persistent state both to accumulate history and to serve readout, so what the memory stores cannot be controlled separately from what it exposes to the current computation. We propose LSTMem, an LSTM-inspired online memory that instead equips each layer of a frozen LLM with two matrix-valued states: a cell state that accumulates history and a hidden state whose readouts correct the backbone's attention. Input and forget gates control what the cell stores, while an output gate separately controls what the cell exposes through the hidden state. LSTMem further connects memory across depth through forward hidden-state propagation and block-end feedback, and uses higher-layer reconstruction gradients to refine lower-layer cell states before rebuilding hidden states from shallow to deep layers. Across memory benchmarks on Qwen3-4B-Instruct, LSTMem consistently improves MemoryAgentBench, LoCoMo, and HotpotQA over the plain backbone. Comparisons further show that the LSTM-based memory formulation outperforms an associative-memory counterpart, while removing cross-layer hidden-memory propagation degrades performance. These results demonstrate the benefits of separating memory accumulation from memory expression and organizing memory hierarchically across model depth. The code is available at https://github.com/Longchentong/LSTMem.
• Abstract（参考訳）: 大規模な言語モデルは、より長期にわたるアシスタントやエージェントとしての役割を担い、対話を通じて情報を蓄積し、後続の要求がそれらに依存する場合に、関連する部分を利用できなければならない。 既存のコンパクトなオンラインメモリは、通常、履歴の蓄積と読み出しの両方に単一の永続状態を使用するため、メモリストアが現在の計算に公開するものとは別途制御できない。 本研究では,LSTMにインスパイアされたオンラインメモリLSTMemを提案する。LSTMemは凍結LDMの各層に,履歴を蓄積するセル状態と,バックボーンの注意を補正するシークレット状態の2つの行列値を持つ。 入力ゲートと忘れゲートはセルが格納するものを制御し、出力ゲートはセルが隠された状態を通して露出するものを別々に制御する。 LSTMemはさらに、前向きの隠れ状態の伝播とブロック-エンドフィードバックを通じてメモリを奥行きに接続し、浅い層から深い層に隠れた状態を再構築する前に、下位層の細胞状態を洗練するために高層再構築勾配を使用する。 Qwen3-4B-Instructのメモリベンチマークでは、LSTMemは通常のバックボーン上でMemoryAgentBench、LoCoMo、HotpotQAを一貫して改善している。 さらに、LSTMベースのメモリ定式化は連想メモリよりも優れており、層間隠蔽メモリの伝搬は性能を低下させる。 これらの結果は、メモリ蓄積とメモリ表現を分離し、モデル深度にわたって階層的にメモリを整理する利点を示している。 コードはhttps://github.com/Longchentong/LSTMemで公開されている。

関連論文リスト

• TransMem: Transforming Hidden States into Memory for Large Language Models [29.656816378992414]
  大規模言語モデル(LLM)エージェントは、長い相互作用履歴を通してますます機能する。 TransMemは、凍結したLCMバックボーンから再利用可能なメモリ表現に変換する。
  論文  参考訳（メタデータ） (2026-07-31T05:11:04Z)
• Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents [72.3752981234916]
  大きな言語モデル(LLM)エージェントは、タスク間の経験を蓄積するために、外部メモリシステムに依存している。 メモリ操作をマルコフ決定プロセスとしてモデル化するフレームワークである制御プロセス(MemCon)としてメモリを提示する。 MemConは、複数のメモリベースラインのタスク成功率を最大15.2ポイント上回り、トークン消費量を5-20%削減している。
  論文  参考訳（メタデータ） (2026-07-15T08:32:40Z)
• MemDefrag: Latent Memory Defragmentation for Large Language Models [24.020289854839746]
  ラテントメモリは、過去の知識の断片を層ごとの隠蔽状態として保存する。 MemDefragは、中間層トレース信号を使用してメモリリオーダを実行するフレームワークである。 MemDefragは知識保持においてMemoryLLMとM+を大きく上回っている。
  論文  参考訳（メタデータ） (2026-07-07T08:04:34Z)
• Beyond Similarity: Trustworthy Memory Search for Personal AI Agents [25.265839311088516]
  個人AIエージェントにおける信頼境界としてのメモリ探索について検討する。 MemGateは、信頼性の高いメモリ検索のための軽量でデプロイ可能なメモリプラグインである。
  論文  参考訳（メタデータ） (2026-06-04T11:54:29Z)
• RecMem: Recurrence-based Memory Consolidation for Efficient and Effective Long-Running LLM Agents [16.625864201773343]
  RecMemは、受信するインタラクションをサブ意識のメモリ層に格納し、軽量な埋め込みモデルを使用してエンコードする。 実験により、RecMemは3つのSOTAメモリシステムのメモリ構築トークンコストを最大87%削減し、精度を上回ります。
  論文  参考訳（メタデータ） (2026-05-15T15:17:36Z)
• Lightweight LLM Agent Memory with Small Language Models [27.343533336242913]
  LightMemは、Small Language Models (SLM)によって駆動されるより優れたエージェントメモリのための軽量メモリシステムである。 我々は,記憶を即時会話のための短期記憶(STM),再利用可能な対話要約のための中期記憶(MTM),統合された知識のための長期記憶(LTM)に整理する。 実験の結果,LoCoMoではF1が平均2.5向上し,より効率的で中央値の低いレイテンシ(83ms検索,581msエンドツーエンド)が得られた。
  論文  参考訳（メタデータ） (2026-04-09T04:51:07Z)
• MemMA: Coordinating the Memory Cycle through Multi-Agent Reasoning and In-Situ Self-Evolution [52.29303869050117]
  メモリ拡張LDMエージェントは、長期の相互作用をサポートするために外部メモリバンクを保持する。 MemMAはプラグアンドプレイのマルチエージェントフレームワークで、前方と後方の両方の経路に沿ってメモリサイクルを調整する。
  論文  参考訳（メタデータ） (2026-03-19T10:15:59Z)
• LightMem: Lightweight and Efficient Memory-Augmented Generation [72.21680105265824]
  我々は、メモリシステムの性能と効率のバランスをとるLightMemという新しいメモリシステムを紹介した。 人間の記憶のアトキンソン・シフリンモデルにインスパイアされたLightMemは、メモリを3つの相補的なステージにまとめる。 GPTとQwenのバックボーンを用いたLongMemEvalの実験では、LightMemは高いベースライン(最大10.9%のゲイン)を上回り、トークンの使用量を最大117倍に削減している。
  論文  参考訳（メタデータ） (2025-10-21T17:58:17Z)
• Augmenting Language Models with Long-Term Memory [142.04940250657637]
  既存の大規模言語モデル(LLM)では、入力長制限のため、固定サイズの入力しかできない。 本稿では,Long-Term Memory (LongMem) を付加した言語モデルを提案する。
  論文  参考訳（メタデータ） (2023-06-12T15:13:39Z)
• LaMemo: Language Modeling with Look-Ahead Memory [50.6248714811912]
  右側トークンへの漸進的参加により再帰記憶を向上させるLook-Ahead Memory(LaMemo)を提案する。 LaMemoは、メモリ長に比例した追加のオーバーヘッドで、双方向の注意とセグメントの再発を受け入れる。 広く使われている言語モデリングベンチマークの実験は、異なる種類のメモリを備えたベースラインよりも優れていることを示した。
  論文  参考訳（メタデータ） (2022-04-15T06:11:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。