論文の概要: Evaluating Memory Structure in LLM Agents

• arxiv url: http://arxiv.org/abs/2602.11243v1
• Date: Wed, 11 Feb 2026 17:32:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-13 21:07:25.482012
• Title: Evaluating Memory Structure in LLM Agents
• Title（参考訳）: LLM剤の記憶構造評価
• Authors: Alina Shutova, Alexandra Olenina, Ivan Vinogradov, Anton Sinitsin,
• Abstract要約: StructMemEvalは、エージェントが実際にリコールするだけでなく、長期的なメモリを整理する能力をテストするベンチマークである。 私たちは、人間が特定の構造で知識を整理することで解決する一連のタスクを集めます。 メモリエージェントがメモリの整理の仕方を変えると、メモリエージェントがそれらを確実に解決できるのに対し、単純な検索拡張LDMはこれらのタスクに苦労する。
• 参考スコア（独自算出の注目度）: 39.55225799412317
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern LLM-based agents and chat assistants rely on long-term memory frameworks to store reusable knowledge, recall user preferences, and augment reasoning. As researchers create more complex memory architectures, it becomes increasingly difficult to analyze their capabilities and guide future memory designs. Most long-term memory benchmarks focus on simple fact retention, multi-hop recall, and time-based changes. While undoubtedly important, these capabilities can often be achieved with simple retrieval-augmented LLMs and do not test complex memory hierarchies. To bridge this gap, we propose StructMemEval - a benchmark that tests the agent's ability to organize its long-term memory, not just factual recall. We gather a suite of tasks that humans solve by organizing their knowledge in a specific structure: transaction ledgers, to-do lists, trees and others. Our initial experiments show that simple retrieval-augmented LLMs struggle with these tasks, whereas memory agents can reliably solve them if prompted how to organize their memory. However, we also find that modern LLMs do not always recognize the memory structure when not prompted to do so. This highlights an important direction for future improvements in both LLM training and memory frameworks.
• Abstract（参考訳）: 現代のLLMベースのエージェントとチャットアシスタントは、再利用可能な知識の保存、ユーザの好みのリコール、推論の強化に長期的なメモリフレームワークに依存している。 研究者がより複雑なメモリアーキテクチャを作成すると、その能力を分析し、将来のメモリ設計を導くことはますます困難になる。 ほとんどの長期メモリベンチマークは、単純な事実保持、マルチホップリコール、時間ベースの変更に焦点を当てている。 明らかに重要であるが、これらの機能は単純な検索拡張 LLM で実現され、複雑なメモリ階層をテストしないことが多い。 このギャップを埋めるために、私たちはSructMemEvalという、エージェントの長期的なメモリを編成する能力をテストするベンチマークを提案します。 私たちは、トランザクション台帳、To-Doリスト、ツリーなど、特定の構造で知識を整理することで、人間が解決する一連のタスクを集めます。 最初の実験では、単純な検索拡張LDMがこれらのタスクに苦労していることを示し、一方メモリエージェントは、メモリの整理の仕方を誘導すれば、それらを確実に解決できることを示した。 しかし,現代のLLMはメモリ構造を必ずしも認識していないことも判明した。 このことは、LLMトレーニングとメモリフレームワークの両方における将来の改善の重要な方向性を強調している。

関連論文リスト

• Agentic Memory: Learning Unified Long-Term and Short-Term Memory Management for Large Language Model Agents [57.38404718635204]
  大規模言語モデル (LLM) エージェントは、有限コンテキストウィンドウによる長距離推論において基本的な制限に直面している。 既存のメソッドは通常、長期記憶(LTM)と短期記憶(STM)を独立したコンポーネントとして扱う。 本稿では,エージェントのポリシーに LTM と STM 管理を直接統合する統合フレームワークである Agentic Memory (AgeMem) を提案する。
  論文  参考訳（メタデータ） (2026-01-05T08:24:16Z)
• Evo-Memory: Benchmarking LLM Agent Test-time Learning with Self-Evolving Memory [89.65731902036669]
  Evo-Memoryは、大規模言語モデル(LLM)エージェントで自己進化型メモリを評価するための、ストリーミングベンチマークとフレームワークである。 10以上の代表的なメモリモジュールを評価し、10種類の多ターンゴール指向およびシングルターン推論およびQAデータセットで評価した。
  論文  参考訳（メタデータ） (2025-11-25T21:08:07Z)
• Evaluating Long-Term Memory for Long-Context Question Answering [100.1267054069757]
  質問応答タスクにアノテートした合成長文対話のベンチマークであるLoCoMoを用いて,メモリ拡張手法の体系的評価を行う。 以上の結果から,メモリ拡張アプローチによりトークン使用率が90%以上削減され,競争精度が向上した。
  論文  参考訳（メタデータ） (2025-10-27T18:03:50Z)
• Memory-R1: Enhancing Large Language Model Agents to Manage and Utilize Memories via Reinforcement Learning [89.55738101744657]
  大規模言語モデル(LLM)は、幅広いNLPタスクで印象的な機能を示しているが、基本的にはステートレスである。 本稿では,LLMに外部メモリを積極的に管理・活用する機能を備えた強化学習フレームワークであるMemory-R1を提案する。
  論文  参考訳（メタデータ） (2025-08-27T12:26:55Z)
• On the Structural Memory of LLM Agents [20.529239764968654]
  メモリは、大規模言語モデル(LLM)ベースのエージェントが複雑で長期的な相互作用を行えるようにするための重要な役割を担っている。 本稿では,メモリ構造とメモリ検索手法がLCMエージェントの性能に与える影響について検討する。
  論文  参考訳（メタデータ） (2024-12-17T04:30:00Z)
• Assessing Episodic Memory in LLMs with Sequence Order Recall Tasks [42.22616978679253]
  本稿では,認知心理学におけるエピソード記憶研究の課題から順応する逐次リコールタスク(SORT)を紹介する。 SORTはLLMにテキストセグメントの正しい順序を思い出させる必要があり、拡張が容易で追加のアノテーションを必要としない一般的なフレームワークを提供する。 155人の被験者による人間実験から,本書の長期記憶に基づくシーケンス順序を再現できることが示唆された。
  論文  参考訳（メタデータ） (2024-10-10T17:17:38Z)
• Needle in the Haystack for Memory Based Large Language Models [31.885539843977472]
  現在の大規模言語モデル(LLM)は、単純な事実検索タスクではよく機能しない。 動的に適応可能な外部メモリをLCMに結合することでこの問題を軽減することができるか検討する。 テキストサンプルのエピソードを高速に書き書きできるLarimarの外部メモリは、テスト時に、トレーニング中に見られるものよりもはるかに長いコンテキストを扱うために使用できることを示した。
  論文  参考訳（メタデータ） (2024-07-01T16:32:16Z)
• MemLLM: Finetuning LLMs to Use An Explicit Read-Write Memory [49.96019697955383]
  本稿では,構造化および明示的な読み書きメモリモジュールを統合することで,大規模言語モデル(LLM)の拡張手法であるMemLLMを紹介する。 実験の結果, 言語モデリング, 特に知識集約型タスクにおいて, MemLLMはLLMの性能と解釈可能性を向上させることが示唆された。
  論文  参考訳（メタデータ） (2024-04-17T18:13:16Z)
• Empowering Working Memory for Large Language Model Agents [9.83467478231344]
  本稿では,認知心理学のワーキングメモリフレームワークを大規模言語モデル(LLM)に適用する可能性について検討する。 エピソード間の記憶を維持するために、集中型ワーキングメモリハブとエピソディックバッファアクセスを取り入れた革新的なモデルが提案されている。 このアーキテクチャは、複雑なタスクと協調シナリオの間のニュアンス付きコンテキスト推論に対して、より継続的なものを提供することを目的としている。
  論文  参考訳（メタデータ） (2023-12-22T05:59:00Z)
• RET-LLM: Towards a General Read-Write Memory for Large Language Models [53.288356721954514]
  RET-LLMは、大規模な言語モデルに一般的な読み書きメモリユニットを装備する新しいフレームワークである。 デビッドソンのセマンティクス理論に触発され、三重項の形で知識を抽出し保存する。 本フレームワークは,時間に基づく質問応答タスクの処理において,堅牢な性能を示す。
  論文  参考訳（メタデータ） (2023-05-23T17:53:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。