論文の概要: Beyond Downstream QA: Rethinking How We Evaluate Agent Memory

• arxiv url: http://arxiv.org/abs/2610.22209v1
• Date: Thu, 15 Oct 2026 16:58:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.203456
• Title: Beyond Downstream QA: Rethinking How We Evaluate Agent Memory
• Title（参考訳）: 下流のQAを超えて - エージェントメモリの評価方法の再考
• Abstract要約: エージェントメモリベンチマークは、エージェントの応答が正しい知識を反映しているかを評価し、下流の質問応答精度をメモリ品質のプロキシとして測定する。 この評価パラダイムは、記憶の正しさを検索や生成品質と混同し、正の応答が壊れたメモリを偽陽性にし、誤の応答が正のメモリを誤った場合に誤陰を生じさせるという不完全な評価パラダイムを示す。 6つの診断カテゴリと3つの困難レベルにまたがる30の事実進化軌道のベンチマークであるFEB-30を紹介する。 FEB-30を代表記憶システムに適用することにより、内因性および外因性評価が平均16ポイントに分散することを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agent memory benchmarks evaluate whether an agent's responses reflect correct knowledge, measuring downstream question-answering accuracy as a proxy for memory quality. We show this evaluation paradigm is incomplete: it conflates memory correctness with retrieval and generation quality, producing both false positives where correct responses mask broken memory and false negatives where incorrect responses blame correct memory for retrieval failures. We introduce FEB-30, a benchmark of 30 fact-evolution trajectories spanning 6 diagnostic categories and 3 difficulty levels, constructed via paradigm inversion: documents are generated from known fact trajectories, yielding deterministic ground truth without human annotation. Each trajectory defines how a fact should evolve across multi-author artifacts (documents, emails, conversations), enabling direct inspection of the memory store after each ingestion step. Applying FEB-30 to a representative memory system, we demonstrate that intrinsic and extrinsic evaluation diverge by an average of 16 percentage points, with 44% of trajectories exceeding meaningful divergence thresholds. Diagnostic decomposition reveals that the system correctly classifies memory operations (create, update, reinforce, supersede) only 20% of the time, a failure entirely invisible to extrinsic evaluation, and that failure modes differ systematically by category and difficulty. We release the benchmark, document generation pipeline, and scoring framework to support reproducible evaluation of agent memory systems.
• Abstract（参考訳）: エージェントメモリベンチマークは、エージェントの応答が正しい知識を反映しているかを評価し、下流の質問応答精度をメモリ品質のプロキシとして測定する。 この評価パラダイムは、記憶の正しさを検索や生成品質と混同し、正の応答が壊れたメモリを偽陽性にし、誤の応答が正のメモリを誤った場合に誤陰を生じさせるという不完全な評価パラダイムを示す。 6つの診断カテゴリと3つの困難レベルにまたがる30の事実進化軌道のベンチマークであるFEB-30を紹介する。 各トラジェクトリは、ファクトが複数の権限を持つアーティファクト(ドキュメント、メール、会話)にわたってどのように進化するかを定義し、各インジェクションステップ後のメモリストアの直接検査を可能にする。 FEB-30を代表記憶系に適用すると,内因性および外因性評価は平均16ポイント,軌道の44%が有意な発散閾値を超えることが示されている。 診断分解により、システムはメモリ操作(生成、更新、強化、置換)を20%の時間で正しく分類し、障害は外部評価に完全に見えず、障害モードはカテゴリや難易度によって体系的に異なることが明らかになった。 エージェントメモリシステムの再現可能な評価を支援するため、ベンチマーク、文書生成パイプライン、スコアリングフレームワークをリリースする。

関連論文リスト

• Beyond the Shadows of Plato's Cave: Evaluating False Memory in Autonomous Agents via Counterfactual Reasoning [90.354889777866]
  我々は,素早い相関関係,環境変化,知識衝突から生じるテクスタイス・メモリを定式化する。 本稿では,反実的推論に基づくエージェント信念の進化を通じて,虚偽記憶を評価する学習自由フレームワークFAMEを提案する。
  論文  参考訳（メタデータ） (2026-09-30T10:35:41Z)
• Is One Score Enough? Rethinking the Evaluation of Sequentially Evolving LLM Memory [50.857546269660276]
  本稿では,大規模言語モデル(LLM)メモリを逐次進化させる診断評価フレームワークであるSeqMem-Evalを紹介する。 最終的なパフォーマンスのみに焦点を当てるのではなく、SeqMem-Evalは、シーケンシャル推論において、メモリ状態がどのように進化し、一般化し、エクスペリエンスを集約し、有用な情報を保持するかを評価する。
  論文  参考訳（メタデータ） (2026-05-14T20:15:22Z)
• MemReranker: Reasoning-Aware Reranking for Agent Memory Retrieval [37.54115468116941]
  本報告では,Qwen3-Reranker を用いた多段 LLM 知識蒸留によるリグレードモデルファミリ MemReranker (0.6B/4B) について紹介する。 メモリ検索ベンチマークでは、MemReranker-0.6BはBGE-Rerankerを大きく上回り、オープンソースの4B/8BモデルとGPT-4o-miniをキーメトリクスでマッチングする。 MemReranker-4B はさらに 0.737 MAP を達成し、Gemini-3-Flash と同等のメトリクスを持つ一方で、推論遅延を10-20%の大型モデルで維持している。
  論文  参考訳（メタデータ） (2026-05-07T12:33:57Z)
• MemEvoBench: Benchmarking Memory MisEvolution in LLM Agents [78.95081012334116]
  永続メモリを持つ大規模言語モデル(LLM)は、相互作用の継続性とパーソナライゼーションを高めるが、新たな安全性リスクをもたらす。 汚染または偏りのある記憶蓄積は、異常な作用を引き起こす可能性がある。 MemeEvoBenchは、LLMエージェントのメモリ安全性を評価する最初のベンチマークである。
  論文  参考訳（メタデータ） (2026-04-17T07:29:52Z)
• ImplicitMemBench: Measuring Unconscious Behavioral Adaptation in Large Language Models [60.14219417402433]
  LLMエージェントの既存のメモリベンチマークは、事実の明示的なリコールを評価するが、意識的な検索なしに、経験が自動的な振る舞いになる暗黙の記憶を見落としている。 IndicitMemBenchは、非宣言的メモリの標準的な認知科学のアカウントから引き出された3つの構造を通して暗黙的メモリを評価する最初の体系的なベンチマークである。 当社の300イテムスイートでは,初動採点を備えたLearning/Priming-Interfere-Testプロトコルを統一しています。
  論文  参考訳（メタデータ） (2026-04-09T10:26:32Z)
• Evoking User Memory: Personalizing LLM via Recollection-Familiarity Adaptive Retrieval [59.295767860331004]
  RF-Memは、親しみやすい不確実性誘導デュアルパスメモリレトリバーである。 それは、人間のようなデュアルプロセス認識をレトリバーに埋め込む。 一定の予算とレイテンシの制約の下で、ワンショット検索とフルコンテキスト推論を一貫して上回る。
  論文  参考訳（メタデータ） (2026-03-10T06:31:44Z)
• Memory for Autonomous LLM Agents:Mechanisms, Evaluation, and Emerging Frontiers [0.42061757959666934]
  大きな言語モデル(LLM)エージェントは、単一のコンテキストウィンドウが小さすぎて何が起きているのかをキャプチャできないような環境で、ますます運用される。 メモリはステートレステキストジェネレータを真に適応的なエージェントに変える。 この調査は、メモリがどのように設計され、実装され、現代のLCMベースのエージェントで評価されるかという構造化された説明を提供する。
  論文  参考訳（メタデータ） (2026-03-08T15:08:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。