論文の概要: Ground Truth First: A Longitudinal Evaluation Instrument for Agent Memory, and the Tenure Crossover in Memory-Architecture Rankings

• arxiv url: http://arxiv.org/abs/2607.21962v1
• Date: Fri, 24 Jul 2026 04:19:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 20:58:57.045648
• Title: Ground Truth First: A Longitudinal Evaluation Instrument for Agent Memory, and the Tenure Crossover in Memory-Architecture Rankings
• Title（参考訳）: 地中真実第一:エージェント記憶のための縦断的評価器と記憶構造ランキングにおけるテンチュアクロスオーバー
• Abstract要約: シードライフスクリプトサンプリング器は、テキストが存在する前に、有効間隔のボラティリティクラスとソースチャネルの事実を出力する。 検証者は、すべての植えられた事実を確認し、質問はスクリプトから機械的にインスタンス化される。 人工的でフィクション化されたコーパスは、私たちが調査したベンチマークから欠落している特徴を埋め込んでいる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Benchmarks for LLM-agent memory typically generate conversations first and extract answer keys afterwards -- with documented label-error and contamination problems -- and they overwhelmingly measure short interaction histories. We invert the pipeline: a seeded life-script sampler emits facts with validity intervals, volatility classes, and source channels before any text exists; an LLM renderer writes chat and email from per-event fact manifests; a fidelity verifier confirms every planted fact; and questions are instantiated mechanically from the script, so gold answers are script-valid by construction and separately validated for answerability. The synthetic, fictionalized corpus (~380 questions, 15 types) embeds features absent from the benchmarks we survey: per-fact validity intervals, sent/received trust distinctions, injection probes in a benign harness, and as-of-date question sets. Benchmarking five memory architectures against a no-memory control (fixed answerer, versioned LLM judge, three replicates, two horizons), we find backend rankings invert with history length: the budgeted curated-map memory that leads at three weeks loses recall of evicted content by nine weeks (96% to 72%) while a provenance-typed graph rises to 90%; the inversion is positive for all six users under complete cross-family re-judging (exact p=0.031). A full-rendered-history baseline ties or exceeds the best memory system at the short horizon but shows no judge-independent advantage at nine weeks, at about twice the read cost. Write-stage quality strongly correlates with downstream quality (weakly-written facts fail 24% vs 2%), and injection resistance tracked whether provenance boundaries survive representation. A layered architecture performs best among the memory systems in both regimes (96.8% short-horizon) and is released as Veracium, an open-source library, with the corpus generator and harness.
• Abstract（参考訳）: LLM-agentメモリのベンチマークは、通常、まず会話を生成し、その後、ラベルエラーや汚染問題を含む応答キーを抽出し、短いインタラクション履歴を圧倒的に計測する。 LLMレンダラは、任意のテキストが存在する前に、有効間隔、ボラティリティクラス、ソースチャネルを持つ事実を出力する; LLMレンダラは、イベントごとのファクトマニフェストからチャットやメールを書く; フィデリティ検証器は、すべてのプラントされた事実を確認; 質問はスクリプトから機械的にインスタンス化されるので、金の回答は、構築によってスクリプト検証され、回答可能性に対して別々に検証される。 総合的でフィクション化されたコーパス(約380の質問、15種類の質問)は、調査対象のベンチマークから欠落した特徴を埋め込んでいる。 5つのメモリアーキテクチャを、メモリなしのコントロール(固定された応答器、バージョン付きLCM判定器、3つの複製、2つの水平線)に対してベンチマークすると、バックエンドのランキングが歴史に逆らうことがわかりました。3週間で導かれる予算付きキュレートされたマップメモリは、削除されたコンテンツのリコールを9週間(96%から72%)失う一方で、証明された型グラフは90%まで上昇します。 フルレンダリングのヒストリーベースラインは、短い水平線で最高のメモリシステムと結びつくか、あるいは超えるが、9週間で判断非依存の優位性を示し、読み取りコストの約2倍である。 書き込みステージの品質は、ダウンストリームの品質と強く相関する(弱い書き込みの事実は24%対2%で失敗する)。 階層化されたアーキテクチャは、両方のレシエーション(96.8%の短距離ホライゾン)において最もよく機能し、コーパスジェネレータとハーネスを備えたオープンソースのライブラリであるVeraciumとしてリリースされている。

関連論文リスト

• EM^2Mem: Event-Centric Multimodal Memory for Large Language Models [52.3165591032625]
  本稿では,イベント中心型マルチモーダルメモリフレームワークEM2Memを提案する。 3つの長ビデオQAベンチマークで、EM2Memは最強のメモリベースラインの平均精度を2.0、2.4、および3.7ポイント改善した。
  論文  参考訳（メタデータ） (2026-09-01T01:38:41Z)
• Agent Zero Memory: Provenance-Aware Long-Term Memory for LLM Agents [3.6666917625778193]
  Agent Zero Memory(エージェントゼロメモリ)は、長期記憶システムである。 ユーザの会話、ファイル、接続されたソースを3つの並列メモリシステムに消去する。
  論文  参考訳（メタデータ） (2026-08-30T06:55:59Z)
• Beyond Memory Leaderboards: Evaluating Scientific Memory as Budgeted Context Restoration [0.05097809301149341]
  我々は2つのフルテキスト科学メモリベンチマーク、Public AI Memory(PAIM)とPublic Transformers(PTr)を紹介する。 提案するセオリアを含む8つのメモリ/検索システムと,非検索ベースラインを評価した。 その結果,メモリリーダボードは完全なプロトコルなしでは解釈できないことがわかった。
  論文  参考訳（メタデータ） (2026-07-18T15:09:58Z)
• MemOps: Benchmarking Lifecycle Memory Operations in Long-Horizon Conversations [50.24315431387575]
  ライフサイクル操作のシーケンスとして会話メモリを再構成するベンチマークであるMemOpsを紹介する。 MemOpsは、それぞれのメモリイベントをトリガ、ターゲット、スコープ、状態遷移、エビデンスを指定した構造化トレースで表現する。 長いコンテキスト、検索ベース、パラメトリック、マネージドメモリシステムにわたって、MemOpsはファイナ・アンサーの精度のみを隠蔽する障害モードをアンタングルする。
  論文  参考訳（メタデータ） (2026-07-14T15:33:44Z)
• Memory-Managed Long-Context Attention: A Preliminary Study of Editable Request-Local Memory [0.5371337604556311]
  メモリ管理型長コンテキストアテンションは、高速なリカレントまたはスパースバックボーンを、明示的な編集可能な要求ローカルメモリスロットから分離する研究ルートである。 構造化された合成タスク、トークン/チャンク/シーケンスブリッジ、生成された自然言語、ローカル凍結モデル診断、純粋な固定状態または純粋なスパースメソッドは、オーバーライト、バージョン、アンチ汚染またはノーライト署名ケースを失敗する。
  論文  参考訳（メタデータ） (2026-06-27T11:38:43Z)
• ConvMemory v3: A Validity Context Layer for Conversational Memory via Target-Conditioned Relation Verification [0.0]
  ConvMemory v3では、この更新エビデンスを検出し、サーフェスする妥当性コンテキスト層が追加されている。 コアメカニズムは、特定のターゲット命題に関する関係判断を条件とする二重証拠ゲートである。 合成マルチホップ検証ベンチマークでは、ゲートの精度は90.12% +/- 1.73である。
  論文  参考訳（メタデータ） (2026-06-25T08:36:43Z)
• Echo-Memory: A Controlled Study of Memory in Action World Models [58.77172260403133]
  本研究では,行動条件付き世界モデルにおける記憶機構の制御に関する研究を行う。 既存のメモリ設計と比較するのは難しいのは、ゲインにはバックボーン、トレーニング、検索、評価の違いが絡み合っているからである。 我々はEcho-Memoryを使ってアクション・ツー・ビデオのインタフェースを修正し、生成元によって履歴が保存され読み込まれるかだけを変える。
  論文  参考訳（メタデータ） (2026-06-08T17:54:10Z)
• Less Context, More Accuracy: A Bi-Temporal Memory Engine for LLM Agents Where a Lean Retrieved Context Beats the Full History [2.5401434059780468]
  Engramは、バイテンポラルデータモデル上のデュアルプロセスメモリエンジンである。 高速書き込みパスは、クリティカルパスにLSMなしでエピソードを付加する。 ハイブリッドリードパスは、密度、語彙、グラフ、および電流/セイレンス信号を融合する。
  論文  参考訳（メタデータ） (2026-06-05T11:43:56Z)
• Eywa: Provenance-Grounded Long-Term Memory for AI Agents [0.0]
  既存のメモリシステムは、情報源の証拠、抽出された事実、検索されたコンテキスト、そして応答ポリシーを1つの不透明なプロンプトパスに分解する。 私たちはEywaを紹介します。Eywaは、信念以前の証拠を中心に構築された、証明済みのメモリアーキテクチャです。
  論文  参考訳（メタデータ） (2026-05-29T02:56:35Z)
• WorldMemArena: Evaluating Multimodal Agent Memory Through Action-World Interaction [72.1620416874118]
  マルチモーダルな言語モデルは、長距離エージェントとしてますます多くデプロイされている。 既存のベンチマークは、静的対話上のリコールを測定し、メモリを1つのタスクの精度に分解し、キャプションに対する視覚的な観察を減らす。 マルチモーダルエージェントメモリを,観測可能な4段階ライフサイクルを持つアクションワールドインタラクションループとして定式化する。
  論文  参考訳（メタデータ） (2026-05-28T04:27:20Z)
• Rethinking How to Remember: Beyond Atomic Facts in Lifelong LLM Agent Memory [88.81430082035617]
  LLMエージェントは、蓄積された対話履歴を忠実に保存し、効率的に検索し、深く推論できるメモリシステムを必要とする。 本稿では,ソース識別子に固定された生の対話セグメントを含む3つの共存表現の粒度を格納するTriMemを提案する。
  論文  参考訳（メタデータ） (2026-05-19T15:05:06Z)
• EMemBench: Interactive Benchmarking of Episodic Memory for VLM Agents [52.567469286881426]
  本稿では,対話型ゲームによるエージェントの長期記憶評価のためのプログラムベンチマークEMemBenchを紹介する。 固定された質問セットを使う代わりに、EMemBenchは各エージェント自身の軌道から質問を生成する。 各テンプレートは、下層のゲーム信号から検証済みの真理を計算する。
  論文  参考訳（メタデータ） (2026-01-23T12:09:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。