論文の概要: VitaBench: Memory Lifecycles Beyond Retrieval
- arxiv url: http://arxiv.org/abs/2610.14731v1
- Date: Sat, 10 Oct 2026 08:51:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 12:03:00.703899
- Title: VitaBench: Memory Lifecycles Beyond Retrieval
- Title（参考訳）: VitaBench: 検索以上のメモリライフサイクル
- Abstract要約: 言語エージェントの長期メモリベンチマークは、主に、以前のインタラクションからの情報を検索し、関連する場合に使用することができるかどうかを評価する。
既存のベンチマークは、長距離検索、時間的推論、エビデンス再利用、インクリメンタルインタラクションをキャプチャするが、以前の表現決定を直接評価することはない。
メモリレビューとフル水平カウンターファクト評価によってライフサイクル決定を計測可能なベンチマークであるVitaBenchを紹介した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-term memory benchmarks for language agents primarily evaluate whether information from earlier interactions can be retrieved and used when relevant. Persistent memory systems face an additional problem before future use is known: deciding whether a memory should remain exact, be compressed, consolidated, or deleted. Existing benchmarks capture long-range retrieval, temporal reasoning, evidence reuse, and incremental interaction, but do not directly evaluate these earlier representation decisions. We formalize memory lifecycle evaluation and introduce VitaBench, a benchmark that makes lifecycle decisions measurable through repeated memory reviews and full-horizon counterfactual evaluation. VitaBench contains a controlled Diagnostic tier that isolates future-use patterns and a Naturalistic tier that composes them into generated customer-service-style interaction streams. We characterize lifecycle decision structure with three diagnostics: lifecycle headroom, measuring the advantage of adaptive choices over the best fixed strategy; horizon reversal, measuring when short-horizon decisions change under delayed consequences; and optimal-action diversity, measuring whether different memory states favor different lifecycle operations. Across both tiers, VitaBench exhibits substantial lifecycle structure: lifecycle headroom is 1.364 in Diagnostic and 1.405 in Naturalistic, and 60.2% and 56.5% of states, respectively, change their preferred action between short and full horizons. A learned delayed lifecycle policy further improves over the best fixed strategy on VitaBench-Naturalistic, reaching 101.5 versus 83.4 joint utility. These results show that retrieving past information and deciding how it should persist are distinct evaluation problems, and that lifecycle management requires evaluation of the delayed consequences of representation decisions.
- Abstract（参考訳）: 言語エージェントの長期メモリベンチマークは、主に、以前のインタラクションからの情報を検索し、関連する場合に使用することができるかどうかを評価する。
永続メモリシステムは、将来の使用が知られる前に追加の問題に直面し、メモリの正確性、圧縮、統合、削除が決定される。
既存のベンチマークは、長距離検索、時間的推論、エビデンス再利用、インクリメンタルインタラクションをキャプチャするが、これらの初期の表現決定を直接評価することはない。
メモリライフサイクル評価を形式化し、繰り返しメモリレビューとフル水平カウンターファクト評価によってライフサイクル決定を計測可能なベンチマークであるVitaBenchを導入する。
VitaBenchには、将来的なパターンを分離するコントロールされた診断層と、それを生成したカスタマーサービススタイルのインタラクションストリームに構成する自然言語層が含まれている。
ライフサイクル・ヘッドルーム, 最適な固定戦略に対する適応的選択の利点の測定, 地平線反転, 遅延した結果の下で短距離決定がいつ変化するかの計測, 異なるメモリ状態が異なるライフサイクル操作を好むかどうかの最適動作の多様性の3点を特徴付ける。
ライフサイクル・ヘッドルームは診断で1.364、博物学で1.405であり、それぞれ60.2%と56.5%の州が、短い地平線と完全な地平線の間で好みの行動を変えている。
学習が遅れたライフサイクルポリシーは、VitaBench-Naturalisticの最良の固定戦略をさらに改善し、83.4のジョイントユーティリティに対して101.5に達した。
これらの結果から,過去の情報を取得し,どのように継続するかを決定することは,異なる評価問題であり,ライフサイクル管理には表現決定の遅延結果の評価が必要であることが示唆された。
関連論文リスト
- LifeFuse-Mem: Lifecycle-Aware State Fusion Against Temporary Overwriting for Long-Term Memory [16.775600156252096]
LLMエージェントは相互作用間のコヒーレントな内部状態を維持するメモリ機構を必要とする。
LifeFuse-Memは、時間的コミットメントに従って情報を分離するニューラルメモリフレームワークである。
LifeFuse-Memは、取得管理された保持を改善し、一時的な上書きを減らす。
論文 参考訳（メタデータ） (2026-09-11T04:56:48Z) - Harness the Memory: A Holistic Evaluation of Memory Substrates in Memory Agents [97.19033877543522]
本稿では,メモリ拡張剤のメモリ基板の制御ハーネス評価について述べる。
統一されたハーネスの下で26のパフォーマンスと効率のメトリクスを計測する。
これらの知見は、アダプティブエージェントメモリシステムに必要なコンポーネントとして、基質ルーティングを動機付けている。
論文 参考訳（メタデータ） (2026-08-15T03:29:48Z) - MemOps: Benchmarking Lifecycle Memory Operations in Long-Horizon Conversations [50.24315431387575]
ライフサイクル操作のシーケンスとして会話メモリを再構成するベンチマークであるMemOpsを紹介する。
MemOpsは、それぞれのメモリイベントをトリガ、ターゲット、スコープ、状態遷移、エビデンスを指定した構造化トレースで表現する。
長いコンテキスト、検索ベース、パラメトリック、マネージドメモリシステムにわたって、MemOpsはファイナ・アンサーの精度のみを隠蔽する障害モードをアンタングルする。
論文 参考訳（メタデータ） (2026-07-14T15:33:44Z) - Learning to Retrieve: Dual-Level Long-Term Memory for Text-to-SQL Agents [63.38073530162493]
長期記憶は、エージェントが過去の経験を再利用するのに役立つ。
静的メソッドは、下流ユーティリティを最適化しない固定された類似性に依存します。
動的マルチ水平メモリ検索フレームワークであるMERITを提案する。
論文 参考訳（メタデータ） (2026-05-30T05:44:34Z) - Is One Score Enough? Rethinking the Evaluation of Sequentially Evolving LLM Memory [50.857546269660276]
本稿では,大規模言語モデル(LLM)メモリを逐次進化させる診断評価フレームワークであるSeqMem-Evalを紹介する。
最終的なパフォーマンスのみに焦点を当てるのではなく、SeqMem-Evalは、シーケンシャル推論において、メモリ状態がどのように進化し、一般化し、エクスペリエンスを集約し、有用な情報を保持するかを評価する。
論文 参考訳（メタデータ） (2026-05-14T20:15:22Z) - Agentic Recommender System with Hierarchical Belief-State Memory [29.122434746467544]
本稿では,部分的に観察可能な問題としてレコメンデーションを扱い,ノイズの多い行動観察をユーザ嗜好のコンパクトな推定に抽象化する構造化された信念状態を維持する枠組みを提案する。
イベントメモリは生の信号をバッファし、選好メモリは明示的な強度とエビデンス追跡を備えたきめ細かい変更可能なチャンクを維持し、プロファイルメモリは全ての選好を一貫性のある自然な物語に蒸留する。
実験の結果,MARSはHR@1では26.4%,NDCG@10では10.3%向上し,エージェントスケジューリングの進化によってさらに向上した。
論文 参考訳（メタデータ） (2026-05-14T05:38:24Z) - Belief Memory: Agent Memory Under Partial Observability [56.41506249481312]
本稿では,メモリパラダイムを観測毎に1つの結論にシフトし,その確率で複数の結論を導出するBeliefMemを提案する。
BeliefMemは決定論的パラダイムが破棄されるという不確実性を保ち、エージェントが高い信頼を持って行動することを可能にする。
LoCoMoとALFWorldベンチマークの実証的な評価は、限られたデータであっても、BeliefMemが最高の平均パフォーマンスを達成することを示している。
論文 参考訳（メタデータ） (2026-05-07T02:03:13Z) - Neuromem: A Granular Decomposition of the Streaming Lifecycle in External Memory for LLMs [31.958776309037546]
我々は、インターリーブされた挿入・検索プロトコルの下で外部メモリモジュールをベンチマークするスケーラブルなテストベッドであるNeuromemを紹介する。
メモリが丸ごと増大するにつれて、パフォーマンスは一般的に低下し、時間関連のクエリは依然として最も難しいカテゴリです。
論文 参考訳（メタデータ） (2026-02-15T02:53:37Z) - Beyond Heuristics: A Decision-Theoretic Framework for Agent Memory Management [49.71055327567513]
メモリ管理は、不確実性の下でのシーケンシャルな意思決定問題と見なされるべきである。
私たちの貢献は、新しいアルゴリズムではなく、アプローチの限界を明確にする原則的なリフレーミングです。
論文 参考訳（メタデータ） (2025-12-25T08:23:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。