論文の概要: When Does Memory Help? A Cost-Aware Evaluation of Long-Term Memory in Tool-Using LLM Agents
- arxiv url: http://arxiv.org/abs/2609.05441v1
- Date: Sun, 26 Jul 2026 07:42:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.47629
- Title: When Does Memory Help? A Cost-Aware Evaluation of Long-Term Memory in Tool-Using LLM Agents
- Title（参考訳）: 記憶はいつ役に立つか : LLMエージェントを用いた長期記憶のコストアウェア評価
- Abstract要約: 本稿では,タスク実行エージェントにおけるメモリの限界効用を測定するベンチマークであるMERITを提案する。
23,440回(42.57回)で、リーク確認フロアが0.00から0.55-1.00に上昇した。
メモリの実装をスワップすることでタスクの成功を最大60ポイント移動させ、完全なリプレイは経済的には行われない。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-term memory for LLM agents is evaluated today by conversational recall benchmarks (LoCoMo, LongMemEval), which measure question answering over dialogue history, not whether remembered facts change what a tool-using agent does. We present MERIT (Memory Evaluation for Realistic Instrumented Tasks), a benchmark and harness that measures the marginal utility of memory for task-executing agents under explicit cost accounting. MERIT provides episodic tool-use tasks in three domains whose dependence on earlier-episode facts is verified by an automated leak check; a difficulty ladder ending in updated-fact recall; controlled memory corruption; and full token and dollar metering of every memory operation. Across 23,440 scored episodes ($42.57), a two-generation pilot on gpt-4.1-mini and a preregistered 3-model x 3-seed grid (GPT-4.1, Claude Haiku 4.5; memory side held fixed), memory lifts dependent-task success from a leak-verified floor of 0.00 to 0.55-1.00. On updated facts, embedding retrieval collapses unpredictably (0.30-0.95 across models; max seed gap 0.45), and agents act on a correctly retrieved value only 55% of the time, while update-on-write stores (a structured fact store and, notably, LLM summarization) remain at 0.70-1.00; the hybrid is worse than the fact store alone. A latest-generation spot-check (Claude Sonnet 5, gated on a clean full-replay control) reproduces the pattern. Swapping a memory's implementation moves task success by up to 60 points, and full replay is never economical: the best condition per domain delivers 2.7-3.9x its marginal utility per dollar. We release the benchmark, harness, and all traces.
- Abstract（参考訳）: LLMエージェントの長期記憶は、現在、会話的リコールベンチマーク(LoCoMo, LongMemEval)によって評価されている。
MERIT(Memory Evaluation for Realistic Instrumented Tasks)は,タスク実行エージェントにおけるメモリの限界効用を測定するベンチマークとハーネスである。
MERITは、早期の事実に依存している3つのドメインで、自動リークチェック、更新されたファクトリコールで終了する難易度ラグ、制御されたメモリの破損、すべてのメモリ操作のトークンとドル計測によって、エピソードツールの使用タスクを提供する。
23,440回のエピソード(42.57)、gpt-4.1-miniの2世代パイロット、事前登録された3モデルx3シードグリッド(GPT-4.1、Claude Haiku 4.5、メモリ側は固定)、メモリリフトは0.00から0.55-1.00のリーク確認フロアから依存タスク成功を達成した。
更新された事実について、埋め込み検索は予測不能に崩壊する(0.30-0.95モデル、最大シードギャップ0.45)。
最新のスポットチェック(Claude Sonnet5)は、このパターンを再現する。
メモリの実装をスワップすることで最大60ポイントのタスク成功が達成され、完全なリプレイは決して経済的ではない:ドメイン当たりの最高の条件は1ドル当たり2.7-3.9倍の限界効用を提供する。
ベンチマーク、ハーネス、およびすべてのトレースをリリースします。
関連論文リスト
- DolphinBench: Mapping the Pareto Frontier of Agent Memory [3.058685580689604]
DolphinBenchは、エージェントのタスク完了を通じてメモリを直接評価するベンチマークである。
DolphinBenchには3つのナレッジワークペルソナがあり、ペルソナ当たりのユーザメッセージのトークンは約500kである。
我々は、エージェントを関連する履歴を持っていなくても実行し、それで成功し、それなしで失敗することで、ペルソナ当たり200のタスクを検証します。
論文 参考訳（メタデータ） (2026-09-21T17:54:35Z) - Caching for the Future: Scrub Jay Episodic Memory Principles for Agent Memory Systems [5.321970297768025]
既存の記憶アーキテクチャは、全ての記憶を、時代遅れの事実と共に、保存されたコンテキストを均等に永続的で体系的に汚染したものとして扱う。
メモリ当たりの時間減衰は,外部LLMエージェントメモリストアにおいて,自動分類係数$_i$として操作可能であることを示す。
本稿では,時間的一般化テスト(TGT)と,保持間隔を保ったベンチマーク,一般化ギャップ(GenGap)メトリクスを紹介する。
論文 参考訳（メタデータ） (2026-08-05T12:12:44Z) - Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents [72.3752981234916]
大きな言語モデル(LLM)エージェントは、タスク間の経験を蓄積するために、外部メモリシステムに依存している。
メモリ操作をマルコフ決定プロセスとしてモデル化するフレームワークである制御プロセス(MemCon)としてメモリを提示する。
MemConは、複数のメモリベースラインのタスク成功率を最大15.2ポイント上回り、トークン消費量を5-20%削減している。
論文 参考訳（メタデータ） (2026-07-15T08:32:40Z) - Selective Memory Retention for Long-Horizon LLM Agents [0.0]
TraceRetainを使用して、機能を解釈してエントリをスコアし、キャパシティの低いものを削除します。
境界保持は、飽和クリーンベンチマークのメモリとステップ効率をタスクコストなしで購入し、ストリームがノイズを含むときだけキャッシュと区別する。
論文 参考訳（メタデータ） (2026-06-28T03:46:46Z) - MEMPROBE: Probing Long-Term Agent Memory via Hidden User-State Recovery [58.64329475683699]
我々は、長期記憶は監査可能な相互作用後のアーティファクトとして評価されるべきであると主張している。
我々は、メモリを備えたエージェントがシミュレーションユーザを支援するベンチマークであるMEMPROBEで、このビューをインスタンス化する。
私たちは、成功したアシストと回復可能なメモリが、異なる機能として振る舞うことに気付きました。
論文 参考訳（メタデータ） (2026-06-23T13:52:46Z) - WorldMemArena: Evaluating Multimodal Agent Memory Through Action-World Interaction [72.1620416874118]
マルチモーダルな言語モデルは、長距離エージェントとしてますます多くデプロイされている。
既存のベンチマークは、静的対話上のリコールを測定し、メモリを1つのタスクの精度に分解し、キャプションに対する視覚的な観察を減らす。
マルチモーダルエージェントメモリを,観測可能な4段階ライフサイクルを持つアクションワールドインタラクションループとして定式化する。
論文 参考訳（メタデータ） (2026-05-28T04:27:20Z) - MemGym: a Long-Horizon Memory Environment for LLM Agents [69.79226770543049]
本稿では,エージェントメモリのベンチマークであるMemGymを紹介する。
MemGymは、メモリパフォーマンスを推論、検索、ツール使用能力から切り離すメモリアイソレーションスコアを報告している。
MEMGYM-CODEQAとMEMGYM-DRの合成パイプラインは、長さ制御可能であり、各ステージでアブレーションを検証可能であり、下流のシナリオと密に整合している。
論文 参考訳（メタデータ） (2026-05-20T07:25:33Z) - NextMem: Towards Latent Factual Memory for LLM-based Agents [58.35585202907478]
NextMemは、自動回帰型オートエンコーダを使用して、潜時メモリを効率的に構築する、潜時ファクトメモリフレームワークである。
大規模な実験は、NextMemが優れたパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2026-02-26T14:35:27Z) - MemoryArena: Benchmarking Agent Memory in Interdependent Multi-Session Agentic Tasks [55.145729491377374]
メモリを持つエージェントの既存の評価は、通常、単独で記憶と行動を評価する。
マルチセッションメモリ-エージェント環境ループにおけるエージェントメモリのベンチマークのための統合評価ジムであるMemoryArenaを紹介する。
MemoryArenaは、Webナビゲーション、優先制約付き計画、プログレッシブ情報検索、シーケンシャルなフォーマルな推論を含む評価をサポートする。
論文 参考訳（メタデータ） (2026-02-18T09:49:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。