論文の概要: DolphinBench: Mapping the Pareto Frontier of Agent Memory
- arxiv url: http://arxiv.org/abs/2609.24971v2
- Date: Tue, 22 Sep 2026 06:04:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:04.022193
- Title: DolphinBench: Mapping the Pareto Frontier of Agent Memory
- Title（参考訳）: DolphinBench: エージェントメモリのParetoフロンティアをマッピングする
- Abstract要約: DolphinBenchは、エージェントのタスク完了を通じてメモリを直接評価するベンチマークである。
DolphinBenchには3つのナレッジワークペルソナがあり、ペルソナ当たりのユーザメッセージのトークンは約500kである。
我々は、エージェントを関連する履歴を持っていなくても実行し、それで成功し、それなしで失敗することで、ペルソナ当たり200のタスクを検証します。
- 参考スコア（独自算出の注目度）: 3.058685580689604
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agents today often take real-world actions that depend on long-term memory and context recall over time. However, most current memory benchmarks are built for a conversational question-answer format, where the question itself signals that some fact must be retrieved, and often which one. Moreover, benchmarks rarely require anything beyond accuracy from submissions, allowing memory systems to make unreasonable cost/time tradeoffs to achieve higher scores. We present DolphinBench, a benchmark that evaluates memory directly through an agent's task completion. DolphinBench includes three knowledge-work personas with roughly 500k tokens of user messages per persona and evaluates agents on tasks that depend on information from that history. We verify all 200 tasks per persona by running an agent with and without the relevant history, requiring success with it and failure without it. Finally, we require all evaluations to report total cost and latency alongside accuracy, which enables us to evaluate agent memory systems holistically. No existing memory benchmark combines all three. The dataset and evaluation code are available at https://dolphinbench.ai.
- Abstract（参考訳）: 現在エージェントは、長期記憶とコンテキストのリコールに依存する現実世界のアクションを取ることが多い。
しかしながら、現在のほとんどのメモリベンチマークは会話型の質問応答フォーマットのために構築されており、そこでは疑問そのものが、ある事実を検索しなければならないこと、そして、どれを検索する必要があるかを示す。
さらに、ベンチマークは提出からの正確性以上のものはめったに必要とせず、メモリシステムがより高いスコアを得るために不当なコスト/時間トレードオフを行うことができる。
エージェントのタスク完了を直接メモリ評価するベンチマークであるDolphinBenchを紹介する。
DolphinBenchには3つのナレッジワークのペルソナが含まれており、ペルソナごとに約500kのユーザメッセージのトークンがあり、その履歴の情報に依存するタスクのエージェントを評価する。
我々は、エージェントを関連する履歴を持っていなくても実行し、それで成功し、それなしで失敗することで、ペルソナ当たり200のタスクを検証します。
最後に、総コストとレイテンシを精度とともに報告するためには、すべての評価が必要である。
既存のメモリベンチマークでは、これら3つを組み合わせていない。
データセットと評価コードはhttps://dolphinbench.ai.comで公開されている。
関連論文リスト
- MEMPROBE: Probing Long-Term Agent Memory via Hidden User-State Recovery [58.64329475683699]
我々は、長期記憶は監査可能な相互作用後のアーティファクトとして評価されるべきであると主張している。
我々は、メモリを備えたエージェントがシミュレーションユーザを支援するベンチマークであるMEMPROBEで、このビューをインスタンス化する。
私たちは、成功したアシストと回復可能なメモリが、異なる機能として振る舞うことに気付きました。
論文 参考訳（メタデータ） (2026-06-23T13:52:46Z) - WorldMemArena: Evaluating Multimodal Agent Memory Through Action-World Interaction [72.1620416874118]
マルチモーダルな言語モデルは、長距離エージェントとしてますます多くデプロイされている。
既存のベンチマークは、静的対話上のリコールを測定し、メモリを1つのタスクの精度に分解し、キャプションに対する視覚的な観察を減らす。
マルチモーダルエージェントメモリを,観測可能な4段階ライフサイクルを持つアクションワールドインタラクションループとして定式化する。
論文 参考訳（メタデータ） (2026-05-28T04:27:20Z) - MINTEval: Evaluating Memory under Multi-Target Interference in Long-Horizon Agent Systems [69.06764269022925]
本研究では,現在の記憶増強剤が現実的,干渉重大,長期的設定において果たす役割について検討する。
MINTEvalは、頻繁に更新される情報を備えた、長く高度に相互接続されたコンテキストを特徴とするベンチマークである。
MINTEvalは128.8kのトークンを平均で1インスタンスあたり1.8Mのトークンに拡張し、15.6kの質問応答ペアを持つ。
論文 参考訳（メタデータ） (2026-05-18T15:43:35Z) - EvoMemBench: Benchmarking Agent Memory from a Self-Evolving Perspective [21.66000179149483]
EvoMemBenchは、メモリスコープとメモリ内容の2つの軸に沿って編成された統一ベンチマークである。
本稿では,15個の代表記憶法と強い長文ベースラインを標準プロトコルで比較する。
結果は、現在のメモリシステムは、まだ一般的な解決策には程遠いことを示している。
論文 参考訳（メタデータ） (2026-05-18T13:54:38Z) - From Recall to Forgetting: Benchmarking Long-Term Memory for Personalized Agents [38.52713500119118]
Memoraは、数週間から数ヶ月のユーザ会話にまたがる長期メモリベンチマークです。
ベンチマークでは、記憶、推論、レコメンデーションの3つのメモリグラウンドタスクを評価している。
FAMA(Forgetting-Aware Memory Accuracy)は、古いメモリや無効メモリへの依存を罰するメトリクスである。
論文 参考訳（メタデータ） (2026-04-21T21:31:01Z) - AdaMem: Adaptive User-Centric Memory for Long-Horizon Dialogue Agents [49.63422082885992]
長軸対話エージェントのための適応型ユーザ中心メモリフレームワークであるAdaMemを提案する。
AdaMemは対話履歴をワーキング、エピソディック、ペルソナ、グラフメモリに整理する。
LoCoMo と PERSONAMEM ベンチマーク上での AdaMem の評価を行った。
論文 参考訳（メタデータ） (2026-03-17T13:22:54Z) - MemoryArena: Benchmarking Agent Memory in Interdependent Multi-Session Agentic Tasks [55.145729491377374]
メモリを持つエージェントの既存の評価は、通常、単独で記憶と行動を評価する。
マルチセッションメモリ-エージェント環境ループにおけるエージェントメモリのベンチマークのための統合評価ジムであるMemoryArenaを紹介する。
MemoryArenaは、Webナビゲーション、優先制約付き計画、プログレッシブ情報検索、シーケンシャルなフォーマルな推論を含む評価をサポートする。
論文 参考訳（メタデータ） (2026-02-18T09:49:14Z) - EverMemBench: Benchmarking Long-Term Interactive Memory in Large Language Models [16.865998112859604]
EverMemBenchは、100万以上のトークンにまたがる多人数のマルチグループ会話を特徴とするベンチマークである。
EverMemBenchは、1000以上のQAペアを通じて3次元にわたるメモリシステムを評価する。
論文 参考訳（メタデータ） (2026-02-01T16:13:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。