論文の概要: DynamicMem: A Long-Horizon Memory Benchmark in Real-World Settings

• arxiv url: http://arxiv.org/abs/2606.22877v1
• Date: Mon, 22 Jun 2026 05:41:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 03:53:53.198664
• Title: DynamicMem: A Long-Horizon Memory Benchmark in Real-World Settings
• Title（参考訳）: DynamicMem: リアルタイム設定における長期メモリベンチマーク
• Authors: Wenya Xie, Shengming Zhou, Zelin Li, Pouya Parsa, Shuang Zhou, Xinheng Ding, Chinmay Arvind, Guanchu Wang, Vladimir Braverman, Ali Payani, Yantao Zheng, Zirui Liu,
• Abstract要約: LLMエージェントは、数ヶ月にわたってユーザーのプロフィールを思い出さなければならないパーソナルアシスタントとしての役割を担っている。 既存のベンチマークでは、短時間で単純化されたインタラクションを通じて、この"メモリ"能力を評価する。 ユーザ当たり15ヶ月のアクティビティを構成するベンチマークであるDynamicMemを紹介します。
• 参考スコア（独自算出の注目度）: 27.335953561941736
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM agents increasingly act as personal assistants that must remember a user's profile over months: who they are (attributes), what they routinely do (habits), and what they prefer (preferences), and keep it updated as jobs, routines, and tastes drift. Existing benchmarks evaluate this "memory" ability through short, simplified interactions, missing three core properties of real behavior: the profile is heterogeneous, with attributes, habits, and preferences evolving on different timelines; changes are driven by external context such as seasons and life events; and evidence is rarely stated explicitly, instead scattered across many small actions in different apps that a memory system must infer from. We introduce DynamicMem, a synthetic benchmark that constructs 15 months of activity per user, providing long-term multi-app data that real users' privacy keeps out of reach. It provides user-consistent trajectories averaging 2.2M tokens and 1,772 grounded events per user across 16 applications such as e-commerce, fitness, and social platforms. The profile evolves over this period and is never given explicitly: each attribute, habit, or preference must be inferred from small signals scattered across apps. We evaluate at five quarterly checkpoints to track how systems scale as history grows. Benchmarking five representative systems exposes problems a single accuracy score hides: (i) profile reconstruction degrades with history length while service-task accuracy stays flat, despite both drawing on the same memory; (ii) no system both keeps facts that stay true and replaces facts that change, with errors clustering on preferences and on naming the exact referent; and (iii) over 93% of failures trace to what the memory retrieves, not to the model writing the answer, so the largest room for improvement lies in memory itself. Code: https://wenyaxie023.github.io/DynamicMem/
• Abstract（参考訳）: LLMエージェントは、何ヶ月もの間、ユーザーのプロフィール(属性)、日常的に何をするか(属性)、何を好むかを記憶し、仕事、ルーチン、味覚として更新し続けるパーソナルアシスタントとしての役割を担っている。 プロファイルは異種であり、属性、習慣、嗜好は異なるタイムラインで進化し、変更は季節や生活イベントなどの外部コンテキストによって駆動される。 ユーザ1人当たり15ヶ月のアクティビティを構成し、実際のユーザのプライバシが到達できないような、長期のマルチアプリデータを提供する合成ベンチマークであるDynamicMemを紹介した。 これは、Eコマース、フィットネス、ソーシャルプラットフォームなど16のアプリケーションにまたがる平均2.2Mトークンと1,772の接地イベントを提供する。 各属性、習慣、好みは、アプリ全体に散在する小さな信号から推測されなければならない。 我々は5四半期のチェックポイントで、履歴が大きくなるにつれてシステムがどのようにスケールするかを評価する。 5つの代表的なシステムのベンチマークは、単一の精度スコアが隠される問題を露呈する。 (i)プロフィールの復元は、両方のメモリに描画されているにもかかわらず、サービスタスクの精度が平坦でありながら、履歴の長さで劣化する。 (二 どちらのシステムも、事実をそのまま保持し、変化した事実を代替し、選好上のエラーをクラスタリングし、正確な参照を命名する。) 3) 障害の93%以上は、メモリが取得したものに遡り、答を書くモデルにはないため、改善の余地はメモリ自身にあります。 コード:https://wenyaxie023.github.io/DynamicMem/

関連論文リスト

• MemTrace: Probing What Final Accuracy Misses in Long-Term Memory [39.696350769003104]
  測定単位が知識点であるベンチマークであるMemTraceを紹介する。 MemTraceは3つの制御された次元に沿って各事実を探索する。 同様にプールされた精度は、異なる失敗を隠すことに気付きます。
  論文  参考訳（メタデータ） (2026-06-15T22:21:23Z)
• WorldMemArena: Evaluating Multimodal Agent Memory Through Action-World Interaction [72.1620416874118]
  マルチモーダルな言語モデルは、長距離エージェントとしてますます多くデプロイされている。 既存のベンチマークは、静的対話上のリコールを測定し、メモリを1つのタスクの精度に分解し、キャプションに対する視覚的な観察を減らす。 マルチモーダルエージェントメモリを,観測可能な4段階ライフサイクルを持つアクションワールドインタラクションループとして定式化する。
  論文  参考訳（メタデータ） (2026-05-28T04:27:20Z)
• LongMemEval-V2: Evaluating Long-Term Agent Memory Toward Experienced Colleagues [80.29362825271768]
  LongMemEval-V2は、メモリシステムが、カスタマイズされた環境で知識のある同僚になるために必要な経験を得るのに役立つかどうかを評価するためのベンチマークである。 LME-V2には、Webエージェントの5つのコアメモリ能力をカバーする451の質問が含まれている。 AgentRunbook-Rは生の状態観察,イベント,戦略ノートのための知識プールを備えた,効率的なRAGベースのメモリであり,AgentRunbook-Cはトラジェクトリをファイルとして格納し,コードエージェントを起動して,拡張サンドボックスに証拠を収集する。
  論文  参考訳（メタデータ） (2026-05-12T17:59:34Z)
• AdaMem: Adaptive User-Centric Memory for Long-Horizon Dialogue Agents [49.63422082885992]
  長軸対話エージェントのための適応型ユーザ中心メモリフレームワークであるAdaMemを提案する。 AdaMemは対話履歴をワーキング、エピソディック、ペルソナ、グラフメモリに整理する。 LoCoMo と PERSONAMEM ベンチマーク上での AdaMem の評価を行った。
  論文  参考訳（メタデータ） (2026-03-17T13:22:54Z)
• RoboMME: Benchmarking and Understanding Memory for Robotic Generalist Policies [54.23445842621374]
  記憶は、長い水平と歴史に依存したロボット操作にとって重要である。 近年,視覚言語アクション(VLA)モデルにメモリ機構が組み込まれ始めている。 本稿では,VLAモデルの評価と進展のための大規模標準ベンチマークであるRoboMMEを紹介する。
  論文  参考訳（メタデータ） (2026-03-04T21:59:32Z)
• LikeBench: Evaluating Subjective Likability in LLMs for Personalization [11.75597537798083]
  第三の軸であるリキスタビリティは、主観的かつユーザエクスペリエンスの中心でありながら、現在のベンチマークでは過小評価されていない、と私たちは主張する。 マルチセッション動的評価フレームワークであるLikeBenchを紹介する。 DeepSeek R1は、メモリ精度が低い(86%、17の事実/注目)が、Qwen3のメモリ精度が高い(93%、43の事実/注目)にもかかわらず、ライカビリティスコアが28%向上した。 GPT-5のようなSOTAモデルでさえ、略してうまく適応する
  論文  参考訳（メタデータ） (2025-12-15T08:18:42Z)
• PersonaMem-v2: Towards Personalized Intelligence via Learning Implicit User Personas and Agentic Memory [56.81126490418336]
  パーソナライゼーションは、AI能力とアライメントの進歩における次のマイルストーンの1つだ。 PersonaMem-v2は300以上のシナリオ、20,000以上のユーザの好み、128kのコンテキストウィンドウで、1,000の現実的なユーザ-チャットボットインタラクションをシミュレートする。 我々はQwen3-4BをトレーニングしてGPT-5を上回り、暗黙のパーソナライゼーションにおいて53%の精度を達成した。
  論文  参考訳（メタデータ） (2025-12-07T06:48:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。