論文の概要: Why Bother Me Again? Benchmarking Personal Agent Memory for Interaction Preferences
- arxiv url: http://arxiv.org/abs/2610.30485v1
- Date: Wed, 21 Oct 2026 22:08:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.166421
- Title: Why Bother Me Again? Benchmarking Personal Agent Memory for Interaction Preferences
- Title（参考訳）: 両者がなぜ再会するのか? インタラクションの選好にパーソナルエージェントのメモリをベンチマークする
- Abstract要約: 本稿では,個人エージェントのメモリ評価のための対話型環境であるMemPABenchを紹介する。
MemPABenchは、エージェントがいつ特定するか、確認するか、自律的に行動するかを判断する必要がある長期の作業を行う。
我々は、好みの選択、提供行動、文脈や好みの変化に対する感受性を評価する。
- 参考スコア（独自算出の注目度）: 6.303638050778812
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Personal intelligence systems are taking on increasingly complex everyday tasks, yet repeated questions, unnecessary confirmations, and unwanted outreach can turn capable assistance into interaction burden. Reducing this burden requires agents to remember how users want to be assisted. However, existing memory benchmarks focus on factual recall and personalized answers and rarely test how agents learn and act on interaction preferences. We introduce MemPABench, an interactive environment for on-policy evaluation of memory in personal agents. MemPABench poses long-horizon tasks requiring agents to decide when to clarify, confirm, or act autonomously. Four grounded simulated users hold 14 preferences across work and personal contexts. Their feedback spans 99 sessions over four months, with five event-driven changes per user testing memory updates. We evaluate preference selection, delivered behavior, and sensitivity to context and preference change. Evaluating four memory systems across four LLM backbones, we find that current memory brings limited gains in preference selection. Retrieval-based systems (i.e. Mem0, MemOS, simple RAG) do not outperform No Memory, while File-based memory improves accuracy but applies preferences beyond relevant contexts. Our analysis shows that current memory struggles to retrieve interaction preferences and adapt to preference changes. Even with the correct preference available, overriding the agent's default interaction habits remains challenging. The environment and dataset are available at https://mempabench.com.
- Abstract（参考訳）: パーソナル・インテリジェンス・システムは、日々の作業がますます複雑になってきています。
この負担を減らすためには、エージェントがユーザーの支援の仕方を思い出す必要がある。
しかし、既存のメモリベンチマークでは、事実のリコールとパーソナライズされた回答に重点を置いており、エージェントがインタラクションの好みを学習し、どのように振舞うかをテストすることはめったにない。
本稿では,個人エージェントのメモリ評価のための対話型環境であるMemPABenchを紹介する。
MemPABenchは、エージェントがいつ特定するか、確認するか、自律的に行動するかを判断する必要がある長期の作業を行う。
4つの接地されたシミュレートされたユーザは、仕事と個人的なコンテキストで14の好みを持っている。
フィードバックは4ヶ月で99セッションにわたっており、ユーザテストメモリ更新毎に5つのイベント駆動型変更が加えられている。
我々は、好みの選択、提供行動、文脈や好みの変化に対する感受性を評価する。
4つのLCMバックボーンにまたがる4つのメモリシステムを評価すると、現在のメモリは好みの選択において限られた利得をもたらすことがわかった。
検索ベースのシステム(Mem0、MemOS、単純なRAG)はNo Memoryを上回りません。
我々の分析によると、現在の記憶は相互作用の好みを回収し、好みの変化に適応するのに苦労している。
正しい好みが得られても、エージェントのデフォルトのインタラクションの習慣をオーバーライドすることは依然として困難である。
環境とデータセットはhttps://mempabench.com.comで公開されている。
関連論文リスト
- MemBubble: Benchmarking How Agent Memory Shapes LLM Response Diversity [69.32957637697743]
メモリはLLMベースのエージェントのコアコンポーネントとして機能し、過去のインタラクションからユーザの好みを抽出して使用することでパーソナライズされた応答を可能にする。
既存の評価は合成相互作用に大きく依存しており、メモリシステムが少ないため、実際のシナリオではメモリの応答の多様性が不十分である。
MemBubbleは、実際のユーザ・アシスタント・会話から抽出された好みに基づいて構築された1000インスタンスのベンチマークである。
メモリが応答分布に集中する範囲を計測するために、共有された嗜好カテゴリを通してトピック関連性を保持しながら、ユーザの嗜好とは異なるシナリオでテストクエリを構築する。
論文 参考訳（メタデータ） (2026-10-18T09:17:44Z) - Know It, Act on It: Investigating Memory Utilization in LLM Personalization [12.448786190019254]
大規模言語モデル(LLM)が,コンテキストに完全に存在する場合でも,関連するユーザの嗜好に反応しないことを示す。
我々は、同じユーザの好みに合わせて、ペア化されたノウテストとアクトテストを管理する分離された評価パラダイムを導入する。
我々は16のシステムと5つのメモリアーキテクチャにわたる大規模な実験を行い、1000の好みを3レベルの表現強度で評価した。
論文 参考訳（メタデータ） (2026-07-31T13:57:21Z) - MemSyco-Bench: Benchmarking Sycophancy in Agent Memory [32.49512092540906]
MemSyco-Benchは、エージェントシステムにおけるメモリ誘起性を評価するためのベンチマークである。
MemSyco-Benchは、いつメモリが決定に影響を及ぼすか、どのように有効なメモリを使用するかを測定する。
論文 参考訳（メタデータ） (2026-07-01T15:30:33Z) - MEMPROBE: Probing Long-Term Agent Memory via Hidden User-State Recovery [58.64329475683699]
我々は、長期記憶は監査可能な相互作用後のアーティファクトとして評価されるべきであると主張している。
我々は、メモリを備えたエージェントがシミュレーションユーザを支援するベンチマークであるMEMPROBEで、このビューをインスタンス化する。
私たちは、成功したアシストと回復可能なメモリが、異なる機能として振る舞うことに気付きました。
論文 参考訳（メタデータ） (2026-06-23T13:52:46Z) - When Should Memory Stay Silent: Measuring Memory-Use Boundaries in Memory-Augmented Conversational Agents [13.354128891280316]
長期記憶により、言語モデルエージェントはパーソナライズされたインタラクションをサポートすることができる。
利用可能な記憶がいつ応答に統合されるかは、まだ不明である。
検索システムは露光を減らすが、感度の高いメモリがジェネレータに到達すると、統合を排除しない。
論文 参考訳（メタデータ） (2026-06-04T11:54:51Z) - PERMA: Benchmarking Personalized Memory Agents via Event-Driven Preference and Realistic Task Environments [72.02445514666428]
静的な嗜好リコールを超えてペルマの一貫性を評価するためのベンチマークであるPERMAを紹介する。
PerMAは、複数のセッションとドメインにまたがる時間的に順序付けられたインタラクションイベントと、時間とともに好みに関連するクエリで構成されている。
実験により、関連するインタラクションをリンクすることで、高度なメモリシステムはより正確な好みを抽出し、トークン消費を減らすことができることが示された。
論文 参考訳（メタデータ） (2026-03-24T14:04:11Z) - MemoryArena: Benchmarking Agent Memory in Interdependent Multi-Session Agentic Tasks [55.145729491377374]
メモリを持つエージェントの既存の評価は、通常、単独で記憶と行動を評価する。
マルチセッションメモリ-エージェント環境ループにおけるエージェントメモリのベンチマークのための統合評価ジムであるMemoryArenaを紹介する。
MemoryArenaは、Webナビゲーション、優先制約付き計画、プログレッシブ情報検索、シーケンシャルなフォーマルな推論を含む評価をサポートする。
論文 参考訳（メタデータ） (2026-02-18T09:49:14Z) - OP-Bench: Benchmarking Over-Personalization for Memory-Augmented Personalized Conversational Agents [55.27061195244624]
オーバーパーソナライゼーションを3つのタイプに分類する。
エージェントは不要な場合でも、ユーザメモリを取得およびオーバーアタッチする傾向があります。
我々の研究は、メモリ拡張対話システムにおいて、より制御可能で適切なパーソナライズに向けた最初の一歩を踏み出した。
論文 参考訳（メタデータ） (2026-01-20T08:27:13Z) - PersonaMem-v2: Towards Personalized Intelligence via Learning Implicit User Personas and Agentic Memory [56.81126490418336]
パーソナライゼーションは、AI能力とアライメントの進歩における次のマイルストーンの1つだ。
PersonaMem-v2は300以上のシナリオ、20,000以上のユーザの好み、128kのコンテキストウィンドウで、1,000の現実的なユーザ-チャットボットインタラクションをシミュレートする。
我々はQwen3-4BをトレーニングしてGPT-5を上回り、暗黙のパーソナライゼーションにおいて53%の精度を達成した。
論文 参考訳（メタデータ） (2025-12-07T06:48:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。