論文の概要: PERMA: Benchmarking Personalized Memory Agents via Event-Driven Preference and Realistic Task Environments
- arxiv url: http://arxiv.org/abs/2603.23231v1
- Date: Tue, 24 Mar 2026 14:04:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-25 19:53:37.520189
- Title: PERMA: Benchmarking Personalized Memory Agents via Event-Driven Preference and Realistic Task Environments
- Title（参考訳）: PERMA: イベント駆動推論とリアルタスク環境によるパーソナライズドメモリエージェントのベンチマーク
- Abstract要約: 静的な嗜好リコールを超えてペルマの一貫性を評価するためのベンチマークであるPERMAを紹介する。
PerMAは、複数のセッションとドメインにまたがる時間的に順序付けられたインタラクションイベントと、時間とともに好みに関連するクエリで構成されている。
実験により、関連するインタラクションをリンクすることで、高度なメモリシステムはより正確な好みを抽出し、トークン消費を減らすことができることが示された。
- 参考スコア（独自算出の注目度）: 72.02445514666428
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Empowering large language models with long-term memory is crucial for building agents that adapt to users' evolving needs. However, prior evaluations typically interleave preference-related dialogues with irrelevant conversations, reducing the task to needle-in-a-haystack retrieval while ignoring relationships between events that drive the evolution of user preferences. Such settings overlook a fundamental characteristic of real-world personalization: preferences emerge gradually and accumulate across interactions within noisy contexts. To bridge this gap, we introduce PERMA, a benchmark designed to evaluate persona consistency over time beyond static preference recall. Additionally, we incorporate (1) text variability and (2) linguistic alignment to simulate erratic user inputs and individual idiolects in real-world data. PERMA consists of temporally ordered interaction events spanning multiple sessions and domains, with preference-related queries inserted over time. We design both multiple-choice and interactive tasks to probe the model's understanding of persona along the interaction timeline. Experiments demonstrate that by linking related interactions, advanced memory systems can extract more precise preferences and reduce token consumption, outperforming traditional semantic retrieval of raw dialogues. Nevertheless, they still struggle to maintain a coherent persona across temporal depth and cross-domain interference, highlighting the need for more robust personalized memory management in agents. Our code and data are open-sourced at https://github.com/PolarisLiu1/PERMA.
- Abstract（参考訳）: 長期記憶で大きな言語モデルを強化することは、ユーザの進化するニーズに適応するエージェントを構築するために不可欠である。
しかし、事前評価では、通常、関係のない会話と嗜好関係の対話をインターリーブし、ユーザの嗜好の進化を促すイベント間の関係を無視しながら、ヘイスタック検索へのタスクを短縮する。
このような設定は、現実のパーソナライゼーションの基本的な特徴を見落としている。
このギャップを埋めるため、静的なリコールを超えてペルマの一貫性を評価するためのベンチマークであるPERMAを導入する。
さらに,(1) テキストの多様性と(2) 言語的アライメントを組み込んで,実世界のデータにおける不規則なユーザ入力と個々のイディオレクトをシミュレートする。
PERMAは、複数のセッションとドメインにまたがる時間的に順序付けられたインタラクションイベントと、時間とともに好みに関連するクエリで構成されている。
我々は、対話タイムラインに沿って、モデルのペルソナ理解を探索するために、複数選択タスクと対話タスクの両方を設計する。
実験により、関連する相互作用をリンクすることで、高度なメモリシステムはより正確な嗜好を抽出し、トークン消費を減らすことができ、生の対話の伝統的な意味的検索よりも優れていることが示された。
それでも彼らは、時間的深さとドメイン間の干渉を越えて一貫性のあるペルソナを維持するのに苦慮しており、エージェントのより堅牢なパーソナライズされたメモリ管理の必要性を強調している。
私たちのコードとデータはhttps://github.com/PolarisLiu1/PERMA.comでオープンソース化されています。
関連論文リスト
- QUMem: Personalized Memory for Query-Conditioned User-State Inference in LLM Agents [24.465097221083777]
textscQUMemは、クエリ条件付きユーザ状態推論のための構造化メモリフレームワークである。
textscQUMemはPersonaMemとKnowU-Benchの両方で最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2026-08-17T06:34:24Z) - Beyond Static Dialogues: Benchmarking Realistic, Heterogeneous, and Evolving Long-Term Memory [54.947805187562274]
動的時間的進化と長期コヒーレンスを示す多様な相互作用シナリオにまたがる現実的な対話を導入する。
その結果得られたベンチマークは、7つの調査タイプにまたがる挑戦的な質問と回答のペアを含んでいる。
現在研究されている27の重要な記憶特性のうち、少なくとも1つを同定する。
論文 参考訳（メタデータ） (2026-05-29T09:51:22Z) - VitaBench 2.0: Evaluating Personalized and Proactive Agents in Long-Term User Interactions [63.13827503828231]
我々は、長期ユーザーインタラクションにおけるパーソナライズされたプロアクティブなエージェント動作を評価するためのベンチマークであるVitaBench 2.0を紹介する。
結果は、最先端のモデルでさえ、現実世界のパーソナライゼーションは非常に困難であることを示している。
論文 参考訳（メタデータ） (2026-05-26T15:07:38Z) - Personalizing Embodied Multimodal Large Language Model Agents over Long-term User Interactions [17.9008221917999]
POLARは、長期のユーザインタラクションに対してパーソナライズされたエンボディエージェントのための、メモリ拡張フレームワークである。
実施タスクを実行するために、POLARは関連するメモリを取得して現在の要求を解釈し、タスクの実行をガイドする。
提案したメモリ機構は,事前のインタラクションに蓄積した情報をより効果的に活用することにより,性能を継続的に向上することを示す。
論文 参考訳（メタデータ） (2026-05-25T18:27:27Z) - AdaMem: Adaptive User-Centric Memory for Long-Horizon Dialogue Agents [49.63422082885992]
長軸対話エージェントのための適応型ユーザ中心メモリフレームワークであるAdaMemを提案する。
AdaMemは対話履歴をワーキング、エピソディック、ペルソナ、グラフメモリに整理する。
LoCoMo と PERSONAMEM ベンチマーク上での AdaMem の評価を行った。
論文 参考訳（メタデータ） (2026-03-17T13:22:54Z) - Learning Personalized Agents from Human Feedback [36.47803872623135]
連続的なパーソナライズのための枠組みであるPAHF(Personalized Agents from Human Feedback)を紹介する。
PAHFは、ユーザ毎の明示的なメモリを使用して、ライブインタラクションからオンラインで学習する。
ベンチマークは、エージェントが最初の好みをスクラッチから学習し、その後ペルソナシフトに適応する能力を定量化する。
論文 参考訳（メタデータ） (2026-02-18T04:18:47Z) - OP-Bench: Benchmarking Over-Personalization for Memory-Augmented Personalized Conversational Agents [55.27061195244624]
オーバーパーソナライゼーションを3つのタイプに分類する。
エージェントは不要な場合でも、ユーザメモリを取得およびオーバーアタッチする傾向があります。
我々の研究は、メモリ拡張対話システムにおいて、より制御可能で適切なパーソナライズに向けた最初の一歩を踏み出した。
論文 参考訳（メタデータ） (2026-01-20T08:27:13Z) - Towards Proactive Personalization through Profile Customization for Individual Users in Dialogues [28.522406727886395]
PersonalAgentは、ユーザの好みを継続的に推測し、適応するように設計された、生涯にわたるエージェントである。
実験により、PersonalAgentは強力なプロンプトベースおよびポリシー最適化ベースラインよりも優れたパフォーマンスを達成できることが示された。
本研究は、より包括的で適応的な会話エージェントを開発するために、生涯のパーソナライズの重要性を浮き彫りにした。
論文 参考訳（メタデータ） (2025-12-17T10:47:06Z) - Mem-PAL: Towards Memory-based Personalized Dialogue Assistants for Long-term User-Agent Interaction [55.24448139349266]
PAL-Benchは、長期ユーザエージェントインタラクションにおけるサービス指向アシスタントのパーソナライズ機能を評価するために設計された新しいベンチマークである。
サービス指向のインタラクションをパーソナライズするために、階層的で異質なメモリフレームワークであるH$2$Memoryを提案する。
論文 参考訳（メタデータ） (2025-11-17T14:22:32Z) - RGMem: Renormalization Group-based Memory Evolution for Language Agent User Profile [8.224917568034572]
物理における古典的再正規化群(RG)のイデオロギーに着想を得た自己進化型メモリフレームワークを提案する。
このフレームワークは対話履歴を複数のスケールで整理することができる。
私たちの研究の中核的な革新は、情報圧縮と出現のマルチスケールプロセスとしてのメモリ進化をモデル化することにあります。
論文 参考訳（メタデータ） (2025-10-18T08:16:46Z) - Dialogue History Matters! Personalized Response Selectionin Multi-turn
Retrieval-based Chatbots [62.295373408415365]
本稿では,コンテキスト応答マッチングのためのパーソナライズドハイブリッドマッチングネットワーク(phmn)を提案する。
1) ユーザ固有の対話履歴からパーソナライズされた発話行動を付加的なマッチング情報として抽出する。
ユーザ識別による2つの大規模データセット,すなわちパーソナライズされた対話 Corpus Ubuntu (P-Ubuntu) とパーソナライズされたWeiboデータセット (P-Weibo) のモデルを評価する。
論文 参考訳（メタデータ） (2021-03-17T09:42:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。