論文の概要: PRAGMA: Evaluating Personalized Guidance with Memory Alignment in Lifelong Conversations
- arxiv url: http://arxiv.org/abs/2609.09664v1
- Date: Wed, 09 Sep 2026 03:31:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.886073
- Title: PRAGMA: Evaluating Personalized Guidance with Memory Alignment in Lifelong Conversations
- Title(参考訳): PRAGMA:生涯会話における記憶アライメントによるパーソナライズガイダンスの評価
- Abstract要約: 大規模言語モデル(LLM)は、長期にわたってユーザと対話するパーソナライズされたアシスタントとして、ますます多くデプロイされている。
会話が長くなるにつれて、完全なインタラクション履歴に依存することが、ますます非効率になり、信頼できなくなる。
本稿では、長期会話におけるパーソナライズされたガイダンスを評価するためのベンチマークであるPRAGMAを紹介する。
- 参考スコア(独自算出の注目度): 21.191446906833303
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly deployed as personalized assistants that interact with users over extended periods of time. As conversations grow longer, relying on full interaction histories becomes increasingly inefficient and unreliable: long contexts introduce substantial computational overhead, making it difficult for models to consistently identify and utilize the most relevant information for the current request. These challenges have motivated memory systems that structure and retrieve user-specific information. In realistic interactions, users often seek practical guidance such as recommendations, planning, and decision support. Unlike factual recall tasks, personalized guidance requires models to integrate information across multiple past conversations and reason about changing user preferences and experiences. However, existing conversational memory evaluations mainly focus on retrieval and factual recall. To study this challenge, we introduce PRAGMA, a benchmark for evaluating personalized guidance in long-term conversations. PRGAMA contains curated longitudinal conversation histories, evidence annotations, and guidance scenarios grounded in evolving user contexts and incorrect user assumptions. Experiments across retrieval systems, memory systems, and long-context models reveal that current systems struggle both to recover the appropriate conversational evidence and to effectively use it for personalized guidance. Our results highlight the need for memory architectures that support robust conversational retrieval and memory-grounded reasoning beyond evidence recall.
- Abstract(参考訳): 大規模言語モデル(LLM)は、長期にわたってユーザと対話するパーソナライズされたアシスタントとして、ますます多くデプロイされている。
会話が長くなるにつれて、完全な相互作用履歴への依存はますます非効率で信頼性の低いものとなり、長いコンテキストはかなりの計算オーバーヘッドをもたらすため、モデルが現在の要求に対して最も関連性の高い情報を一貫して識別し、利用するのが困難になる。
これらの課題は、ユーザ固有の情報を構造化し、取得するメモリシステムを動機付けている。
現実的なインタラクションでは、推奨や計画、意思決定支援といった実践的なガイダンスを求めることが多い。
ファクトリコールタスクとは異なり、パーソナライズされたガイダンスは、過去の複数の会話にまたがる情報の統合と、ユーザの好みや経験の変化に関する理由をモデルに要求する。
しかし、既存の会話記憶評価は主に検索と事実記憶に焦点を当てている。
この課題を考察するために、長期会話におけるパーソナライズされたガイダンスを評価するためのベンチマークであるPRAGMAを紹介する。
PRGAMAには、編集された縦長の会話履歴、エビデンスアノテーション、ユーザコンテキストの進化と誤ったユーザ仮定に基づくガイダンスシナリオが含まれている。
検索システム、メモリシステム、長期コンテキストモデルにわたる実験により、現在のシステムは適切な会話証拠を回収し、パーソナライズされたガイダンスに効果的に利用するのに苦労していることが明らかになった。
以上の結果から,堅牢な会話検索と,エビデンスリコール以上のメモリグランド推論をサポートするメモリアーキテクチャの必要性が浮き彫りになった。
関連論文リスト
- Learning User-Aware Recall: Personalized Retrieval in Long-Term Conversational Memory [15.297367578990903]
プロファイル誘導型パーソナライズド検索最適化(PPRO)は対話履歴からエピソードおよびセマンティックメモリバンクを構築する。
PPROはメモリランキングにおいて明示的なパーソナライズされた先行として機能し、検索は安定したユーザー属性、好み、関係を考慮できる。
LoCoMoとLongMemEval-Sの実験では、トレーニング不要のメモリシステムよりも一貫した利得を示している。
論文 参考訳(メタデータ) (2026-05-28T06:47:48Z) - PERMA: Benchmarking Personalized Memory Agents via Event-Driven Preference and Realistic Task Environments [72.02445514666428]
静的な嗜好リコールを超えてペルマの一貫性を評価するためのベンチマークであるPERMAを紹介する。
PerMAは、複数のセッションとドメインにまたがる時間的に順序付けられたインタラクションイベントと、時間とともに好みに関連するクエリで構成されている。
実験により、関連するインタラクションをリンクすることで、高度なメモリシステムはより正確な好みを抽出し、トークン消費を減らすことができることが示された。
論文 参考訳(メタデータ) (2026-03-24T14:04:11Z) - AdaMem: Adaptive User-Centric Memory for Long-Horizon Dialogue Agents [49.63422082885992]
長軸対話エージェントのための適応型ユーザ中心メモリフレームワークであるAdaMemを提案する。
AdaMemは対話履歴をワーキング、エピソディック、ペルソナ、グラフメモリに整理する。
LoCoMo と PERSONAMEM ベンチマーク上での AdaMem の評価を行った。
論文 参考訳(メタデータ) (2026-03-17T13:22:54Z) - ES-MemEval: Benchmarking Conversational Agents on Personalized Long-Term Emotional Support [11.480342895892404]
大きな言語モデル (LLM) は会話エージェントとして大きな可能性を示している。
しかし、その有効性は、堅牢な長期記憶の欠陥によって制限されている。
ES-MemEvalは5つのコアメモリ機能を体系的に評価するベンチマークである。
EvoEmoは、パーソナライズされた長期的な感情的サポートのためのデータセットである。
論文 参考訳(メタデータ) (2026-02-02T09:58:26Z) - OP-Bench: Benchmarking Over-Personalization for Memory-Augmented Personalized Conversational Agents [55.27061195244624]
オーバーパーソナライゼーションを3つのタイプに分類する。
エージェントは不要な場合でも、ユーザメモリを取得およびオーバーアタッチする傾向があります。
我々の研究は、メモリ拡張対話システムにおいて、より制御可能で適切なパーソナライズに向けた最初の一歩を踏み出した。
論文 参考訳(メタデータ) (2026-01-20T08:27:13Z) - HiMeS: Hippocampus-inspired Memory System for Personalized AI Assistants [7.477189210398971]
短期記憶と長期記憶を融合したAI補助アーキテクチャであるHiMeSを提案する。
短期記憶と長期記憶を融合したAI補助アーキテクチャであるHiMeSを提案する。
論文 参考訳(メタデータ) (2026-01-06T05:05:50Z) - LongMemEval: Benchmarking Chat Assistants on Long-Term Interactive Memory [68.97819665784442]
チャットアシスタントの5つのコアメモリ能力を評価するためのベンチマークであるLongMemEvalを紹介する。
LongMemEvalは、既存の長期記憶システムにとって重要な課題である。
本稿では,長期記憶設計をインデックス化,検索,読解の3段階に分割する統合フレームワークを提案する。
論文 参考訳(メタデータ) (2024-10-14T17:59:44Z) - MemoCRS: Memory-enhanced Sequential Conversational Recommender Systems with Large Language Models [51.65439315425421]
大規模言語モデルを用いたメモリ拡張型会話レコメンダシステムフレームワーク(MemoCRS)を提案する。
ユーザ固有のメモリは、パーソナライズされた関心事のために各ユーザに合わせて調整される。
共同知識と推論ガイドラインをカプセル化した一般的な記憶は、ユーザに共有知識を提供することができる。
論文 参考訳(メタデータ) (2024-07-06T04:57:25Z) - Sequential Recommender via Time-aware Attentive Memory Network [67.26862011527986]
本稿では,注意機構と繰り返し単位を改善するための時間ゲーティング手法を提案する。
また,長期と短期の嗜好を統合するマルチホップ・タイムアウェア・アテンテーティブ・メモリ・ネットワークを提案する。
提案手法は,候補探索タスクに対してスケーラブルであり,ドット積に基づくTop-Kレコメンデーションのための潜在因数分解の非線形一般化とみなすことができる。
論文 参考訳(メタデータ) (2020-05-18T11:29:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。