論文の概要: MemUse: Moving Memory Evaluation from Direct QA to Natural Integration in Long-Term Human-AI Conversation
- arxiv url: http://arxiv.org/abs/2608.24189v1
- Date: Tue, 25 Aug 2026 07:54:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:34.863788
- Title: MemUse: Moving Memory Evaluation from Direct QA to Natural Integration in Long-Term Human-AI Conversation
- Title（参考訳）: MemUse: 長期的な人間-AI会話における直接QAから自然統合へのメモリ評価の移行
- Abstract要約: 4ヶ月のデプロイメントにおいて,ダイレクトQAの精度がユーザ満足度と相関するかどうかを検証した。
既存のベンチマーク・ダイレクトQAは7つの条件で19.7%から70.1%まで変化しているが、満足度は変わらない。
デプロイから引き出された実際のユーザキューメモリモーメントのセットであるMemUseを紹介します。
- 参考スコア（独自算出の注目度）: 21.669452198654596
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Memory systems for conversational LLMs are conventionally evaluated by direct, fact-seeking questions about prior dialogue (Direct QA): can the model recall fact X from a prior conversation? We tested whether higher Direct QA accuracy correlates with higher user satisfaction in a 4-month deployment (40 users, 1,872 sessions, 7 memory conditions). Existing-benchmark Direct QA varies from 19.7% to 70.1% across the 7 conditions, but satisfaction does not change. We hypothesize that existing benchmarks and user satisfaction are tracking different capabilities: benchmarks measure elicited retrieval (recall when asked), while conversation requires natural integration (detecting relevance and naturally weaving prior context into a response). To examine this, we introduce MemUse, a set of real user-cued memory moments drawn from the deployment, scored by an integration-aware judgment of the natural conversational response. Holding the model and context fixed, the same system that scores 78.8% on Direct QA references only 7.9% of those facts in conversation -- a 71-point gap. Within these moments, Natural Integration is associated with satisfaction, whereas Direct QA is not. We release the deployment corpus and MemUse together with all judgments and scoring prompts at https://github.com/ryuichi-sumida/memuse.
- Abstract（参考訳）: 対話型LLMの記憶システムは従来,先行対話に関する直接事実探索質問(Direct QA)によって評価されてきた。
4ヶ月のデプロイメント(40ユーザ,1,872セッション,7メモリ条件)において,ダイレクトQAの精度がユーザ満足度と相関するかどうかを検討した。
既存のベンチマーク・ダイレクトQAは7つの条件で19.7%から70.1%まで変化しているが、満足度は変わらない。
既存のベンチマークとユーザ満足度は、さまざまな機能をトラッキングしている、と仮定する: ベンチマークは、引き起こされた検索(要求されたときにリコール)を計測するが、会話には、自然な統合(関連性の検出と、事前のコンテキストを応答に自然に織り込む)が必要である。
そこで,本研究では,自然な対話応答を統合認識した判断により,ユーザによる実際のメモリモーメントの集合であるMemUseを紹介した。
モデルとコンテキストの固定を保ちながら、直接QAで78.8%のスコアを付けるのと同じシステムは、会話中の事実の7.9%、すなわち71ポイントのギャップにしか言及していない。
これらの瞬間において、自然統合は満足度と関連づけられるが、直接のQAはそうではない。
デプロイメントコーパスとMemUseは、すべての判断とスコアのプロンプトとともに、https://github.com/ryuichi-sumida/memuse.comでリリースします。
関連論文リスト
- An Auditable Symbolic-RAG-Generative AI Architecture for Goal-Oriented Conversation Orchestration [0.0]
目標指向の会話システムは, 現実的な質問に答え, ビジターが提供する情報を理解し, 厳密なアンケートに陥ることなく, ビジネス目的を推し進めなければならない。
本稿では、ゴール指向検索拡張会話エンジン(GRACE)を中心にしたシンボルRAG生成アーキテクチャを提案する。
命令制約付きビジネス目標コンパイラは、ビジネス意図を不変の目的セット、正規化優先ベクトル、標準質問、初期状態ベクトルに変換する。
論文 参考訳（メタデータ） (2026-09-07T07:48:52Z) - When Users Don't Ask: Benchmarking Context-Driven Memory Retrieval in Conversational Agents [21.60115070942764]
LOCOMO-CONVは、Lo-CoMoから派生したメモリベンチマークで、ダイアログ、暗黙、偽造、合成の4つのスタイルを持つ。
5つの反感的メモリシステムにおいて,検索リコールとエンドツーエンドの応答等性の評価を行った。
論文 参考訳（メタデータ） (2026-09-03T07:24:33Z) - Faithfulness-QA: A Counterfactual Entity Substitution Dataset for Training Context-Faithful RAG Models [13.478990954968316]
Retrieval-Augmented Generationモデルは、検索されたコンテキストではなく、パラメトリックメモリにグラウンドされた回答を生成する。
本稿では,99,094サンプルの大規模データセットであるFithfulness-QAについて紹介する。
論文 参考訳（メタデータ） (2026-04-28T07:21:46Z) - ImplicitMemBench: Measuring Unconscious Behavioral Adaptation in Large Language Models [60.14219417402433]
LLMエージェントの既存のメモリベンチマークは、事実の明示的なリコールを評価するが、意識的な検索なしに、経験が自動的な振る舞いになる暗黙の記憶を見落としている。
IndicitMemBenchは、非宣言的メモリの標準的な認知科学のアカウントから引き出された3つの構造を通して暗黙的メモリを評価する最初の体系的なベンチマークである。
当社の300イテムスイートでは,初動採点を備えたLearning/Priming-Interfere-Testプロトコルを統一しています。
論文 参考訳（メタデータ） (2026-04-09T10:26:32Z) - PERMA: Benchmarking Personalized Memory Agents via Event-Driven Preference and Realistic Task Environments [72.02445514666428]
静的な嗜好リコールを超えてペルマの一貫性を評価するためのベンチマークであるPERMAを紹介する。
PerMAは、複数のセッションとドメインにまたがる時間的に順序付けられたインタラクションイベントと、時間とともに好みに関連するクエリで構成されている。
実験により、関連するインタラクションをリンクすることで、高度なメモリシステムはより正確な好みを抽出し、トークン消費を減らすことができることが示された。
論文 参考訳（メタデータ） (2026-03-24T14:04:11Z) - CIMemories: A Compositional Benchmark for Contextual Integrity of Persistent Memory in LLMs [62.116710797795314]
大規模言語モデル(LLM)は、パーソナライゼーションとタスクパフォーマンスを向上させるために、過去のインタラクションから永続的なメモリを使用することが多い。
タスクコンテキストに基づいて,LLMがメモリからの情報フローを適切に制御するかどうかを評価するベンチマークであるCIMemoriesを提案する。
論文 参考訳（メタデータ） (2025-11-18T21:51:23Z) - Convomem Benchmark: Why Your First 150 Conversations Don't Need RAG [43.50649999164793]
本稿では,75,336組の質問応答対を含む対話型メモリ評価のためのベンチマークを提案する。
対話記憶と検索強化生成の関係について検討する。
論文 参考訳（メタデータ） (2025-11-13T17:25:46Z) - Is the House Ready For Sleeptime? Generating and Evaluating Situational Queries for Embodied Question Answering [48.43453390717167]
本研究では,家庭環境における状況問合せ(S-EQA)による身体的質問回答の課題を提示し,解決する。
以前のEQAの作業とは異なり、状況的クエリでは、エージェントが複数のオブジェクト状態を正しく識別し、回答のために状態に関するコンセンサスに到達する必要がある。
本稿では, LLMの出力をラップして, 独自のコンセンサスクエリとそれに対応するコンセンサスオブジェクト情報を生成する新しいPrompt-Generate-Evaluateスキームを提案する。
論文 参考訳（メタデータ） (2024-05-08T00:45:20Z) - SQUARE: Automatic Question Answering Evaluation using Multiple Positive
and Negative References [73.67707138779245]
SQuArE (Sentence-level QUestion AnsweRing Evaluation) という新しい評価指標を提案する。
文レベルの抽出(回答選択)と生成(GenQA)の両方のQAシステムでSQuArEを評価する。
論文 参考訳（メタデータ） (2023-09-21T16:51:30Z) - Realistic Conversational Question Answering with Answer Selection based
on Calibrated Confidence and Uncertainty Measurement [54.55643652781891]
対話型質問回答モデル(ConvQA)は,会話中に複数回発生した質問文と過去の質問文のペアを用いて質問に回答することを目的としている。
本稿では,会話履歴における不正確な回答を,ConvQAモデルから推定された信頼度と不確実性に基づいてフィルタリングすることを提案する。
我々は2つの標準ConvQAデータセット上で、回答選択に基づくリアルな会話質問回答モデルの有効性を検証する。
論文 参考訳（メタデータ） (2023-02-10T09:42:07Z) - DUAL: Textless Spoken Question Answering with Speech Discrete Unit
Adaptive Learning [66.71308154398176]
SQA (Spken Question Answering) は近年注目され, 目覚ましい進歩を遂げている。
既存のSQA手法は、収集に時間と費用がかかる自動音声認識(ASR)の転写に依存している。
本研究は,未ラベルのデータを事前学習に活用し,SQAダウンストリームタスクによって微調整される離散単位適応学習(DUAL)という,ASR transcript-free SQAフレームワークを提案する。
論文 参考訳（メタデータ） (2022-03-09T17:46:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。