論文の概要: One Assistant, Many Memories: Benchmarking Real-World Group Assistance When Recall Is Not Enough
- arxiv url: http://arxiv.org/abs/2611.04867v1
- Date: Tue, 03 Nov 2026 13:23:37 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-04 17:30:41.42623
- Title: One Assistant, Many Memories: Benchmarking Real-World Group Assistance When Recall Is Not Enough
- Title（参考訳）: 1つのアシスタントと多くの思い出:リコールが不十分な場合、実世界のグループ支援をベンチマークする
- Abstract要約: GroupAssistBenchは、デプロイされたグループアシスタントとの実際のグループ会話からの最初のメモリベンチマークである。
単一の、分散された、競合するメモリにまたがる固定された回答なしで、参照応答とメモリ使用によるメモリリコールを評価する。
- 参考スコア（独自算出の注目度）: 47.25944259745993
- License:
- Abstract: The value of memory lies not only in recall but in using it to provide appropriate assistance. Recent benchmarks test memory use in personalisation and agentic tasks, but seldom evaluate assistance without fixed answers or integration across multiple participants. Group chats make both challenges more acute: an assistant must integrate information from multiple members, track revisions and conflicts over time, and produce one response for the group. Yet existing group memory benchmarks rely on synthetic conversations and inherit constrained evaluation from general memory benchmarks, focusing on recall against fixed answers or decisions over a closed set. We introduce GroupAssistBench, the first memory benchmark from real-world group conversations with a deployed group assistant, covering 80,299 messages in 50 groups and costing over $53K. Over the same histories, GroupAssistBench evaluates memory recall (L1) with reference answers and memory use (L2) with service requests without fixed answers across single, distributed, and conflicting memories (M1--M3). Requests are verified to require group history, memories are anchored to their sources, and L2 uses tailored rubrics with penalties derived from real user feedback. Across evaluations of frontier models with full context, retrieval methods, and memory systems, the strongest memory system rivals full context on recall but falls far behind on use, especially for distributed and conflicting memories. Together, two additions that relate retrieved memories and bind remembered facts as response constraints bring consistent gains, showing that group memory systems must improve use, not recall alone.
- Abstract（参考訳）: メモリの価値は、リコールだけでなく、適切なアシストを提供するためにそれを使うことにあります。
最近のベンチマークでは、パーソナライズとエージェントタスクにおけるメモリ使用をテストするが、固定された回答や複数の参加者による統合なしにアシストを評価することはめったにない。
グループチャットは、両方の課題をより速くする: アシスタントは複数のメンバーからの情報を統合し、時間とともにリビジョンとコンフリクトを追跡し、グループに対して1つのレスポンスを生成する必要がある。
しかし、既存のグループメモリベンチマークは合成会話に依存し、一般的なメモリベンチマークからの制約付き評価を継承し、クローズドセット上の固定された回答や決定に対するリコールに重点を置いている。
GroupAssistBenchは、デプロイされたグループアシスタントとの実際のグループ会話からの最初のメモリベンチマークであり、50グループで80,299のメッセージをカバーし、5,300ドル以上のコストがかかる。
同じ履歴において、GroupAssistBenchは、参照された回答とメモリ使用(L2)でメモリリコール(L1)を評価し、単一の、分散された、競合するメモリ(M1-M3)で固定された回答なしでサービス要求を行う。
リクエストはグループ履歴を要求され、メモリはソースに固定され、L2は実際のユーザからのフィードバックから得られる罰則で調整されたルーリックを使用する。
フルコンテキスト、検索方法、メモリシステムを備えたフロンティアモデルの評価全般において、最強のメモリシステムはリコール時のフルコンテキストと競合するが、特に分散メモリと競合するメモリでは、使用が遅れている。
同時に、検索したメモリに関連する2つの追加と、応答制約が一貫したゲインをもたらすように記憶された事実をバインドする。
関連論文リスト
- Recall Begets Recall: Recurrent Memory Ranking for Personalized LLMs [57.42635971273594]
本稿では,リカレントかつ自己終端ループとして動作するメモリローカであるReMindを提案する。
複合キューのために、ReMindはクエリコンテキストにトップランクのメモリを追加します。
メタメモリ監視では、収集したメモリがクエリに応答するのに十分かどうかを各ステップで予測する。
論文 参考訳（メタデータ） (2026-10-12T03:53:47Z) - Event-Centric Memory with Query-Aware Graph Augmentation for Long-Term Conversational Agents [51.804747364500344]
本稿では,人間の記憶を動機とした新しいメモリ構築とアクティベーションフレームワークQGMemを提案する。
QGMemは、長い対話履歴を個々の体験を保存するイベントインデックス化された原子記憶ユニットに変換する。
検索,マルチホップエビデンス構成,コンフリクト解決,コンパクトな文脈による超長文対話推論において,一貫した利得を示す。
論文 参考訳（メタデータ） (2026-10-08T13:17:59Z) - Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents [72.3752981234916]
大きな言語モデル(LLM)エージェントは、タスク間の経験を蓄積するために、外部メモリシステムに依存している。
メモリ操作をマルコフ決定プロセスとしてモデル化するフレームワークである制御プロセス(MemCon)としてメモリを提示する。
MemConは、複数のメモリベースラインのタスク成功率を最大15.2ポイント上回り、トークン消費量を5-20%削減している。
論文 参考訳（メタデータ） (2026-07-15T08:32:40Z) - MemGuard: Preventing Memory Contamination in Long-Term Memory-Augmented Large Language Models [56.31411457917676]
本稿では,メモリ構築と検索において,機能的メモリ境界を保存するタイプアウェアメモリフレームワークであるMemGuardを紹介する。
幻覚と長期会話のベンチマーク全体で、MemGuardはメモリの信頼性を最大28.27%向上し、メモリトークンは以前の方法より5.8倍少ない。
論文 参考訳（メタデータ） (2026-05-27T06:04:19Z) - GroupMemBench: Benchmarking LLM Agent Memory in Multi-Party Conversations [25.703133924514884]
大規模言語モデル(LLM)エージェントは、ますますパーソナルアシスタントや職場の協力者として機能している。
既存のメモリシステムとベンチマークは、Dyadicのシングルユーザ設定を中心に構築されている。
グループメモリの3つの特性を公開するベンチマークであるGroupMemBenchを紹介する。
論文 参考訳（メタデータ） (2026-05-14T07:38:29Z) - MemoryArena: Benchmarking Agent Memory in Interdependent Multi-Session Agentic Tasks [55.145729491377374]
メモリを持つエージェントの既存の評価は、通常、単独で記憶と行動を評価する。
マルチセッションメモリ-エージェント環境ループにおけるエージェントメモリのベンチマークのための統合評価ジムであるMemoryArenaを紹介する。
MemoryArenaは、Webナビゲーション、優先制約付き計画、プログレッシブ情報検索、シーケンシャルなフォーマルな推論を含む評価をサポートする。
論文 参考訳（メタデータ） (2026-02-18T09:49:14Z) - EverMemBench: Benchmarking Long-Term Interactive Memory in Large Language Models [16.865998112859604]
EverMemBenchは、100万以上のトークンにまたがる多人数のマルチグループ会話を特徴とするベンチマークである。
EverMemBenchは、1000以上のQAペアを通じて3次元にわたるメモリシステムを評価する。
論文 参考訳（メタデータ） (2026-02-01T16:13:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。