論文の概要: ColaBench: Evaluating Memory-Guided Knowledge Acquisition in Personal Agents
- arxiv url: http://arxiv.org/abs/2610.30989v1
- Date: Thu, 22 Oct 2026 09:34:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.304721
- Title: ColaBench: Evaluating Memory-Guided Knowledge Acquisition in Personal Agents
- Title（参考訳）: ColaBench: 個人エージェントによるメモリガイドによる知識獲得の評価
- Abstract要約: 健康と日常生活の総合ベンチマークであるColaBenchを紹介します。10プロファイルに349のタスクと13,033ドキュメントの知識ベースがあります。
また,MemKBを導入し,クエリやルールアプリケーションに状態の要約を通知し,メモリドキュメントリンクを使ってユーザの履歴に関する知識を検索する。
- 参考スコア（独自算出の注目度）: 28.16941112757708
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Personal agents need to draw on long-term interaction history to retrieve and apply external knowledge suited to a user's current request. Even an answer grounded in relevant documents can be unsuitable when it overlooks the user's circumstances. This creates two connected challenges: using historical conditions to identify the knowledge needed for a new request, and applying that knowledge to the user's situation. Existing benchmarks advance memory recall, personalized retrieval, and memory-guided action, while the joint evaluation of these two challenges remains underexplored. We introduce ColaBench, a synthetic benchmark in health and daily living, with 349 tasks across 10 Profiles and a knowledge base of 13,033 documents. Its Evidence Graph connects personal conditions to their disclosures across public interaction sessions, records prior document exposure, and links answer requirements to personal and newly acquired document evidence. We also introduce MemKB, which uses state summaries to inform queries and rule application, and memory-document links to retrieve knowledge associated with the user's history. MemKB achieves 86.25% Accuracy with an average of 4.07 interaction rounds per task. Task-level analysis finds larger gains on tasks integrating information across multiple historical Facts; error analysis further identifies unsupported personal assumptions and rule misapplication as obstacles to using retrieved evidence. ColaBench provides traceable tasks and an evaluation framework for studying how memory guides knowledge acquisition and rule application.
- Abstract（参考訳）: 個人エージェントは、ユーザの現在の要求に適した外部知識を検索し、適用するために、長期的なインタラクション履歴を描く必要がある。
関連文書に基づいた回答でさえ、ユーザの状況を見落としている場合、不適当である。
これは、履歴条件を使用して新しい要求に必要な知識を特定し、その知識をユーザの状況に適用する、という2つの関連する課題を生み出します。
既存のベンチマークでは、メモリリコール、パーソナライズされた検索、メモリ誘導アクションが進められているが、これらの2つの課題の共同評価は未検討である。
健康と日常生活の総合ベンチマークであるColaBenchを紹介します。10プロファイルに349のタスクと13,033ドキュメントの知識ベースがあります。
そのエビデンスグラフは、公開対話セッションを通じて個人情報を公開し、文書を露出する前に記録し、回答要求を個人的および新たに取得した文書証拠にリンクする。
また,MemKBを導入し,クエリやルールアプリケーションに状態の要約を通知し,メモリドキュメントリンクを使ってユーザの履歴に関する知識を検索する。
MemKBは86.25%の精度で1タスクあたり平均4.07ラウンドのインタラクションを達成している。
タスクレベルの分析では、複数の歴史的事実にまたがる情報を統合するタスクにおいて、より大きな利益が得られている。
ColaBenchは、トレーサブルなタスクと、メモリが知識取得とルールアプリケーションをどのようにガイドするかを研究するための評価フレームワークを提供する。
関連論文リスト
- ProactEgoMem: Benchmarking Proactive Memory in Streaming Egocentric Video [67.97229831293886]
本稿では,ストリーミングエゴセントリックビデオにおけるプロアクティブメモリを評価するベンチマークであるProactEgoMemを紹介する。
ベンチマークではプロトコルを2段階のプロアクティブ性で定義している。
パラレルのProactEgoMem-DailyとProactEgoMem-Sciトラックは、日常および科学的なユースケースをカバーする300/100のクリップを含んでいる。
論文 参考訳（メタデータ） (2026-10-21T17:37:58Z) - Can Agents Keep Secrets They Were Never Told? Benchmarking Latent Privacy Risks Across Sessions with MemJoin [8.173539156655286]
MemJoinは、288の合成分析ケースのプライバシーベンチマークであり、完全な履歴にはセンシティブな関係が伴う。
我々は,6つのメモリシステムと同一の回答生成モデルと,フルヒストリーとノンヒストリー制御を併用して評価した。
論文 参考訳（メタデータ） (2026-10-17T01:20:36Z) - Event-Centric Memory with Query-Aware Graph Augmentation for Long-Term Conversational Agents [51.804747364500344]
本稿では,人間の記憶を動機とした新しいメモリ構築とアクティベーションフレームワークQGMemを提案する。
QGMemは、長い対話履歴を個々の体験を保存するイベントインデックス化された原子記憶ユニットに変換する。
検索,マルチホップエビデンス構成,コンフリクト解決,コンパクトな文脈による超長文対話推論において,一貫した利得を示す。
論文 参考訳（メタデータ） (2026-10-08T13:17:59Z) - Memory Control Signals Emerge Before Action in Long Horizon Agents [55.84813053778976]
各エージェントアクションの直前に隠された状態を調べ、圧縮とリコールの要求がモデルの内部表現にすでにエンコードされていることを確認する。
本研究では,状態誘導圧縮と外部エビデンス検索を組み合わせたPreaction Memory with Evidence Retrieval (PaMER)を提案する。
論文 参考訳（メタデータ） (2026-09-23T03:23:34Z) - PRAGMA: Evaluating Personalized Guidance with Memory Alignment in Lifelong Conversations [21.191446906833303]
大規模言語モデル(LLM)は、長期にわたってユーザと対話するパーソナライズされたアシスタントとして、ますます多くデプロイされている。
会話が長くなるにつれて、完全なインタラクション履歴に依存することが、ますます非効率になり、信頼できなくなる。
本稿では、長期会話におけるパーソナライズされたガイダンスを評価するためのベンチマークであるPRAGMAを紹介する。
論文 参考訳（メタデータ） (2026-09-09T03:31:47Z) - UTILMEM: Benchmarking Evidence Utilization in Long-Term Conversational Memory [32.625416782173204]
メモリ使用率を評価するための診断ベンチマークであるUtilMemを紹介する。
従来のファクトメモリベンチマークの強い性能は、有効メモリ利用に確実に変換されないことが判明した。
これらの知見は,記憶されている情報へのアクセスと有効利用との間に大きなギャップを生じさせ,長期の会話記憶の進歩には,検索妨害に対する証拠統合と堅牢性を明確に支援するアーキテクチャが必要であることを示唆している。
論文 参考訳（メタデータ） (2026-08-31T09:41:26Z) - QUMem: Personalized Memory for Query-Conditioned User-State Inference in LLM Agents [24.465097221083777]
textscQUMemは、クエリ条件付きユーザ状態推論のための構造化メモリフレームワークである。
textscQUMemはPersonaMemとKnowU-Benchの両方で最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2026-08-17T06:34:24Z) - PersonaTrail: Benchmarking Personalized Web Agents through Browsing Trails [42.825314356642956]
PersonaTrailは、管理されたオープンなWeb環境で動作するパーソナライズされたWebエージェントのベンチマークである。
PACMemは、生のブラウジング履歴を2種類の構造化メモリに分解するフレームワークである。
実験の結果、PACMemは両方のタスクで既存のメモリベースベースラインを一貫して上回っていることがわかった。
論文 参考訳（メタデータ） (2026-05-30T13:27:55Z) - FIKA-Bench: From Fine-grained Recognition to Fine-Grained Knowledge Acquisition [54.31138496553705]
日常生活におけるきめ細かい認識は、しばしばクローズドブックの分類問題ではない。
既存のベンチマークは主に視覚的認識を評価しており、このアクティブな外部知識獲得能力は過小評価されている。
そこでは,システムが外部の証拠を探し,検証し,利用し,オープンエンドのきめ細かい認識質問に答えなければならない,きめ細かな知識獲得について検討する。
論文 参考訳（メタデータ） (2026-05-13T08:49:51Z) - SessionIntentBench: A Multi-task Inter-session Intention-shift Modeling Benchmark for E-commerce Customer Behavior Understanding [64.45047674586671]
本稿では,意図木の概念を導入し,データセットキュレーションパイプラインを提案する。
我々は,L(V)LMsのセッション間意図シフト理解能力を評価するマルチモーダルベンチマークSessionIntentBenchを構築した。
1,952,177の意図的エントリ,1,132,145のセッション意図軌跡,および10,905のセッションを使用してマイニングされた13,003,664のタスクにより,既存のセッションデータを活用可能なスケーラブルな方法を提供する。
論文 参考訳（メタデータ） (2025-07-27T09:04:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。