論文の概要: KnowMe-Bench: Benchmarking Person Understanding for Lifelong Digital Companions

• arxiv url: http://arxiv.org/abs/2601.04745v1
• Date: Thu, 08 Jan 2026 09:11:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-09 17:01:53.12872
• Title: KnowMe-Bench: Benchmarking Person Understanding for Lifelong Digital Companions
• Title（参考訳）: KnowMe-Bench: 生涯デジタルコンパニオンのベンチマーク担当者
• Authors: Tingyu Wu, Zhisheng Chen, Ziyan Weng, Shuhe Wang, Chenglong Li, Shuo Zhang, Sen Hu, Silin Wu, Qizhen Lan, Huacan Wang, Ronghao Chen,
• Abstract要約: 我々は、長文の自伝的物語から構築された公開リリース可能なベンチマークであるBenchNameを紹介する。 BenchNameは各物語をフラッシュバック対応のタイムアンコールストリームに再構成し、エビデンスにリンクされた質問でモデルを評価する。
• 参考スコア（独自算出の注目度）: 13.246922338917601
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing long-horizon memory benchmarks mostly use multi-turn dialogues or synthetic user histories, which makes retrieval performance an imperfect proxy for person understanding. We present \BenchName, a publicly releasable benchmark built from long-form autobiographical narratives, where actions, context, and inner thoughts provide dense evidence for inferring stable motivations and decision principles. \BenchName~reconstructs each narrative into a flashback-aware, time-anchored stream and evaluates models with evidence-linked questions spanning factual recall, subjective state attribution, and principle-level reasoning. Across diverse narrative sources, retrieval-augmented systems mainly improve factual accuracy, while errors persist on temporally grounded explanations and higher-level inferences, highlighting the need for memory mechanisms beyond retrieval. Our data is in \href{KnowMeBench}{https://github.com/QuantaAlpha/KnowMeBench}.
• Abstract（参考訳）: 既存の長期メモリベンチマークでは、主にマルチターンダイアログや合成ユーザヒストリーが使われており、検索性能が人間の理解に不完全なプロキシとなる。 我々は,行動,文脈,内的思考が,安定したモチベーションと決定原則を推定するための密集した証拠を提供する,長期の自伝的物語から構築された公開可能なベンチマークである「ベンチName」を提示する。 ベンチName~は、各物語をフラッシュバックを意識したタイムアンコールストリームに再構成し、事実的リコール、主観的状態帰属、原則的推論にまたがるエビデンスにリンクされた疑問を持つモデルを評価する。 多様な物語のソースを通じて、検索強化されたシステムは、主に事実の精度を向上する一方、エラーは時間的根拠のある説明と高レベルの推論に留まり、検索以上のメモリ機構の必要性を強調している。 我々のデータは \href{KnowMeBench}{https://github.com/QuantaAlpha/KnowMeBench} にある。

関連論文リスト

• Memory Matters More: Event-Centric Memory as a Logic Map for Agent Searching and Reasoning [55.251697395358285]
  大規模言語モデル(LLM)は、環境を推論し、計画し、相互作用するインテリジェントエージェントとして、ますます多くデプロイされている。 長期のシナリオに効果的にスケールするには、そのようなエージェントの重要な機能は、過去の経験を保持し、整理し、取り出すことができるメモリメカニズムである。 イベント理論にインスパイアされたイベント中心のメモリフレームワークであるCompassMemを提案する。
  論文  参考訳（メタデータ） (2026-01-08T08:44:07Z)
• Evaluating Long-Term Memory for Long-Context Question Answering [100.1267054069757]
  質問応答タスクにアノテートした合成長文対話のベンチマークであるLoCoMoを用いて,メモリ拡張手法の体系的評価を行う。 以上の結果から,メモリ拡張アプローチによりトークン使用率が90%以上削減され,競争精度が向上した。
  論文  参考訳（メタデータ） (2025-10-27T18:03:50Z)
• KnowMT-Bench: Benchmarking Knowledge-Intensive Long-Form Question Answering in Multi-Turn Dialogues [58.305425399644086]
  MT-LFQA(Multi-Turn Long-Form Question Answering)は、知識集約ドメインにおけるLLM(Large Language Models)の重要な応用パラダイムである。 textbfKnowMT-Benchは、知識集約的な分野にわたるLLMのためのMT-LFQAを体系的に評価するために設計された、テキストファーストなベンチマークである。
  論文  参考訳（メタデータ） (2025-09-26T04:32:29Z)
• MADial-Bench: Towards Real-world Evaluation of Memory-Augmented Dialogue Generation [15.64077949677469]
  メモリ拡張対話システム(MADS)の有効性を評価するための新しいメモリ拡張対話ベンチマーク(MADail-Bench)を提案する。 このベンチマークは2つのタスクを別々に評価する: メモリ検索とメモリ認識は、パッシブとプロアクティブの両方のメモリリコールデータを組み込んだものである。 このベンチマークにおける最先端の埋め込みモデルと大規模言語モデルの結果は、さらなる進歩の可能性を示している。
  論文  参考訳（メタデータ） (2024-09-23T17:38:41Z)
• SOK-Bench: A Situated Video Reasoning Benchmark with Aligned Open-World Knowledge [60.76719375410635]
  44Kの質問と10Kの状況からなる新しいベンチマーク(SOK-Bench)を提案する。 推論プロセスは、位置する知識と問題解決のための一般的な知識を理解し、適用するために必要である。 質問応答ペアと推論プロセスを生成し,最後に品質保証に関する手作業によるレビューを行った。
  論文  参考訳（メタデータ） (2024-05-15T21:55:31Z)
• Evaluating Long-Term Memory in 3D Mazes [10.224858246626171]
  Memory Mazeはエージェントの長期記憶を評価するために設計されたランダム化迷路の3Dドメインである。 既存のベンチマークとは異なり、Memory Mazeはエージェントの能力から切り離された長期的なメモリを測定する。 現在のアルゴリズムは、時間の経過とともに縮小したバックプロパゲーションによるトレーニングの恩恵を受け、小さな迷路で成功するが、大きな迷路での人間のパフォーマンスに欠ける。
  論文  参考訳（メタデータ） (2022-10-24T16:32:28Z)
• Fact-driven Logical Reasoning for Machine Reading Comprehension [82.58857437343974]
  私たちは、常識と一時的な知識のヒントの両方を階層的にカバーする動機があります。 具体的には,文の背骨成分を抽出し,知識単位の一般的な定式化を提案する。 次に、事実単位の上にスーパーグラフを構築し、文レベル(事実群間の関係)と実体レベルの相互作用の利点を享受する。
  論文  参考訳（メタデータ） (2021-05-21T13:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。