論文の概要: Total Recall QA: A Verifiable Evaluation Suite for Deep Research Agents

• arxiv url: http://arxiv.org/abs/2603.18516v1
• Date: Thu, 19 Mar 2026 05:58:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:05.976371
• Title: Total Recall QA: A Verifiable Evaluation Suite for Deep Research Agents
• Title（参考訳）: ディープリサーチエージェントのための検証可能な評価スイートTotal Recall QA
• Authors: Mahta Rafiee, Heydar Soudani, Zahra Abbasiantaeb, Mohammad Aliannejadi, Faegheh Hasibi, Hamed Zamani,
• Abstract要約: 本稿では,ディープリサーチエージェントを評価するための要件リストとオプション特性について述べる。 我々は Wikidata-Wikipedia を実世界の情報源として構築したディープリサーチベンチマーク TRQA を構築した。
• 参考スコア（独自算出の注目度）: 46.528475077428745
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep research agents have emerged as LLM-based systems designed to perform multi-step information seeking and reasoning over large, open-domain sources to answer complex questions by synthesizing information from multiple information sources. Given the complexity of the task and despite various recent efforts, evaluation of deep research agents remains fundamentally challenging. This paper identifies a list of requirements and optional properties for evaluating deep research agents. We observe that existing benchmarks do not satisfy all identified requirements. Inspired by prior research on TREC Total Recall Tracks, we introduce the task of Total Recall Question Answering and develop a framework for deep research agents evaluation that satisfies the identified criteria. Our framework constructs single-answer, total recall queries with precise evaluation and relevance judgments derived from a structured knowledge base paired with a text corpus, enabling large-scale data construction. Using this framework, we build TRQA, a deep research benchmark constructed from Wikidata-Wikipedia as a real-world source and a synthetically generated e-commerce knowledge base and corpus to mitigate the effects of data contamination. We benchmark the collection with representative retriever and deep research models and establish baseline retrieval and end-to-end results for future comparative evaluation.
• Abstract（参考訳）: ディープリサーチエージェントは、複数の情報ソースから情報を合成して複雑な質問に答えるために、大規模なオープンドメインソースに対して多段階の情報検索と推論を行うように設計されたLLMベースのシステムとして登場した。 タスクの複雑さを考慮し、近年の取り組みにもかかわらず、ディープリサーチエージェントの評価は基本的に困難である。 本稿では,ディープリサーチエージェントを評価するための要件リストとオプション特性について述べる。 既存のベンチマークがすべての要求を満たすわけではないことを観察する。 TRECトータルリコールトラッカーの先行研究に触発されて、トータルリコール質問回答のタスクを導入し、特定基準を満たすディープリサーチエージェント評価のためのフレームワークを開発する。 本フレームワークは,テキストコーパスと組み合わせた構造化知識ベースから得られた,高精度な評価と関連性判定を併用した,単一問合せの総リコールクエリを構築し,大規模データ構築を可能にする。 このフレームワークを用いて,Wikidata-Wikipediaを実世界の情報源として構築した深層調査ベンチマークTRQAと,データ汚染の影響を軽減するための合成電子商取引知識ベースとコーパスを構築した。 本稿では,提案収集を代表的検索モデルと深層研究モデルでベンチマークし,ベースライン検索とエンド・ツー・エンドの結果を将来の比較評価のために確立する。

関連論文リスト

• GISA: A Benchmark for General Information-Seeking Assistant [102.30831921333755]
  GISAは汎用情報検索アシスタントのベンチマークであり、373の人為的なクエリで構成されている。 深い推論と広範囲な情報集約を統合タスクに統合し、暗記に抵抗するために定期的に更新された回答を含むライブサブセットを含む。 主要なLCMと商用検索製品の実験では、最高のパフォーマンスモデルでさえ19.30%の正確なマッチスコアしか達成していないことが示されている。
  論文  参考訳（メタデータ） (2026-02-09T11:44:15Z)
• Understanding DeepResearch via Reports [41.60038455664918]
  DeepResearchは、高度な推論とマルチツール統合を通じて専門家レベルの研究を行う、変革的なAIパラダイムである。 これらのシステムを評価することは、オープンな研究シナリオと、独立した機能に焦点を当てた既存のベンチマークのため、依然として極めて難しい。 DeepResearch-ReportEvalは、DeepResearchシステムを最も代表的なアウトプットで評価するための総合的なフレームワークである。
  論文  参考訳（メタデータ） (2025-10-09T07:03:43Z)
• DeepResearch Bench: A Comprehensive Benchmark for Deep Research Agents [30.768405850755602]
  DeepResearch Benchは100のPhDレベルの研究タスクからなるベンチマークである。 ディープリサーチエージェントの評価は本質的に複雑で、労働集約的である。 本稿では,人間の判断に強く適合する2つの新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-06-13T13:17:32Z)
• STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases [93.96463520716759]
  テキストと知識ベースを用いた大規模半構造検索ベンチマークSTARKを開発した。 本ベンチマークでは, 製品検索, 学術論文検索, 精密医療におけるクエリの3分野について検討した。 多様なリレーショナル情報と複雑なテキスト特性を統合した,現実的なユーザクエリを合成する,新しいパイプラインを設計する。
  論文  参考訳（メタデータ） (2024-04-19T22:54:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。