論文の概要: WANDR: A Benchmark for Wide and Deep Research

• arxiv url: http://arxiv.org/abs/2608.14747v1
• Date: Fri, 14 Aug 2026 00:18:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.062669
• Title: WANDR: A Benchmark for Wide and Deep Research
• Title（参考訳）: WANDR: 広範かつ深い研究のためのベンチマーク
• Abstract要約: WANDRは、研究エージェントのための500の現実的で挑戦的なデータ収集タスクのベンチマークである。 静的なゴールドの回答セットをタスク固有の判断に置き換え、引用されたページを再フェッチし、証拠に対して各レコードを検証する。 我々は6つの生産研究システムを評価し、ベンチマークが飽和していないことを発見した。
• 参考スコア（独自算出の注目度）: 33.403235904191874
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: WANDR (Wide ANd Deep Research) is a benchmark of 500 realistic, challenging data-collection tasks for research agents. Each task requires a system to discover a large set of entities that satisfy specified criteria (breadth), investigate each entity through multiple coordinated web searches (depth), and return independently verifiable records with supporting sources and excerpts. Tasks are represented as qualification key hierarchies that specify the entities, relationships, evidence, and required count at each level; a hierarchy with n companies, m employees per company, and k sources per employee requires n x m x k records. This structure supports diverse workflows such as market mapping, due diligence, literature review, product comparison, and talent sourcing, with targets ranging from dozens to thousands of records. WANDR replaces static gold answer sets with task-specific judges that refetch cited pages and verify each record against its evidence, allowing evaluation of current and changing facts. Record verdicts are aggregated into soft and hard precision, recall, and F1 scores that distinguish factual quality, coverage, and hierarchical completeness. The tasks are derived from de-identified product-usage logs and produced through a semi-automated pipeline with automated checks, empirical audits, and human review where needed. We evaluate six production research systems and find that the benchmark is far from saturated: at high effort, the strongest system reaches only 0.363 soft F1 and 0.133 hard F1. Performance degrades as target volume and hierarchy depth increase, with incomplete discovery, missing enrichment, and incomplete evidence construction remaining major bottlenecks. The benchmark and evaluation harness are available at https://github.com/perplexityai/wandr.
• Abstract（参考訳）: WANDR(Wide ANd Deep Research)は、500の現実的で挑戦的なデータ収集タスクのベンチマークである。 各タスクは、特定の基準(ブレッドス)を満たすエンティティの集合を発見し、複数のコーディネートされたWebサーチ(深度)を通して各エンティティを調査し、サポートされたソースと抜粋で独立に検証可能なレコードを返す必要がある。 タスクは、各レベルでエンティティ、関係、証拠、必要な数を指定する資格キー階層として表現される。 この構造は、市場マッピング、デューディリジェンス、文献レビュー、製品比較、タレントソーシングといった多様なワークフローをサポートし、ターゲットは数十から数千のレコードである。 WANDRは静的ゴールドの回答セットをタスク固有の判断に置き換え、引用されたページを再フェッチし、それぞれのレコードを証拠に対して検証し、現在の事実と変化する事実を評価する。 記録の評定は、実際の品質、カバレッジ、階層的完全性を区別するソフトでハードな精度、リコール、F1スコアに集約される。 タスクは、未確認の製品使用ログから派生し、必要に応じて自動チェック、実証監査、人間レビューを備えた半自動化パイプラインを通じて生成される。 我々は6つの生産研究システムを評価し、ベンチマークが飽和状態には程遠いことを発見し、高い努力で最強のシステムは0.363軟F1と0.133硬F1にしか達しない。 目標の体積と階層の深さが増加するにつれて性能は低下し、不完全な発見、豊かさの欠如、不完全な証拠構築が大きなボトルネックとして残っている。 ベンチマークと評価ハーネスはhttps://github.com/perplexityai/wandr.orgで公開されている。

関連論文リスト

• From Simple QA to Deep Research: A Verifiable Benchmark Constructed through Iterative Task Evolution [14.763650534859176]
  我々は、31のトピックと10の主要なカテゴリにまたがる500のディープリサーチタスクの検証可能なベンチマークを紹介します。 このベンチマークはExplorer-Formalizer-Challengerパイプラインを使って自動的に構築される。 私たちのデータ、実装、結果は公開されています。
  論文  参考訳（メタデータ） (2026-08-03T12:43:00Z)
• RealDocBench: A Benchmark for Field-Level QA and Layout Understanding on Real-World Regulated Documents [0.9003228139607131]
  文書解析システムは、住宅ローンの引受、財務報告、サプライチェーンのロジスティクス、臨床記録などの規制された領域にますます多く展開されている。 ほとんどの公開ベンチマークは、学術的なレイアウトや合成散文のアダプタを評価し、単一のOCRまたはマークダウンレベルの類似度スコアを報告している。 実際に規制された文書から構築された2トラックのベンチマークであるRealDocBenchを紹介する。
  論文  参考訳（メタデータ） (2026-06-05T15:41:34Z)
• DeepResearchEval: An Automated Framework for Deep Research Task Construction and Agentic Evaluation [56.886936435727854]
  DeepResearchEvalは、ディープリサーチタスク構築とエージェント評価のための自動化フレームワークである。 タスク構築のために,多様なユーザプロファイルに固定された現実的で複雑な研究タスクを生成するペルソナ駆動パイプラインを提案する。 評価には,タスク固有の評価次元,基準,重みを動的に導出する適応的ポイントワイド品質評価と,引用が欠落した場合でもWeb検索によるレポート文の自動抽出と検証を行うアクティブ・ファクト・チェッキングの2つの要素からなるエージェントパイプラインを提案する。
  論文  参考訳（メタデータ） (2026-01-14T18:38:31Z)
• OIDA-QA: A Multimodal Benchmark for Analyzing the Opioid Industry Documents Archive [50.468138755368805]
  オピオイド危機は公衆衛生にとって重要な瞬間である。 UCSF-JHU Opioid Industry Documents Archive(OIDA)に公開されているデータと文書 本稿では,文書属性に応じて元のデータセットを整理することで,この問題に対処する。
  論文  参考訳（メタデータ） (2025-11-13T03:27:32Z)
• DRBench: A Realistic Benchmark for Enterprise Deep Research [81.49694432639406]
  DRBenchは、エンタープライズ環境で複雑でオープンなディープリサーチタスクでAIエージェントを評価するためのベンチマークである。 セールス、サイバーセキュリティ、コンプライアンスなど10のドメインにわたる15のディープリサーチタスクをリリースしています。
  論文  参考訳（メタデータ） (2025-09-30T18:47:20Z)
• MMESGBench: Pioneering Multimodal Understanding and Complex Reasoning Benchmark for ESG Tasks [56.350173737493215]
  環境・社会・ガバナンス(ESG)報告は、持続可能性の実践の評価、規制コンプライアンスの確保、財務透明性の促進に不可欠である。 MMESGBenchは、マルチモーダル理解と複雑な推論を、構造的に多種多様なマルチソースESG文書間で評価するための、最初のベンチマークデータセットである。 MMESGBenchは、45のESG文書から得られた933の検証済みQAペアで構成され、7つの異なるドキュメントタイプと3つの主要なESGソースカテゴリにまたがる。
  論文  参考訳（メタデータ） (2025-07-25T03:58:07Z)
• Benchmarking Deep Search over Heterogeneous Enterprise Data [73.55304268238474]
  検索強化生成(RAG)の形式を評価するための新しいベンチマークを提案する。 RAGは、多種多様な、しかし関連するソースに対して、ソースを意識したマルチホップ推論を必要とする。 製品計画、開発、サポートステージをまたいだビジネスをシミュレートする合成データパイプラインを使用して構築します。
  論文  参考訳（メタデータ） (2025-06-29T08:34:59Z)
• STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases [93.96463520716759]
  テキストと知識ベースを用いた大規模半構造検索ベンチマークSTARKを開発した。 本ベンチマークでは, 製品検索, 学術論文検索, 精密医療におけるクエリの3分野について検討した。 多様なリレーショナル情報と複雑なテキスト特性を統合した,現実的なユーザクエリを合成する,新しいパイプラインを設計する。
  論文  参考訳（メタデータ） (2024-04-19T22:54:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。