論文の概要: From Simple QA to Deep Research: A Verifiable Benchmark Constructed through Iterative Task Evolution
- arxiv url: http://arxiv.org/abs/2608.02163v1
- Date: Mon, 03 Aug 2026 12:43:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.568002
- Title: From Simple QA to Deep Research: A Verifiable Benchmark Constructed through Iterative Task Evolution
- Title（参考訳）: 単純なQAから深い研究へ:反復的なタスク進化を通して構築された検証可能なベンチマーク
- Abstract要約: 我々は、31のトピックと10の主要なカテゴリにまたがる500のディープリサーチタスクの検証可能なベンチマークを紹介します。
このベンチマークはExplorer-Formalizer-Challengerパイプラインを使って自動的に構築される。
私たちのデータ、実装、結果は公開されています。
- 参考スコア（独自算出の注目度）: 14.763650534859176
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep research benchmarks require expert-level tasks and reliable evaluation grounded in task-specific knowledge. Existing benchmarks rely heavily on expert authoring or pre-existing human-authored materials, while fully automatic construction struggles to ensure consistent and traceable verification. To address this gap, we introduce a verifiable benchmark of 500 deep research tasks spanning 31 topics and 10 major categories, with three query forms designed to probe complementary capabilities required for deep research. The benchmark is constructed automatically using an iterative Explorer-Formalizer-Challenger pipeline that progressively transforms simple questions into deep research tasks. Each task is represented as a directed acyclic graph (DAG) of atomic steps and associated checkpoints, enabling the query, DAG, and rubrics to evolve together in a controlled manner. Experiments demonstrate that the benchmark clearly discriminates among models and query types, while its fact-grounded pointwise rubrics enable fine-grained, human-aligned, and stable evaluation. Our data, implementation, and results are publicly available.
- Abstract（参考訳）: ディープリサーチベンチマークは、専門家レベルのタスクとタスク固有の知識に基づく信頼性の高い評価を必要とする。
既存のベンチマークは、専門家のオーサリングや既存の人為的な素材に大きく依存しているが、完全な自動構築は、一貫性とトレーサブルな検証を保証するのに苦労している。
このギャップに対処するために、31のトピックと10の主要なカテゴリにまたがる500のディープリサーチタスクの検証可能なベンチマークを導入し、ディープリサーチに必要な補完機能を調べるために3つのクエリフォームを設計した。
このベンチマークはExplorer-Formalizer-Challengerパイプラインを使って自動的に構築される。
各タスクは、アトミックステップと関連するチェックポイントの有向非巡回グラフ(DAG)として表現され、クエリ、DAG、ルーブリックを制御された方法で一緒に進化させることができる。
実験により、このベンチマークは明らかにモデルとクエリータイプを区別するが、事実に基づくポイントワイドルーブリックは、きめ細かな、人間に沿った、安定した評価を可能にする。
私たちのデータ、実装、結果は公開されています。
関連論文リスト
- Learning to Evaluate Before Improving: Automatic Rubric Induction for Automatic Research Agents [16.43230671992556]
AutoSciRubは評価ファーストのフレームワークで、研究実行前にタスク固有の実行ファイルを誘導する。
AutoSciRubは、未特定の命令を原子科学的目標に分解し、関連する文献やタスク可視データに基礎を置いて、特定の、実行可能な、検証可能な基準を合成する。
改訂期間中、ルーブリック誘導検証は未測定の基準を特定し、研究報告の目的の精査を可能にする。
論文 参考訳（メタデータ） (2026-08-31T16:48:51Z) - AutoResearchBench: Benchmarking AI Agents on Complex Scientific Literature Discovery [55.70879973230979]
AutoResearchBenchは、自律的な科学文献発見のためのベンチマークである。
エージェントWebブラウジングに関する以前のベンチマークと比較すると、AutoResearchBenchは研究指向である。
最も強力なLCMでさえ、BrowseCompのような一般的なエージェントによるWebブラウジングベンチマークをほとんど征服したにもかかわらず、Deep Researchでは9.39%、Wide Researchでは9.31%の精度しか達成していない。
論文 参考訳（メタデータ） (2026-04-28T06:05:17Z) - Marco DeepResearch: Unlocking Efficient Deep Research Agents via Verification-Centric Design [39.31356016375221]
Marco DeepResearchは、検証中心のフレームワーク設計を3段階に最適化したディープリサーチエージェントである。
本稿では,質問の難易度を制御するために,グラフベースおよびエージェントベースQA合成に検証機構を導入する。
実験軌道に明示的な検証パターンを注入する検証駆動合成軌道法を設計する。
Marco DeepResearch自体を推論時に検証として使用し、課題に対するパフォーマンスを効果的に向上する。
論文 参考訳（メタデータ） (2026-03-30T12:42:02Z) - GISA: A Benchmark for General Information-Seeking Assistant [102.30831921333755]
GISAは汎用情報検索アシスタントのベンチマークであり、373の人為的なクエリで構成されている。
深い推論と広範囲な情報集約を統合タスクに統合し、暗記に抵抗するために定期的に更新された回答を含むライブサブセットを含む。
主要なLCMと商用検索製品の実験では、最高のパフォーマンスモデルでさえ19.30%の正確なマッチスコアしか達成していないことが示されている。
論文 参考訳（メタデータ） (2026-02-09T11:44:15Z) - DeepSearchQA: Bridging the Comprehensiveness Gap for Deep Research Agents [10.197402632091551]
DeepSearchQAは、難しい多段階情報検索タスクのエージェントを評価する900プロンプトのベンチマークである。
このデータセットは、エージェントが複雑な検索計画を実行し、完全な回答リストを生成する能力を評価するように設計されている。
論文 参考訳（メタデータ） (2026-01-28T19:20:47Z) - SAGE: Steerable Agentic Data Generation for Deep Search with Execution Feedback [68.60326181052658]
本稿では,高品質で難易度の高い探索問合せを自動生成するエージェントパイプラインを提案する。
我々のパイプラインであるSAGEは、QAペアを提案するデータジェネレータと、生成された質問を解決するための検索エージェントで構成される。
我々の本質的な評価は、SAGEが様々な推論戦略を必要とする質問を生成する一方で、生成したデータの正確性や難易度を著しく高めていることを示している。
論文 参考訳（メタデータ） (2026-01-26T06:37:56Z) - DeepResearchEval: An Automated Framework for Deep Research Task Construction and Agentic Evaluation [56.886936435727854]
DeepResearchEvalは、ディープリサーチタスク構築とエージェント評価のための自動化フレームワークである。
タスク構築のために,多様なユーザプロファイルに固定された現実的で複雑な研究タスクを生成するペルソナ駆動パイプラインを提案する。
評価には,タスク固有の評価次元,基準,重みを動的に導出する適応的ポイントワイド品質評価と,引用が欠落した場合でもWeb検索によるレポート文の自動抽出と検証を行うアクティブ・ファクト・チェッキングの2つの要素からなるエージェントパイプラインを提案する。
論文 参考訳（メタデータ） (2026-01-14T18:38:31Z) - Towards Personalized Deep Research: Benchmarks and Evaluations [56.581105664044436]
我々は、Deep Research Agents(DRA)におけるパーソナライズ評価のための最初のベンチマークであるPersonalized Deep Research Benchを紹介する。
さまざまな研究タスク50と、構造化されたペルソナ属性と動的現実世界のコンテキストを組み合わせた25のユーザプロファイルを組み合わせ、250のリアルなユーザタスククエリを生成する。
さまざまなシステムの実験は、パーソナライズされたディープリサーチを扱う際の現在の能力と限界を強調します。
論文 参考訳（メタデータ） (2025-09-29T17:39:17Z) - Benchmarking Deep Search over Heterogeneous Enterprise Data [73.55304268238474]
検索強化生成(RAG)の形式を評価するための新しいベンチマークを提案する。
RAGは、多種多様な、しかし関連するソースに対して、ソースを意識したマルチホップ推論を必要とする。
製品計画、開発、サポートステージをまたいだビジネスをシミュレートする合成データパイプラインを使用して構築します。
論文 参考訳（メタデータ） (2025-06-29T08:34:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。