論文の概要: LifeSearch: Benchmarking Deep Research Agents for Real-World Life and Productivity

• arxiv url: http://arxiv.org/abs/2610.18092v1
• Date: Tue, 13 Oct 2026 10:12:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.587867
• Title: LifeSearch: Benchmarking Deep Research Agents for Real-World Life and Productivity
• Title（参考訳）: LifeSearch: 現実世界の生活と生産性のためのディープリサーチエージェントのベンチマーク
• Abstract要約: 既存のベンチマークは主に学術研究や合成タスクに焦点を当てている。 LifeSearchは、中国語と英語の203のタスクからなる、挑戦的なベンチマークである。 人間のアノテーションが4500時間以上あるので、4000以上の専門家が書いたきめ細かなルーリックを構築します。
• 参考スコア（独自算出の注目度）: 11.595131070066891
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep research (DR) agents address open-ended information needs through multi-step reasoning, long-horizon web search, and evidence synthesis. However, existing benchmarks primarily focus on academic research or synthetic tasks, leaving DR agents' capabilities in real-world life and professional productivity settings insufficiently evaluated. To bridge this gap, we introduce LifeSearch, a challenging benchmark comprising 203 Chinese and English tasks derived from real-user query seeds across 7 concrete life and productivity domains. With more than 4,500 hours of human annotation, we construct over 4,000 expert-written, fine-grained rubrics, covering both report-content criteria for coverage and accuracy and concrete criteria specifying values, units, dates, and URLs. We conduct extensive experiments on 12 advanced DR agents under a unified evaluation harness, systematically analyzing their performance patterns and failure modes. We find that even the best-performing frontier agent, GPT-5.6 Sol, achieves a score of only 63.4%, leaving substantial room for improvement on realistic life and professional DR tasks. We select the grading configuration by comparing candidate LLM judges against human rubric labels, and a human ranking study shows strong alignment between aggregate benchmark scores and human judgments (Spearman's $ρ= 0.89$, Kendall's $τ= 0.81$). LifeSearch provides a rigorous evaluation framework and foundation for advancing DR agents toward real-world life and productivity.
• Abstract（参考訳）: ディープリサーチ(DR)エージェントは、多段階の推論、長期のWeb検索、エビデンス合成を通じて、オープンな情報要求に対処する。 しかし、既存のベンチマークは主に学術研究や合成タスクに重点を置いており、DRエージェントの実際の生活における能力とプロの生産性設定が不十分に評価されている。 このギャップを埋めるために、私たちは7つの具体的な生活と生産性ドメインにまたがる実際のユーザクエリシードから203の中国語と英語のタスクからなる挑戦的なベンチマークであるLifeSearchを紹介します。 4500時間以上の人的アノテーションを用いて、4000以上の専門家による詳細なルーリックを構築し、カバレッジと正確性に関するレポート内容の基準と、値、単位、日付、URLを指定する具体的な基準の両方をカバーしています。 我々は,12種類の高度なDRエージェントを統一評価手法で広範囲に実験し,その性能パターンと故障モードを体系的に解析した。 最も優れたフロンティアエージェントであるGPT-5.6 Solでさえ、63.4%のスコアしか得られず、現実的な生活と専門的なDRタスクを改善する余地を残している。 本研究では,人間のラベルとLLMの候補を比較検討し,評価基準のスコアと人的判断の相関性を示す(Spearman's $ρ= 0.89$,Kendall's $τ= 0.81$)。 LifeSearchは、DRエージェントを現実世界の生活と生産性に向けて前進させるための厳格な評価フレームワークと基盤を提供する。

関連論文リスト

• Search More, Think Less: Rethinking Long-Horizon Agentic Search for Efficiency and Generalization [64.61432234404276]
  emphSearch More, Think Less (SMTL) は、効率性と一般化の両方をターゲットとした長期エージェント検索のためのフレームワークである。 我々は、教師付き微調整と強化学習を用いてエンドツーエンドエージェントを訓練し、ベンチマーク全体にわたって、強固で頻繁なパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-02-26T06:46:41Z)
• DeepResearch Bench II: Diagnosing Deep Research Agents via Rubrics from Expert Report [36.25273583677749]
  我々は、ディープリサーチシステムを評価するための新しいベンチマークであるDeep Research Bench IIを紹介する。 各タスクに対して、システムは9430個の微細なバイナリルーブリックによって評価される長期の研究レポートを生成する必要がある。 我々は、Deep Research Bench IIにおける最先端のディープリサーチシステムを評価し、最強のモデルでさえ、ルーリックの50%以下を満たすことを発見した。
  論文  参考訳（メタデータ） (2026-01-13T13:18:39Z)
• ResearchRubrics: A Benchmark of Prompts and Rubrics For Evaluating Deep Research Agents [11.666923792025313]
  Deep Research(DR)は、大規模言語モデルを活用して、オープンなクエリに対処する新興エージェントアプリケーションである。 我々はResearchRubricsを紹介します。これは2,800時間以上の人的労働時間で構築されたDRの標準ベンチマークです。 また,DRタスクを3つの軸(概念的幅,論理的ネスト,探索)に沿って分類する,新たな複雑性フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-10T23:07:14Z)
• LiveResearchBench: A Live Benchmark for User-Centric Deep Research in the Wild [86.6586720134927]
  LiveResearchBenchは、日々の生活、企業、アカデミックにまたがる100の専門家によるタスクのベンチマークである。 DeepEvalは、コンテンツレベルの品質とレポートレベルの品質の両方をカバーする包括的なスイートである。 我々の分析は、信頼性と洞察に富んだ深い研究を進めるために必要な、現在の強み、繰り返し発生する障害モード、および重要なシステムコンポーネントを明らかにします。
  論文  参考訳（メタデータ） (2025-10-16T02:49:16Z)
• DRBench: A Realistic Benchmark for Enterprise Deep Research [81.49694432639406]
  DRBenchは、エンタープライズ環境で複雑でオープンなディープリサーチタスクでAIエージェントを評価するためのベンチマークである。 セールス、サイバーセキュリティ、コンプライアンスなど10のドメインにわたる15のディープリサーチタスクをリリースしています。
  論文  参考訳（メタデータ） (2025-09-30T18:47:20Z)
• Towards Personalized Deep Research: Benchmarks and Evaluations [56.581105664044436]
  我々は、Deep Research Agents(DRA)におけるパーソナライズ評価のための最初のベンチマークであるPersonalized Deep Research Benchを紹介する。 さまざまな研究タスク50と、構造化されたペルソナ属性と動的現実世界のコンテキストを組み合わせた25のユーザプロファイルを組み合わせ、250のリアルなユーザタスククエリを生成する。 さまざまなシステムの実験は、パーソナライズされたディープリサーチを扱う際の現在の能力と限界を強調します。
  論文  参考訳（メタデータ） (2025-09-29T17:39:17Z)
• Benchmarking Deep Search over Heterogeneous Enterprise Data [73.55304268238474]
  検索強化生成(RAG)の形式を評価するための新しいベンチマークを提案する。 RAGは、多種多様な、しかし関連するソースに対して、ソースを意識したマルチホップ推論を必要とする。 製品計画、開発、サポートステージをまたいだビジネスをシミュレートする合成データパイプラインを使用して構築します。
  論文  参考訳（メタデータ） (2025-06-29T08:34:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。