論文の概要: DRBench: A Realistic Benchmark for Enterprise Deep Research

• arxiv url: http://arxiv.org/abs/2510.00172v1
• Date: Tue, 30 Sep 2025 18:47:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.207015
• Title: DRBench: A Realistic Benchmark for Enterprise Deep Research
• Title（参考訳）: DRBench: エンタープライズディープリサーチのための現実的なベンチマーク
• Authors: Amirhossein Abaskohi, Tianyi Chen, Miguel Muñoz-Mármol, Curtis Fox, Amrutha Varshini Ramesh, Étienne Marcotte, Xing Han Lù, Nicolas Chapados, Spandana Gella, Christopher Pal, Alexandre Drouin, Issam H. Laradji,
• Abstract要約: DRBenchは、エンタープライズ環境で複雑でオープンなディープリサーチタスクでAIエージェントを評価するためのベンチマークである。 セールス、サイバーセキュリティ、コンプライアンスなど10のドメインにわたる15のディープリサーチタスクをリリースしています。
• 参考スコア（独自算出の注目度）: 81.49694432639406
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce DRBench, a benchmark for evaluating AI agents on complex, open-ended deep research tasks in enterprise settings. Unlike prior benchmarks that focus on simple questions or web-only queries, DRBench evaluates agents on multi-step queries (for example, ``What changes should we make to our product roadmap to ensure compliance with this standard?") that require identifying supporting facts from both the public web and private company knowledge base. Each task is grounded in realistic user personas and enterprise context, spanning a heterogeneous search space that includes productivity software, cloud file systems, emails, chat conversations, and the open web. Tasks are generated through a carefully designed synthesis pipeline with human-in-the-loop verification, and agents are evaluated on their ability to recall relevant insights, maintain factual accuracy, and produce coherent, well-structured reports. We release 15 deep research tasks across 10 domains, such as Sales, Cybersecurity, and Compliance. We demonstrate the effectiveness of DRBench by evaluating diverse DR agents across open- and closed-source models (such as GPT, Llama, and Qwen) and DR strategies, highlighting their strengths, weaknesses, and the critical path for advancing enterprise deep research. Code is available at https://github.com/ServiceNow/drbench.
• Abstract（参考訳）: DRBenchは、企業環境における複雑でオープンな深層研究タスク上でAIエージェントを評価するためのベンチマークである。 単純な質問やWebのみのクエリにフォーカスする以前のベンチマークとは異なり、DRBenchはマルチステップクエリ(例えば、この標準に準拠するために製品ロードマップにどのような変更を加えるべきか? 各タスクは、生産性ソフトウェア、クラウドファイルシステム、Eメール、チャットチャット、オープンWebを含む異種検索空間にまたがる、現実的なユーザペルソナとエンタープライズコンテキストに基礎を置いている。 タスクは、ヒューマン・イン・ザ・ループの検証を備えた慎重に設計された合成パイプラインを通じて生成され、エージェントは関連する洞察を思い出し、事実の正確性を維持し、一貫性のある、よく構造化されたレポートを生成する能力に基づいて評価される。 セールス、サイバーセキュリティ、コンプライアンスなど10のドメインにわたる15のディープリサーチタスクをリリースしています。 DRBenchの有効性を,オープンソースモデルやクローズドソースモデル(GPT,Llama,Qwenなど)とDR戦略で評価し,その強み,弱点,エンタープライズディープリサーチを進める上で重要な道筋を明らかにすることで実証する。 コードはhttps://github.com/ServiceNow/drbench.comから入手できる。

関連論文リスト

• WebWeaver: Structuring Web-Scale Evidence with Dynamic Outlines for Open-Ended Deep Research [73.58638285105971]
  本稿では,AIエージェントが膨大なWebスケール情報を洞察に富むレポートに合成しなければならない複雑な課題であるtextbfopen-ended Deep Research (OEDR) に取り組む。 人間の研究プロセスをエミュレートする新しいデュアルエージェントフレームワークである textbfWebWeaver を紹介する。 私たちのフレームワークは、DeepResearch Bench、DeepConsult、DeepResearchGymなど、主要なOEDRベンチマークにまたがる最先端の新たなベンチマークを確立しています。
  論文  参考訳（メタデータ） (2025-09-16T17:57:21Z)
• Benchmarking Deep Search over Heterogeneous Enterprise Data [73.55304268238474]
  検索強化生成(RAG)の形式を評価するための新しいベンチマークを提案する。 RAGは、多種多様な、しかし関連するソースに対して、ソースを意識したマルチホップ推論を必要とする。 製品計画、開発、サポートステージをまたいだビジネスをシミュレートする合成データパイプラインを使用して構築します。
  論文  参考訳（メタデータ） (2025-06-29T08:34:59Z)
• Deep Research Agents: A Systematic Examination And Roadmap [109.53237992384872]
  Deep Research (DR) エージェントは複雑な多ターン情報研究タスクに取り組むように設計されている。 本稿では,DRエージェントを構成する基礎技術とアーキテクチャコンポーネントの詳細な分析を行う。
  論文  参考訳（メタデータ） (2025-06-22T16:52:48Z)
• DeepResearch Bench: A Comprehensive Benchmark for Deep Research Agents [30.768405850755602]
  DeepResearch Benchは100のPhDレベルの研究タスクからなるベンチマークである。 ディープリサーチエージェントの評価は本質的に複雑で、労働集約的である。 本稿では,人間の判断に強く適合する2つの新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-06-13T13:17:32Z)
• Towards Human-Level Understanding of Complex Process Engineering Schematics: A Pedagogical, Introspective Multi-Agent Framework for Open-Domain Question Answering [0.0]
  化学・プロセス産業では、プロセス・フロー・ダイアグラム(PFD)とパイプ・アンド・インスツルメンテーション・ダイアグラム(P&ID)が設計、建設、保守に不可欠である。 生成型AIの最近の進歩は、ビジュアル質問回答(VQA)のプロセス図の理解と解釈の約束を示している。 本稿では,階層的かつマルチエージェントなRetrieval Augmented Generation(RAG)フレームワークを用いた,セキュアでオンプレミスなエンタープライズソリューションを提案する。
  論文  参考訳（メタデータ） (2024-08-24T19:34:04Z)
• STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases [93.96463520716759]
  テキストと知識ベースを用いた大規模半構造検索ベンチマークSTARKを開発した。 本ベンチマークでは, 製品検索, 学術論文検索, 精密医療におけるクエリの3分野について検討した。 多様なリレーショナル情報と複雑なテキスト特性を統合した,現実的なユーザクエリを合成する,新しいパイプラインを設計する。
  論文  参考訳（メタデータ） (2024-04-19T22:54:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。