論文の概要: Improving and Evaluating Open Deep Research Agents

• arxiv url: http://arxiv.org/abs/2508.10152v1
• Date: Wed, 13 Aug 2025 19:32:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-15 22:24:48.098818
• Title: Improving and Evaluating Open Deep Research Agents
• Title（参考訳）: オープンディープリサーチエージェントの改良と評価
• Abstract要約: 私たちは、ユーザーから自然言語のプロンプトを受け取り、そのプロンプトに対処するためにインターネットベースのコンテンツを自律的に検索し、活用できるシステムであるDeep Research Agents(DRA)に注目します。 最近のDRAは、公開ベンチマークで印象的な機能を示しているが、最近の研究は、主にプロプライエタリなクローズドソースシステムを含んでいる。
• 参考スコア（独自算出の注目度）: 2.66269503676104
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We focus here on Deep Research Agents (DRAs), which are systems that can take a natural language prompt from a user, and then autonomously search for, and utilize, internet-based content to address the prompt. Recent DRAs have demonstrated impressive capabilities on public benchmarks however, recent research largely involves proprietary closed-source systems. At the time of this work, we only found one open-source DRA, termed Open Deep Research (ODR). In this work we adapt the challenging recent BrowseComp benchmark to compare ODR to existing proprietary systems. We propose BrowseComp-Small (BC-Small), comprising a subset of BrowseComp, as a more computationally-tractable DRA benchmark for academic labs. We benchmark ODR and two other proprietary systems on BC-Small: one system from Anthropic and one system from Google. We find that all three systems achieve 0% accuracy on the test set of 60 questions. We introduce three strategic improvements to ODR, resulting in the ODR+ model, which achieves a state-of-the-art 10% success rate on BC-Small among both closed-source and open-source systems. We report ablation studies indicating that all three of our improvements contributed to the success of ODR+.
• Abstract（参考訳）: 私たちは、ユーザーから自然言語のプロンプトを受け取り、そのプロンプトに対処するためにインターネットベースのコンテンツを自律的に検索し、活用できるシステムであるDeep Research Agents(DRA)に注目します。 最近のDRAは、公開ベンチマークで印象的な機能を示しているが、最近の研究は、主にプロプライエタリなクローズドソースシステムを含んでいる。 この研究の時点では、Open Deep Research (ODR)と呼ばれるオープンソースのDRAが1つしか見つからなかった。 この作業では、最新のBrowseCompベンチマークを適用して、ODRと既存のプロプライエタリシステムを比較します。 我々は,BrowseCompのサブセットであるBrowseComp-Small(BC-Small)を,より計算的に抽出可能なDRAベンチマークとして提案する。 我々は、ODRとBC-Smallの他の2つのプロプライエタリなシステムをベンチマークし、Arthropicの1つのシステムとGoogleの1つのシステムを比較した。 3つのシステムすべてが60の質問からなるテストセットで0%の精度を実現していることがわかった。 我々はODRに3つの戦略的改善を導入し、ODR+モデルにより、BC-Smallのクローズドソースシステムとオープンソースシステムの両方において、最先端の10%の成功率を達成する。 以上の結果から,3つの改善がODR+の成功に寄与したことが示唆された。

関連論文リスト

• DuMate-DeepResearch: An Auditable Multi-Agent System with Recursive Search and Rubric-Grounded Reasoning [58.09293442211248]
  Deep Research(DR)は、複雑でオープンな研究課題に取り組むための新しいエージェントパラダイムとして登場した。 本稿では,Qianfan Agent Foundry上に構築されたマルチエージェントDRフレームワークであるDuMate-DeepResearchを紹介する。
  論文  参考訳（メタデータ） (2026-06-05T14:10:48Z)
• BIT.UA-AAUBS at ArchEHR-QA 2026: Evaluating Open-Source and Proprietary LLMs via Prompting in Low-Resource QA [65.22695574492265]
  本稿では,ArchEHR-QA 2026共有タスクにおけるBIT.UAグループとAAUBSグループの共同参加について述べる。 トレーニングデータがないことと、医療領域に固有の厳格なデータプライバシー制約があるため、重み付けをせずにLLM(Large Language Models)の能力を調査する。 我々は、いくつかの最先端のプロプライエタリモデルと、様々な迅速なエンジニアリング戦略を用いて、ローカルにデプロイ可能なオープンソース代替品を評価した。 我々の結果は、プロプライエタリなモデルは変化を促す強力なレジリエンスを示す一方で、ドメイン適応型オープンソースモデル(MedGemma 3 27Bなど)は高い競争力を発揮することを示した。
  論文  参考訳（メタデータ） (2026-05-05T10:43:56Z)
• AutoResearchBench: Benchmarking AI Agents on Complex Scientific Literature Discovery [55.70879973230979]
  AutoResearchBenchは、自律的な科学文献発見のためのベンチマークである。 エージェントWebブラウジングに関する以前のベンチマークと比較すると、AutoResearchBenchは研究指向である。 最も強力なLCMでさえ、BrowseCompのような一般的なエージェントによるWebブラウジングベンチマークをほとんど征服したにもかかわらず、Deep Researchでは9.39%、Wide Researchでは9.31%の精度しか達成していない。
  論文  参考訳（メタデータ） (2026-04-28T06:05:17Z)
• Step-DeepResearch Technical Report [90.50586290399683]
  コスト効率のよいエンドツーエンドエージェントである Step-DeepResearch を紹介する。 我々は、計画とレポート作成を強化するために、アトミック能力に基づくデータ合成戦略を提案する。 中国における評価ギャップを埋めるため,現実的な深層研究シナリオのためのADR-Benchを構築した。
  論文  参考訳（メタデータ） (2025-12-23T16:32:27Z)
• Let the Barbarians In: How AI Can Accelerate Systems Performance Research [80.43506848683633]
  我々は、この繰り返しサイクルを、AI駆動システム研究の生成、評価、洗練のサイクルと呼ぶ。 我々はADRSが生成するソリューションが人間の最先端の設計に適合し、さらに優れることを示した。
  論文  参考訳（メタデータ） (2025-12-16T18:51:23Z)
• An Open and Reproducible Deep Research Agent for Long-Form Question Answering [8.315124732850943]
  我々は,NeurIPS 2025におけるMMU-RAGコンペティションのテキスト・トゥ・テキスト・トラックにおいて,入賞システムとして選択された長文質問応答のためのオープンディープ・リサーチ・システムを提案する。 このシステムは、オープンソースの大規模言語モデル(LLM)とオープンWeb検索APIを組み合わせて、現実世界のオープンドメイン設定で反復検索、推論、合成を行う。
  論文  参考訳（メタデータ） (2025-12-15T07:37:53Z)
• ResearchRubrics: A Benchmark of Prompts and Rubrics For Evaluating Deep Research Agents [11.666923792025313]
  Deep Research(DR)は、大規模言語モデルを活用して、オープンなクエリに対処する新興エージェントアプリケーションである。 我々はResearchRubricsを紹介します。これは2,800時間以上の人的労働時間で構築されたDRの標準ベンチマークです。 また,DRタスクを3つの軸(概念的幅,論理的ネスト,探索)に沿って分類する,新たな複雑性フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-10T23:07:14Z)
• Enterprise Deep Research: Steerable Multi-Agent Deep Research for Enterprise Analytics [75.4712507893024]
  Enterprise Deep Research (EDR)は、適応的なクエリ分解のためのマスタープランニングエージェントを統合するマルチエージェントシステムである。 4つの専門的な検索エージェント(General, Academic, GitHub, LinkedIn)と、データ駆動インサイトのための可視化エージェントも含まれている。 EDRは、オプショナル・イン・ザ・ループ・ステアリング・ガイダンスによる研究の方向性を反映する。
  論文  参考訳（メタデータ） (2025-10-20T17:55:11Z)
• Understanding DeepResearch via Reports [41.60038455664918]
  DeepResearchは、高度な推論とマルチツール統合を通じて専門家レベルの研究を行う、変革的なAIパラダイムである。 これらのシステムを評価することは、オープンな研究シナリオと、独立した機能に焦点を当てた既存のベンチマークのため、依然として極めて難しい。 DeepResearch-ReportEvalは、DeepResearchシステムを最も代表的なアウトプットで評価するための総合的なフレームワークである。
  論文  参考訳（メタデータ） (2025-10-09T07:03:43Z)
• DRBench: A Realistic Benchmark for Enterprise Deep Research [81.49694432639406]
  DRBenchは、エンタープライズ環境で複雑でオープンなディープリサーチタスクでAIエージェントを評価するためのベンチマークである。 セールス、サイバーセキュリティ、コンプライアンスなど10のドメインにわたる15のディープリサーチタスクをリリースしています。
  論文  参考訳（メタデータ） (2025-09-30T18:47:20Z)
• DeepScholar-Bench: A Live Benchmark and Automated Evaluation for Generative Research Synthesis [52.636738269442766]
  本稿では,生のベンチマークと総合的自動評価フレームワークであるDeepScholar-benchを紹介する。 DeepScholar-benchは、最近の高品質なArXiv論文からクエリを抽出し、真の研究合成タスクにフォーカスしている。 また,LOTUS APIを用いて効率的に実装した参照パイプラインであるDeepScholar-baseを開発した。
  論文  参考訳（メタデータ） (2025-08-27T16:36:34Z)
• ResearcherBench: Evaluating Deep AI Research Systems on the Frontiers of Scientific Inquiry [22.615102398311432]
  我々は、ディープAI研究システムの能力を評価することに焦点を当てた最初のベンチマークであるResearcherBenchを紹介する。 現実の科学的シナリオから専門的に選択された65の質問のデータセットを収集した。 OpenAI Deep ResearchとGemini Deep Researchは、他のシステムよりも格段に優れており、オープンエンドのコンサルティングの質問では特に強みがある。
  論文  参考訳（メタデータ） (2025-07-22T06:51:26Z)
• From Web Search towards Agentic Deep Research: Incentivizing Search with Reasoning Agents [96.65646344634524]
  推論とエージェント能力を備えた大規模言語モデル(LLM)は、エージェントディープリサーチ(Agenic Deep Research)と呼ばれる新しいパラダイムを取り入れている。 静的なWeb検索から,計画,探索,学習を行う対話型エージェントベースのシステムへの進化を辿ります。 我々はエージェントディープリサーチが既存のアプローチを著しく上回るだけでなく、将来の情報探索において支配的なパラダイムになることを実証する。
  論文  参考訳（メタデータ） (2025-06-23T17:27:19Z)
• DeepResearch Bench: A Comprehensive Benchmark for Deep Research Agents [30.768405850755602]
  DeepResearch Benchは100のPhDレベルの研究タスクからなるベンチマークである。 ディープリサーチエージェントの評価は本質的に複雑で、労働集約的である。 本稿では,人間の判断に強く適合する2つの新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-06-13T13:17:32Z)
• Do RAG Systems Cover What Matters? Evaluating and Optimizing Responses with Sub-Question Coverage [74.70255719194819]
  サブクエストカバレッジに基づく新しいフレームワークを導入し、RAGシステムが質問の異なる面にどのように対処するかを計測する。 このフレームワークを使用して、You.com、Perplexity AI、Bing Chatの3つの商用生成応答エンジンを評価します。 すべての回答エンジンは、バックグラウンドやフォローアップよりも、コアサブクエストを頻繁にカバーしていますが、コアサブクエストの約50%を見逃しています。
  論文  参考訳（メタデータ） (2024-10-20T22:59:34Z)
• Optimizing TD3 for 7-DOF Robotic Arm Grasping: Overcoming Suboptimality with Exploration-Enhanced Contrastive Learning [0.0]
  空間空間の探索が不十分なため、7-DOFロボットアームを制御する際の最適下方策がもたらされる。 本稿では,新しい状態に遭遇する際の追加報酬を提供することで,探索を改善する,探索強化コントラスト学習(EECL)モジュールを提案する。 本研究では,ロボットスーツパンダ昇降作業において,試験環境における効率と収束速度の両面で,ベースラインのTD3を著しく上回っていることを示す。
  論文  参考訳（メタデータ） (2024-08-26T04:30:59Z)
• EWEK-QA: Enhanced Web and Efficient Knowledge Graph Retrieval for Citation-based Question Answering Systems [103.91826112815384]
  引用ベースのQAシステムは2つの欠点に悩まされている。 彼らは通常、抽出された知識の源としてWebにのみ依存し、外部の知識ソースを追加することで、システムの効率を損なう。 システムに供給された知識の内容を充実させるため,Web と 効率的な知識グラフ (KG) 検索ソリューション (EWEK-QA) を提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:40:38Z)
• A Comprehensive Survey on Underwater Image Enhancement Based on Deep Learning [51.7818820745221]
  水中画像強調(UIE)はコンピュータビジョン研究において重要な課題である。 多数のUIEアルゴリズムが開発されているにもかかわらず、網羅的で体系的なレビューはいまだに欠落している。
  論文  参考訳（メタデータ） (2024-05-30T04:46:40Z)
• Joint Speech Activity and Overlap Detection with Multi-Exit Architecture [5.4878772986187565]
  オーバーラップ音声検出(OSD)は、多人数変換のシナリオにおける音声応用において重要である。 本研究は,新たな視点からVADとOSDの共同作業について検討する。 特に,従来の分類網をマルチエグジットアーキテクチャで拡張することを提案する。
  論文  参考訳（メタデータ） (2022-09-24T02:34:11Z)
• Exploration in two-stage recommender systems [79.50534282841618]
  2段階のレコメンデータシステムは、スケーラビリティと保守性のために業界で広く採用されている。 このセットアップの鍵となる課題は、各ステージの最適性能が最適なグローバルパフォーマンスを暗示していないことである。 そこで本研究では,ランクとノミネーター間の探索戦略を同期させる手法を提案する。
  論文  参考訳（メタデータ） (2020-09-01T16:52:51Z)
• Deep Retrieval: Learning A Retrievable Structure for Large-Scale Recommendations [21.68175843347951]
  本稿では,ユーザとイテムのインタラクションデータを用いて,検索可能な構造を直接学習するために,Deep Retrieval(DR)を提案する。 DRは、産業レコメンデーションシステムのために数億のアイテムをスケールで展開した最初の非ANNアルゴリズムの1つである。
  論文  参考訳（メタデータ） (2020-07-12T06:23:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。