論文の概要: AutoResearchBench: Benchmarking AI Agents on Complex Scientific Literature Discovery

• arxiv url: http://arxiv.org/abs/2604.25256v1
• Date: Tue, 28 Apr 2026 06:05:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-29 16:49:17.729443
• Title: AutoResearchBench: Benchmarking AI Agents on Complex Scientific Literature Discovery
• Title（参考訳）: AutoResearchBench: 複雑な科学文献発見のためのAIエージェントのベンチマーク
• Authors: Lei Xiong, Kun Luo, Ziyi Xia, Wenbo Zhang, Jin-Ge Yao, Zheng Liu, Jingying Shao, Jianlyu Chen, Hongjin Qian, Xi Yang, Qian Yu, Hao Li, Chen Yue, Xiaan Du, Yuyang Wang, Yesheng Liu, Haiyu Xu, Zhicheng Dou,
• Abstract要約: AutoResearchBenchは、自律的な科学文献発見のためのベンチマークである。 エージェントWebブラウジングに関する以前のベンチマークと比較すると、AutoResearchBenchは研究指向である。 最も強力なLCMでさえ、BrowseCompのような一般的なエージェントによるWebブラウジングベンチマークをほとんど征服したにもかかわらず、Deep Researchでは9.39%、Wide Researchでは9.31%の精度しか達成していない。
• 参考スコア（独自算出の注目度）: 55.70879973230979
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Autonomous scientific research is significantly advanced thanks to the development of AI agents. One key step in this process is finding the right scientific literature, whether to explore existing knowledge for a research problem, or to acquire evidence for verifying assumptions and supporting claims. To assess AI agents' capability in driving this process, we present AutoResearchBench, a dedicated benchmark for autonomous scientific literature discovery. AutoResearchBench consists of two complementary task types: (1) Deep Research, which requires tracking down a specific target paper through a progressive, multi-step probing process, and (2) Wide Research, which requires comprehensively collecting a set of papers satisfying given conditions. Compared to previous benchmarks on agentic web browsing, AutoResearchBench is distinguished along three dimensions: it is research-oriented, calling for in-depth comprehension of scientific concepts; literature-focused, demanding fine-grained utilization of detailed information; and open-ended, involving an unknown number of qualified papers and thus requiring deliberate reasoning and search throughout. These properties make AutoResearchBench uniquely suited for evaluating autonomous research capabilities, and extraordinarily challenging. Even the most powerful LLMs, despite having largely conquered general agentic web-browsing benchmarks such as BrowseComp, achieve only 9.39% accuracy on Deep Research and 9.31% IoU on Wide Research, while many other strong baselines fall below 5%. We publicly release the dataset and evaluation pipeline to facilitate future research in this direction. We publicly release the dataset, evaluation pipeline, and code at https://github.com/CherYou/AutoResearchBench.
• Abstract（参考訳）: 自律的な科学研究はAIエージェントの開発によって著しく進歩している。 このプロセスの1つの重要なステップは、研究問題の既存の知識を探究するか、仮定の検証とクレームの支持の証拠を取得するか、適切な科学的文献を見つけることである。 このプロセスを駆動するAIエージェントの能力を評価するために、自律的な科学文献発見のための専用のベンチマークであるAutoResearchBenchを紹介する。 AutoResearchBenchは,(1)段階的かつ多段階的な探索プロセスを通じて特定の対象論文を追跡するディープリサーチ,(2)与えられた条件を満たす一連の論文を包括的に収集するワイドリサーチの2つの補完的なタスクタイプから構成される。 エージェントWebブラウジングに関する以前のベンチマークと比較すると、AutoResearchBenchは研究指向であり、科学的概念の深い理解、文学に焦点をあて、詳細情報のきめ細かな活用を要求すること、未知の論文を巻き込み、従って意図的な推論と探索を必要とすること、の3つの側面で区別されている。 これらの特性によりAutoResearchBenchは、自律的な研究能力を評価するのに一意に適しており、非常に難しい。 最も強力なLCMでさえ、BrowseCompのような一般的なエージェントによるWebブラウジングベンチマークをほとんど征服したにもかかわらず、Deep Researchでは9.39%、Wide Researchでは9.31%の精度しか達成していない。 この方向の今後の研究を促進するため、データセットと評価パイプラインを公開しています。 データセット、評価パイプライン、コードをhttps://github.com/CherYou/AutoResearchBench.comで公開しています。

関連論文リスト

• Can Deep Research Agents Find and Organize? Evaluating the Synthesis Gap with Expert Taxonomies [57.11324429385405]
  72のコンピュータサイエンスサーベイから得られた診断ベンチマークであるTaxoBenchを紹介する。 我々は,3,815個の引用を根本的真理として正確に分類した分類木を手作業で抽出した。 ベストエージェントは、専門家が選択した論文の20.9%しかリコールせず、完璧なインプットであっても、最高のモデルは組織の0.31 ARIしか達成していない。
  論文  参考訳（メタデータ） (2026-01-18T11:57:09Z)
• SciNetBench: A Relation-Aware Benchmark for Scientific Literature Retrieval Agents [12.057215000080705]
  本稿では,文献検索エージェントのためのSciNetBenchを提案する。 本ベンチマークでは,新しい知識構造を持つ論文のエゴ中心検索,学術的関係のペアワイド同定,科学的進化的軌道のパスワイド再構築の3つのレベルを体系的に評価した。 関係認識検索タスクの精度は20%以下に低下することが多く、現在の検索パラダイムの中核的な欠点が浮かび上がっている。
  論文  参考訳（メタデータ） (2025-12-16T02:53:02Z)
• ReplicationBench: Can AI Agents Replicate Astrophysics Research Papers? [29.17900668495058]
  本稿では、フロンティアAIエージェントの評価フレームワークであるReplicationBenchを紹介する。 天体物理学の文献から得られた研究論文全体を、エージェントが複製できるかどうかを検査する。 R ReplicationBenchは、論文スケールで専門家が検証した天体物理学の研究タスクの最初のベンチマークを確立している。
  論文  参考訳（メタデータ） (2025-10-28T16:21:19Z)
• AstaBench: Rigorous Benchmarking of AI Agents with a Scientific Research Suite [75.58737079136942]
  本稿では,AstaBenchについて紹介する。AstaBenchは,科学的研究を行うためのエージェント能力の総合的な測定を行うスイートである。 私たちのスイートには、プロダクショングレードの検索ツールを備えた、最初の科学研究環境が付属しています。 22のエージェントクラスで57のエージェントを評価したところ,いくつかの興味深い結果が得られた。
  論文  参考訳（メタデータ） (2025-10-24T17:10:26Z)
• ResearcherBench: Evaluating Deep AI Research Systems on the Frontiers of Scientific Inquiry [22.615102398311432]
  我々は、ディープAI研究システムの能力を評価することに焦点を当てた最初のベンチマークであるResearcherBenchを紹介する。 現実の科学的シナリオから専門的に選択された65の質問のデータセットを収集した。 OpenAI Deep ResearchとGemini Deep Researchは、他のシステムよりも格段に優れており、オープンエンドのコンサルティングの質問では特に強みがある。
  論文  参考訳（メタデータ） (2025-07-22T06:51:26Z)
• From Web Search towards Agentic Deep Research: Incentivizing Search with Reasoning Agents [96.65646344634524]
  推論とエージェント能力を備えた大規模言語モデル(LLM)は、エージェントディープリサーチ(Agenic Deep Research)と呼ばれる新しいパラダイムを取り入れている。 静的なWeb検索から,計画,探索,学習を行う対話型エージェントベースのシステムへの進化を辿ります。 我々はエージェントディープリサーチが既存のアプローチを著しく上回るだけでなく、将来の情報探索において支配的なパラダイムになることを実証する。
  論文  参考訳（メタデータ） (2025-06-23T17:27:19Z)
• DeepResearch Bench: A Comprehensive Benchmark for Deep Research Agents [30.768405850755602]
  DeepResearch Benchは100のPhDレベルの研究タスクからなるベンチマークである。 ディープリサーチエージェントの評価は本質的に複雑で、労働集約的である。 本稿では,人間の判断に強く適合する2つの新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-06-13T13:17:32Z)
• ResearchArena: Benchmarking Large Language Models' Ability to Collect and Organize Information as Research Agents [30.603079363363634]
  本研究では,学術調査における大規模言語モデルの能力を評価するためのベンチマークであるResearchArenaを紹介する。 ResearchArenaは,(1)情報発見,関連文献の同定,(2)情報選択,論文の関連性および影響評価,(3)情報組織という3段階のプロセスのモデル化を行う。 これらの評価を支援するために,12Mのフルテキスト学術論文と7.9Kの調査論文のオフライン環境を構築した。
  論文  参考訳（メタデータ） (2024-06-13T03:26:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。