論文の概要: SCI-AGENT-EXAM: Benchmarking Agents on Scientific Research Tasks

• arxiv url: http://arxiv.org/abs/2610.32441v1
• Date: Fri, 23 Oct 2026 10:06:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.490344
• Title: SCI-AGENT-EXAM: Benchmarking Agents on Scientific Research Tasks
• Title（参考訳）: SCI-AGENT-EXAM:科学研究課題におけるベンチマークエージェント
• Abstract要約: 大規模言語モデル(LLM)エージェントは、科学研究を支援する能力がますます高まっている。 既存のベンチマークは、しばしば選択された科学的能力やタスクタイプに焦点を当てる。 SCI-AGENT-EXAM(SCI-AGENT-EXAM)は,11分野に120の専門的なタスクと7つの研究課題からなるベンチマークである。
• 参考スコア（独自算出の注目度）: 58.530730974708014
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language model (LLM) agents are increasingly capable of supporting scientific workflows, but their capabilities across diverse research activities remain difficult to assess systematically. Existing benchmarks often focus on selected scientific capabilities or task types, limiting a comprehensive characterization of scientific agents' strengths and weaknesses in realistic research workflows. We introduce SCI-AGENT-EXAM, a workflow-oriented benchmark comprising 120 expert-curated tasks across 11 scientific fields and 7 research task types defined by the Scientific Workflow Task Taxonomy (SWTT). Each task requires both executable artifacts (e.g., code and scripts) and textual artifacts (e.g., reports and explanations). To evaluate the heterogeneous task outputs, we develop a hybrid evaluation protocol combining deterministic programmatic verification for executable artifacts with a calibrated, expert-validated LLM-based judge for textual artifacts. Beyond outcome assessment, we analyze progress and solution stability along execution trajectories to characterize how agents reach their final results. Experiments with 10 frontier LLM agents reveal substantial performance gaps: GPT-6 Astra achieves the highest overall score of 80.9, yet only 26.0% of its runs exceed the 0.95 success threshold. Further analyses uncover distinct capability profiles across scientific task types and substantial variation in execution efficiency and stability. Our code and data are available at https://github.com/SKYLENAGE-AI/Sci-Agent-Exam.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、科学的ワークフローをサポートする能力がますます高まっているが、様々な研究活動にまたがるそれらの能力は、体系的に評価することが困難である。 既存のベンチマークは、しばしば選択された科学的能力やタスクタイプに焦点を当て、現実的な研究ワークフローにおける科学的エージェントの強みと弱さの包括的特徴を制限している。 SCI-AGENT-EXAM(Science Workflow Task Taxonomy:SWTT)は、11の分野にまたがる120の専門的なタスクと7つの研究タスクからなるワークフロー指向のベンチマークである。 各タスクには実行可能なアーティファクト(コードやスクリプトなど)とテキストアーティファクト(レポートや説明など)の両方が必要です。 不均質なタスクの出力を評価するために,テキストアーティファクトに対する判定的プログラム的検証と,テキストアーティファクトに対する専門家検証型LCMに基づく判定を併用したハイブリッド評価プロトコルを開発した。 結果評価の他に、実行軌跡に沿った進捗と解の安定性を分析し、エージェントが最終的な結果に到達する方法を特徴付ける。 GPT-6 アストラは最高スコア80.9を達成しているが、わずか26.0%しか成功率0.95を超えていない。 さらなる分析により、科学的タスクタイプと実行効率と安定性のかなりのばらつきにまたがる異なる能力プロファイルが明らかになった。 私たちのコードとデータはhttps://github.com/SKYLENAGE-AI/Sci-Agent-Exam.comで公開されています。

関連論文リスト

• OSWorld-Science: A Benchmark of Computer Use Agents for Learning and Using Scientific Software [54.375425166090245]
  OSWorldScienceは、科学的に意味のあるタスク、アーティファクト評価、効率的なエージェントハーネスを組み合わせたベンチマークと評価環境である。 ベンチマークには12のVLMと、いくつかの科学領域とソフトウェア構成にわたる146の高品質タスクが含まれている。 以上の結果から,現在の最先端のVLMは,科学的領域において重要な問題に対処する上で,依然として課題に直面していることが明らかとなった。
  論文  参考訳（メタデータ） (2026-09-30T15:03:05Z)
• SciExplore: Evaluating Autonomous Agents from Scientific Navigation to Information Integration [46.64739473662869]
  LLMとエージェントの科学的情報探索と推論能力を評価するためのベンチマークであるSciExploreを紹介する。 SciExploreは10以上の科学分野にわたる103の専門的なタスクをカバーする4つのタスクタイプで構成されている。 我々はSciExplore上で10以上の最先端のLCMと自律エージェントを評価し、タスクの複雑さが増加し、最も困難な構造化タスクにおいて極めて低い精度で処理性能が著しく低下することを示す。
  論文  参考訳（メタデータ） (2026-07-23T05:17:00Z)
• Benchmarking AI Agents for Addressing Scientific Challenges Across Scales [118.2204632627895]
  SciAgentArenaは、現実世界の科学研究シナリオでAIエージェントを評価するための体系的なベンチマークである。 ステップワイズ検証を備えた約200のタスクと、多様なAIエージェントを評価するためのインタラクティブでエージェントに依存しない環境で構成される。 タスク構造や評価基準が明確である場合, 現状のエージェントはデータ分析に効果的に貢献できることがわかった。
  論文  参考訳（メタデータ） (2026-06-10T22:55:30Z)
• SciNav: A General Agent Framework for Scientific Coding Tasks [12.136493066748391]
  科学的コーディングタスクのためのエージェントフレームワークSciNav(Scientific Navigator)を紹介する。 我々のフレームワークは、制約付き検索予算の下で動作するように設計されている。 2つのベンチマークで異なるタイプのタスクにまたがってエージェントの有効性を示す。
  論文  参考訳（メタデータ） (2026-03-11T11:57:51Z)
• Probing Scientific General Intelligence of LLMs with Scientist-Aligned Workflows [203.3527268311731]
  PIM(Practical Inquiry Model)に基づく運用SGI定義を提案する。 深層研究、アイデア生成、ドライ/ウェット実験、実験推論の4つのタスクを通じて運用しています。 私たちのPIMによる定義、ワークフロー中心のベンチマーク、実証的な洞察は、真に科学的な発見に参加するAIシステムの基盤を確立します。
  論文  参考訳（メタデータ） (2025-12-18T12:44:36Z)
• ScienceBoard: Evaluating Multimodal Autonomous Agents in Realistic Scientific Workflows [82.07367406991678]
  大規模言語モデル(LLM)は自然言語処理を超えてその影響を拡大している。 これらのうち、コンピュータ利用エージェントは、人間がしているようにオペレーティングシステムと対話することができる。 我々はScienceBoardを紹介し、ダイナミックで視覚的にリッチな科学ソフトウェアを特徴とする現実的でマルチドメイン環境を包含する。
  論文  参考訳（メタデータ） (2025-05-26T12:27:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。