論文の概要: AutoSciBench: Autonomous Benchmark Generation for Evaluating Scientific Agents

• arxiv url: http://arxiv.org/abs/2610.05140v1
• Date: Sun, 04 Oct 2026 11:40:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 23:07:41.11653
• Title: AutoSciBench: Autonomous Benchmark Generation for Evaluating Scientific Agents
• Title（参考訳）: AutoSciBench: 科学的エージェントを評価するための自動ベンチマーク生成
• Abstract要約: AutoSciBenchは、各タスクを、科学領域、データモダリティ、要求推論アプローチを指定する高レベルな概念として表現するフレームワークである。 エージェントはそれぞれのタスクを解決し、解決者トラジェクトリを生成し、AutoSciBenchがレシピやコンセプトを改訂するために使用している判断フィードバックに対応する。 計算生物学,材料科学,臨床画像におけるAutoSciBenchの評価を行った。
• 参考スコア（独自算出の注目度）: 56.10249598693586
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As agents rapidly evolve, existing benchmarks can become saturated, limiting their ability to distinguish capabilities and reveal remaining failure modes. Particularly in scientific domains, constructing and updating benchmarks requires substantial time, labor, and domain expertise, making it difficult to keep evaluation aligned with advances in agent capabilities. We address this challenge by investigating whether scientific-agent benchmarks can be automatically generated and iteratively adapted as agent capabilities evolve. We introduce AutoSciBench, a framework that represents each task as a high-level concept specifying the scientific domain, data modality, and required reasoning approach, together with a low-level recipe specifying how the question, environment, and ground-truth answer are constructed and verified. Agents attempt to solve each task, producing solver trajectories and corresponding judge feedback which AutoSciBench uses to revise the recipe or concept, closing observed shortcuts and shifting tasks toward raw-data re-examination, interpretation of intermediate results, and evidence integration. Experience distilled from completed refinement trajectories further guides new concept generation, allowing lessons from earlier task refinement to inform subsequent benchmark construction. Starting from existing benchmarks, we evaluate AutoSciBench across computational biology, materials science, and clinical imaging. Generated benchmarks reduce average solver accuracy by 22.4 and 25.5 percentage points relative to the human-curated benchmarks in computational biology and materials science, respectively, while generated tasks receive higher average quality ratings across all three domains, suggesting that scientific-agent evaluation can adapt as agent capabilities advance.
• Abstract（参考訳）: エージェントが急速に進化するにつれて、既存のベンチマークは飽和し、能力を区別し、残りの障害モードを明らかにする能力を制限することができる。 特に科学的領域では、ベンチマークの構築と更新には相当な時間、労力、ドメインの専門知識が必要であるため、エージェント能力の進歩に合わせて評価を維持することは困難である。 我々は,エージェント能力の進化に伴い,科学的エージェントベンチマークを自動的に生成し,反復的に適応できるかどうかを検討することで,この問題に対処する。 我々は,各タスクを,科学的領域,データモダリティ,要求推論アプローチを規定する高レベルな概念として表現するフレームワークであるAutoSciBenchと,質問や環境,地道的な回答をどのように構築し,検証するかを示す低レベルなレシピを紹介する。 AutoSciBenchはレシピやコンセプトを改訂し、観察されたショートカットを閉じ、タスクを生データの再検査、中間結果の解釈、エビデンス統合にシフトするために使用する。 完成した精錬軌道から蒸留された経験は、さらに新しい概念生成のガイドとなり、初期の精錬から教訓を得て、その後のベンチマーク構築を知らせることができた。 既存のベンチマークから、計算生物学、材料科学、臨床画像にまたがるAutoSciBenchを評価する。 生成されたベンチマークは、計算生物学および材料科学における人為的なベンチマークと比較して平均解法精度を22.4と25.5ポイント削減する一方、生成されたタスクは3つの領域すべてで平均品質の評価を受けており、科学的エージェント評価がエージェント能力の進歩に適応できることを示している。

関連論文リスト

• EvoBrowseComp: Benchmarking Search Agents on Evolving Knowledge [53.44952808455985]
  EvoBrowseCompは400の英語と400の中国語の複雑な質問のベンチマークである。 EvoBrowseCompは定期的に更新してデータの汚染を防ぐことができる。 自動更新可能でハイディフルトなベンチマークのためのスケーラブルなパラダイムを確立します。
  論文  参考訳（メタデータ） (2026-06-11T09:48:32Z)
• Benchmarking AI Agents for Addressing Scientific Challenges Across Scales [118.2204632627895]
  SciAgentArenaは、現実世界の科学研究シナリオでAIエージェントを評価するための体系的なベンチマークである。 ステップワイズ検証を備えた約200のタスクと、多様なAIエージェントを評価するためのインタラクティブでエージェントに依存しない環境で構成される。 タスク構造や評価基準が明確である場合, 現状のエージェントはデータ分析に効果的に貢献できることがわかった。
  論文  参考訳（メタデータ） (2026-06-10T22:55:30Z)
• Can Coding Agents Reproduce Findings in Computational Materials Science? [49.254975563645786]
  本稿では,大規模言語モデルの科学的主張を再現する能力を評価するためのベンチマークであるAutoMatを紹介する。 課題を専門とする専門家と緊密に連携することで、実際の材料科学論文からの一連の主張をキュレートし、コーディングエージェントがエンドツーエンドのワークフローを回復し実行できるかどうかを検証します。 結果、現在のLSMベースのエージェントはAutoMatの全体的な成功率を低くし、最も優れた設定は54.1%に過ぎなかった。
  論文  参考訳（メタデータ） (2026-05-01T17:42:12Z)
• ReplicatorBench: Benchmarking LLM Agents for Replicability in Social and Behavioral Sciences [19.81372090301296]
  ReplicatorBenchは、3段階にわたる研究レプリケーションにおけるAIエージェントの評価のためのエンドツーエンドのベンチマークである。 ReplicatorAgentは,Web検索やサンドボックス環境との反復的なインタラクションなど,必要なツールを備えたエージェントフレームワークである。 ReplicatorAgentは、4つの基礎となる大規模言語モデル(LLM)にまたがって評価する。
  論文  参考訳（メタデータ） (2026-02-11T20:42:10Z)
• Towards Self-Evolving Benchmarks: Synthesizing Agent Trajectories via Test-Time Exploration under Validate-by-Reproduce Paradigm [60.36837655498119]
  本稿では,トラジェクトリをベースとしたエージェント・ベンチマーク・複雑度進化フレームワークを提案する。 このフレームワークは、既存のベンチマークから元のタスクを受け取り、エージェントがそれをより難しい新しいタスクに進化させるよう促す。 GAIAベンチマークの実験では、TRACEフレームワークはタスクの複雑さを継続的に向上し、正確性の信頼性を向上させる。
  論文  参考訳（メタデータ） (2025-10-01T01:52:52Z)
• BenchAgents: Multi-Agent Systems for Structured Benchmark Creation [23.653678381444276]
  BenchAgentsは評価ベンチマークの作成を自動化するフレームワークである。 BenchAgentsを使って、計画、制約満足度、因果推論に関連する機能を評価するベンチマークを作成します。 次に、これらのベンチマークを使用して、最先端のモデルを研究し、共通の障害モードとモデルの違いに関する新たな洞察を抽出します。
  論文  参考訳（メタデータ） (2024-10-29T22:56:18Z)
• CORE-Bench: Fostering the Credibility of Published Research Through a Computational Reproducibility Agent Benchmark [11.794931453828974]
  CORE-Benchは3つの分野(コンピュータ科学、社会科学、医学)にわたる90の科学論文に基づく270のタスクからなるベンチマークである。 エージェントの精度を高速かつ並列に測定する評価システムを提案する。 最高のエージェントは、最も難しいタスクにおいて21%の精度を達成した。
  論文  参考訳（メタデータ） (2024-09-17T17:13:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。