論文の概要: Autonomous Science Bench: Evaluating AI Agents for Autonomous Scientific Discovery
- arxiv url: http://arxiv.org/abs/2610.18449v1
- Date: Tue, 13 Oct 2026 14:18:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.641395
- Title: Autonomous Science Bench: Evaluating AI Agents for Autonomous Scientific Discovery
- Title（参考訳）: 自律科学ベンチ:自律科学発見のためのAIエージェントの評価
- Abstract要約: 我々は6つの設計-構築-テスト-学習キャンペーンからなる最初のリリースであるAutonomous Science Benchを紹介する。
エージェントは設計のバッチを選択し、ラボサービスから測定を受け取り、その結果を使用してその後の実験をガイドする。
成功には、エージェントが測定した設計を評価する発見ゲートと、モデルが保持する設計のランキングを評価する学習ゲートの2つの校正ゲートを通過する必要がある。
- 参考スコア（独自算出の注目度）: 6.184744788321719
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI agents for autonomous scientific discovery must decide which experiments to run under a limited budget. Most benchmarks for science agents provide fixed datasets, while others that support active experimentation largely rely on simulation. We introduce Autonomous Science Bench, an initial release comprising six budgeted design-build-test-learn campaigns grounded in published experiments across biology, chemistry, and materials science. Agents select batches of designs, receive measurements from a lab service, and use the results to guide subsequent experiments before delivering a predictive model. Success requires passing two calibrated gates: a discovery gate, which evaluates the designs the agent measured, and a learning gate, which evaluates its model's ranking of held-out designs. In a pilot evaluation of eight agent-model configurations and 144 trials, the best configuration succeeds in 67% of trials, while the hardest campaign is solved in only three of 24 attempts. The two gates reveal different weaknesses: some agents build accurate rankings but find too few promising designs, while others find promising designs but fail to predict which unseen designs will perform well. These differences are obscured by overall success rates alone. We release version 0.1 of the campaigns, lab runtime, and public leaderboard at https://yibow.me/autonomous-science-bench.
- Abstract（参考訳）: 自律的な科学的発見のためのAIエージェントは、どの実験を限られた予算で実行するかを決定する必要がある。
科学エージェントのほとんどのベンチマークは、固定されたデータセットを提供し、アクティブな実験をサポートするものは、主にシミュレーションに依存している。
我々は、生物学、化学、材料科学にまたがる実験を基礎として、6つの予算がかかるデザイン-ビルド-テスト-学習キャンペーンからなる、Autonomous Science Benchを紹介します。
エージェントは、設計のバッチを選択し、ラボサービスから測定を受け取り、その結果を使用して、予測モデルを提供する前に、その後の実験をガイドする。
成功には、エージェントが測定した設計を評価する発見ゲートと、モデルが保持する設計のランキングを評価する学習ゲートの2つの校正ゲートを通過する必要がある。
8つのエージェントモデル構成と144のトライアルのパイロット評価では、最良の構成は67%のトライアルで成功し、最も難しいキャンペーンは24回のトライアルのうち3回で解決された。
正確なランキングを作るエージェントもあれば、有望なデザインが少なすぎる、有望なデザインを見つけるエージェントもいるが、どの見当たらないデザインがうまく機能するかを予測できないエージェントもいる。
これらの違いは、全体的な成功率だけでは明らかではない。
キャンペーン、ラボランタイム、および公開リーダボードのバージョン0.1をhttps://yibow.me/autonomous-science-bench.comでリリースしています。
関連論文リスト
- LLM-IDEA: Identifiability-Driven Experimental Agent for Autonomous Discovery of Mechanistic World Models [0.9023847175654603]
Identifiability-Driven Experimental Agent (LLM-IDEA) を提案する。
それは、高原がより多くの検索を求めているのか、同じ種類のより良い実験なのか、それとも別の種類の実験なのかを推測せずに計算する。
論文 参考訳（メタデータ） (2026-10-08T05:01:30Z) - SciExam for ENSO: Can AI Agents Build Climate Models? [54.94822880836718]
様々な情報の下でトップシステムの制御された実行は、そのスコアが、日付の観測記録をリコールすることによるものではないことを示唆している。
結果は、科学者がまだ議論している疑問に答える構造を持つ競争モデルを構築することができることを示唆している。
論文 参考訳（メタデータ） (2026-10-07T17:52:52Z) - NeutronGym: Physics-Graded Neutron Instrument Design for LLM Agents [0.0]
中性子Gymは、グレーディングが議論できない場合は、言語モデルエージェントがそれを思い出すよりも物理学を学べるかどうかをテストする。
我々は、中性子機器設計のための最初の実行可能な環境について、NeurotronGymを紹介した。
手続き的なファミリーは、エージェントが設定しなければならない設計パラメータが固定されたレイアウトの無制限のインスタンスを、保留パラメータレシスタンスで供給する。
論文 参考訳（メタデータ） (2026-10-02T17:23:52Z) - AgentIdeaBench: Benchmarking Scientific Ideation in the Agent Era [55.37558486468993]
AgentIdeaBenchは、静的観測とアクティブ探索という2つの一致した条件下で科学的思考を評価するベンチマークである。
5つの分野にまたがる40の高密度サブフィールドにおける33個のLDMの静的アクティブ評価を一致させた。
アクティブな探索により、ヘッドルームの能力は大幅に向上し、ヘッドルームはモデル間で不均一に分散される。
論文 参考訳（メタデータ） (2026-09-07T15:19:13Z) - Apodex Discovery: Reality Benchmarks and Environments for Evaluating and Building Discoverative Artificial Intelligence [86.61561123749011]
Apodex Discovery(アポデックスディスカバリー)は、重度解法を用いて発見的AIを構築し評価するためのフレームワークである。
まず16のセクターで511の業界を調査し、423の高価値現実問題を集め、最初のリリースで20を選定した。
第二に、共通の環境-タスク-エピソード抽象化は、データ、ツール、制約、フィードバック、軌跡記録、中間成果物と最終提出物の検証を提供する。
論文 参考訳（メタデータ） (2026-08-11T18:48:40Z) - One Reflection Is Not Enough: Self-Correcting Autonomous Research via Multi-Hypothesis Failure Attribution [85.65263343588026]
我々は,自己修正型,自律型,接地型実験機であるSAGEを提案する。
その中核的なメカニズムであるMHFA(Multi-Hypothesis Failure Attribution)は、回復を構造的因果診断として扱う。
12のトピック、5ドメインのベンチマークでは、SAGEは基準リフレクションでメトリクスを含むアウトプットを42%から92%に増やしている。
論文 参考訳（メタデータ） (2026-06-30T10:54:16Z) - Science Earth: Towards A Planet-Scale Operating System for AI-Native Scientific Discovery [51.70607714288616]
サイエンスアース(Science Earth)は、惑星規模の科学ランタイムで、あらゆる能力が他のものと接続できる。
その基盤となるEACNプロトコルは、機能を相互に発見し、タスクのオーナシップを交渉し、互換性のない明示的な標準を越えて判断することを可能にする。
2つの実行は、構造的に異なる条件下でこれを検証します。
論文 参考訳（メタデータ） (2026-05-31T16:05:41Z) - AutoScientists: Self-Organizing Agent Teams for Long-Running Scientific Experimentation [28.790523063833376]
AutoScientistsは、長期的な計算科学実験のためのAIエージェントの分散チームである。
エージェントは共有された実験状態を解釈し、実験計算を使用する前に、有望な仮説、批判的な提案に関するチームに自己組織化する。
一致した実験予算の下で、AutoScientistsは、バイオメディカル機械学習、言語モデルトレーニング最適化、タンパク質の適合性予測など、AIエージェントを改良する。
論文 参考訳（メタデータ） (2026-05-27T15:56:12Z) - Agentic AI Scientists Are Not Built For Autonomous Scientific Discovery [23.774769836398036]
成長する研究機関は、エンドツーエンドの科学的発見が可能なAI科学者を追求している。
このポジションペーパーでは、彼らはすでに共同科学者として機能しているが、エージェントAI科学者は自律的な科学的発見のために構築されていないと論じている。
論文 参考訳（メタデータ） (2026-05-09T13:52:23Z) - AstaBench: Rigorous Benchmarking of AI Agents with a Scientific Research Suite [75.58737079136942]
本稿では,AstaBenchについて紹介する。AstaBenchは,科学的研究を行うためのエージェント能力の総合的な測定を行うスイートである。
私たちのスイートには、プロダクショングレードの検索ツールを備えた、最初の科学研究環境が付属しています。
22のエージェントクラスで57のエージェントを評価したところ,いくつかの興味深い結果が得られた。
論文 参考訳（メタデータ） (2025-10-24T17:10:26Z) - Predicting Empirical AI Research Outcomes with Language Models [27.148683265085012]
AI研究における有望なアイデアの多くは提供されないが、その検証には相当な人的労力と計算が必要だ。
このタスクの最初のベンチマークを構築し、LMと人間の専門家を比較します。
私たちはカンファレンス論文からアイデアと実験結果を取り除き、ベースモデルがテストの切り離し日後に公表された1,585人の人間による検証されたアイデアペアを生成しました。
我々は,精巧なGPT-4.1と紙検索エージェントを組み合わせたシステムを開発し,25人の人間専門家を雇って比較する。
NLP領域では、我々のシステムは人間の専門家を64.4%対48.で破る。
論文 参考訳（メタデータ） (2025-06-01T02:46:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。