論文の概要: EurekaBench: Measuring Agentic Ability to Discover New Scientific Insights
- arxiv url: http://arxiv.org/abs/2610.00492v1
- Date: Wed, 30 Sep 2026 18:00:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.678447
- Title: EurekaBench: Measuring Agentic Ability to Discover New Scientific Insights
- Title（参考訳）: EurekaBench: 新たな科学的洞察を明らかにするためのエージェント能力の測定
- Abstract要約: EurekaBenchは、AIエージェントが長期実験を行う能力をテストするベンチマークである。
ユーレカベンチには、神経科学、コンピュータ科学、化学、天体物理学、地球物理学、プラズマ物理学にまたがる26のロングホライゾンタスクの専門家による検証済みのセットが含まれている。
我々はこれらのメカニズムを、それらから導出できる科学的知見によって評価する。
- 参考スコア（独自算出の注目度）: 47.46722795942494
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When Isaac Newton discovered the law of gravitation, he did so through an iterative process of analyzing observed data such as planetary patterns, finding the underlying mechanisms by describing patterns in mathematical equations, and refining his theory against the Moon's orbit, revealing the startling insight that the same force governs both falling apples and orbiting planets. Would it be possible for AI agents to make similar discoveries? To measure this ability, we introduce EurekaBench, a cross-domain benchmark that tests AI agents' ability to conduct long-horizon experiments and discover mechanisms that explain observations. We evaluate these mechanisms by the scientific insights that can be derived from them. EurekaBench contains an expert-verified set of 26 long-horizon tasks across neuroscience, computer science, chemistry, astrophysics, geophysics, and plasma physics, with a total of 306 scientific insights that the discovered mechanisms are expected to support. Our evaluation framework tests three axes of scientific discovery: agents' ability to follow known scientific constraints, the predictive accuracy of the discovered mechanisms, and whether these mechanisms yield scientific insights or inform future research. Our results show that current AI agents often overly fixate on predictive accuracy optimization, surpassing human scientists, while falling substantially short in deriving scientific insights.
- Abstract（参考訳）: アイザック・ニュートンが重力法則を発見したとき、彼は惑星のパターンのような観測されたデータを分析し、数学的方程式のパターンを記述し、月の軌道に対する彼の理論を精査し、同じ力が落下するリンゴと惑星の両方を支配しているという驚くべき洞察を明らかにするという、反復的なプロセスを通じてそれをした。
AIエージェントが同じような発見をすることは可能だろうか?
この能力を測定するために、我々は、AIエージェントが長期実験を行い、観察を説明するメカニズムを発見する能力をテストするクロスドメインベンチマークであるEurekaBenchを紹介した。
我々はこれらのメカニズムを、それらから導出できる科学的知見によって評価する。
EurekaBenchには、神経科学、コンピュータ科学、化学、天体物理学、地球物理学、プラズマ物理学にまたがる26のロングホライゾン・タスクの専門家による検証済みのセットが含まれており、発見されたメカニズムが支持されるという合計306の科学的洞察がある。
評価フレームワークは、既知の科学的制約に従うエージェントの能力、発見されたメカニズムの予測精度、これらのメカニズムが科学的洞察をもたらすか、将来の研究に通知するかの3つの科学的発見の軸をテストする。
我々の結果は、現在のAIエージェントが予測精度の最適化に過度に固執し、人間の科学者を上回り、科学的洞察を導き出すのにかなり不足していることを示している。
関連論文リスト
- From Observation to Insight: Mechanistic World Models and the Quest for Autonomous Discovery [60.11725132433485]
科学的発見は基本的に知識組織の問題であると主張する。
本稿では,表現,計算,学習の中心に再利用可能な機構を配置する新しい設計パラダイムであるメカニスティック・ワールド・モデルを紹介する。
論文 参考訳（メタデータ） (2026-07-14T08:03:27Z) - Embodied Science: Closing the Discovery Loop with Agentic Embodied AI [73.54118756665221]
我々は、科学的発見をクローズドループとして再編成し、エージェント推論と物理的実行を密結合するパラダイムであるエンボディド・サイエンスを論じる。
本研究では,実験環境の知覚,科学的知識の推論,身体的介入の実行,その後の探索を促進するための成果の内在化といった,統合された知覚・言語・行動発見(PLAD)フレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-20T09:20:12Z) - Autonomous Agents for Scientific Discovery: Orchestrating Scientists, Language, Code, and Physics [82.55776608452017]
大規模言語モデル(LLM)は、人間の科学者、自然言語、コンピュータ言語とコード、物理学との相互作用を編成する柔軟性と汎用性を備えたフレームワークを提供する。
本稿では, LLMを基盤とした科学エージェントの展望と展望と, 科学発見のライフサイクルを変革する上でのその役割について述べる。
オープンな研究課題を特定し、より堅牢で汎用的で適応的な科学エージェントを構築するための有望な方向性を概説する。
論文 参考訳（メタデータ） (2025-10-10T22:26:26Z) - Virtuous Machines: Towards Artificial General Science [0.0]
ドメインに依存しないエージェント型AIシステムが、科学的なワークフローを独立してナビゲートできることを示します。
このシステムは視覚的作業記憶、精神的な回転、イメージの鮮明さに関する3つの心理学的研究を自律的に設計し実行した。
論文 参考訳（メタデータ） (2025-08-19T00:35:56Z) - Scaling Laws in Scientific Discovery with AI and Robot Scientists [72.3420699173245]
自律的なジェネラリスト科学者(AGS)の概念は、エージェントAIとエンボディロボットを組み合わせて、研究ライフサイクル全体を自動化している。
AGSは科学的発見に必要な時間と資源を大幅に削減することを目指している。
これらの自律的なシステムが研究プロセスにますます統合されるにつれて、科学的な発見が新しいスケーリング法則に従うかもしれないという仮説を立てる。
論文 参考訳（メタデータ） (2025-03-28T14:00:27Z) - Explain the Black Box for the Sake of Science: the Scientific Method in the Era of Generative Artificial Intelligence [0.9065034043031668]
我々は、人類の科学的発見のための複雑な推論が、少なくとも人工知能の出現以前には重要な存在であると主張している。
意思決定に使用されるAIシステムの原則を知ることは、ドメインの専門家や科学者と接触するポイントになり得る。
我々は、この分野を、予測AIシステムの解釈可能性に基づいて、領域の専門家が科学的仮説と説明を定式化する、説明可能な科学用AIと定義する。
論文 参考訳（メタデータ） (2024-06-15T08:34:42Z) - Scientific intuition inspired by machine learning generated hypotheses [2.294014185517203]
私たちは、機械学習モデル自体が得る洞察と知識に焦点を移します。
決定木では, 化学や物理から, ビッグデータから人間の解釈可能な洞察を抽出するために, 勾配増進法を適用した。
数値を超える能力は、機械学習を使って概念理解の発見を加速する扉を開く。
論文 参考訳（メタデータ） (2020-10-27T12:12:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。