論文の概要: Science Prediction Universe
- arxiv url: http://arxiv.org/abs/2611.15049v1
- Date: Wed, 11 Nov 2026 05:23:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.050056
- Title: Science Prediction Universe
- Title(参考訳): 科学予測宇宙
- Abstract要約: 本稿では,隠れた実験結果のベンチマークであるSPU(Science Prediction Universe)を紹介する。
エージェントは濡れた結果の予測を飽和させるには程遠い。
エージェントは共有モノトーンの先行性に依存し、実験的な現実よりもはるかに互いに一致している。
- 参考スコア(独自算出の注目度): 83.80893118097924
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Humanity has long sought to explain natural phenomena. Reliable prediction of experimental outcomes is a central test of our understanding of the processes that produce them. If artificial general intelligence (AGI) is to surpass human scientific capabilities, it must also predict experimental outcomes more reliably than humans. Such capabilities could accelerate scientific discovery across disciplines, help address humanity's most pressing challenges, and improve human well-being. We introduce Science Prediction Universe (SPU), a benchmark of hidden experimental outcomes with 100 public verified tasks from chemistry, materials science, biology and medicine, and 16 private tasks from unpublished wet-lab experiments. Given an experimental setup and candidate conditions, an agent works with any resources it needs to rank the candidates by a measured outcome. We evaluate thirteen agent configurations spanning twelve frontier models across two harnesses (Codex and Claude Code). Current agents remain far from saturating wet-lab outcome prediction, with substantial performance disparities across models: on the public benchmark, configurations separate into two distinct tiers, with task-adjusted Spearman correlations ranging from 0.227 for the lowest-performing configuration to 0.478 for the best. Analysis of 1,155 scored public trajectories (227,103 tool calls) suggests that the bottleneck lies in scientific judgment rather than tool execution: agents rely on shared monotone priors, agreeing far more with one another than with experimental reality (0.52 vs. 0.33), and frequently compute trivial physical or chemical proxies that do not influence the final outcome.
- Abstract(参考訳): 人間性は長い間自然現象を説明しようとしてきた。
実験結果の信頼性の高い予測は、それらを生成するプロセスの理解の中心的なテストである。
人工知能(AGI)が人間の科学的能力を上回るならば、人間よりも実験結果をより確実に予測する必要がある。
このような能力は、分野にわたって科学的発見を加速させ、人類の最も圧力のかかる課題に対処し、人間の健康を改善するのに役立つ。
SPU(Science Prediction Universe)は、化学、材料科学、生物学、医学、および未発表のウェットラブ実験からの16のプライベートタスクから、100の公的なタスクで、隠れた実験結果のベンチマークである。
実験的な設定と候補条件が与えられたエージェントは、測定結果によって候補をランク付けする必要がある任意のリソースで動作する。
二つのハーネス(コーデックスとクロードコード)にまたがる12のフロンティアモデルにまたがる13のエージェント構成を評価する。
現在のエージェントは、ウェットラブ結果の予測の飽和には程遠いままであり、モデル間ではかなりのパフォーマンスの違いがある: 公開ベンチマークでは、構成は2つの異なる階層に分けられ、タスク調整されたスピアマン相関は、最低パフォーマンスの0.227から最高の0.478まで様々である。
1,155件の公的な軌跡(227,103件のツールコール)の分析では、このボトルネックはツール実行よりも科学的判断にあることが示唆されている:エージェントは共有モノトン先行に依存し、実験的な現実(0.52対0.33)よりもはるかに互いに一致し、最終的な結果に影響を与えない自明な物理的または化学的プロキシを頻繁に計算する。
関連論文リスト
- Auditable Human-Agent Teams for Autonomous X-ray Experimentation [3.0520806883282816]
閉ループ自律実験は科学的な発見を加速させるが、実施はアクセシビリティを制限している。
ここでは、実証された科学的手法に基づく符号化エージェントのインフラを用いて、ナノ粒子超格子上での自律的シンクロトロンX線実験を人間の定義した目的の下で実証する。
完全な人間エージェントとエージェントエージェントの転写は、意思決定の成果を再構築し、認知労働の分裂を特徴づける監査を可能にする。
論文 参考訳(メタデータ) (2026-11-06T08:33:55Z) - PAPERBENCHX: Can AI Reproduce Science Across Disciplines? [30.406877789204447]
PAPERBENCHXは、12の研究領域にわたる93のエキスパートによるペーパー再現タスクのベンチマークである。
エージェントは、重要な実験を再構築し、それを実行し、診断し、ターゲットの科学的クレームをサポートする実行可能なワークフローを提供する。
その結果、紙の理解と再現可能な科学的証拠の確実な生成との間に大きなギャップが明らかとなった。
論文 参考訳(メタデータ) (2026-10-29T10:05:50Z) - Science sandboxes measure the scientific capability of AI agents [1.1846810006828092]
AIエージェントでこの能力を研究するためのフレームワークであるScience Sandboxを紹介します。
我々はこの枠組みを、規制ゲノム学のモデルとタンパク質の適合性予測の2つの生物学的設定でインスタンス化する。
特に、彼らの科学的推論は、ルールがよく知られた生物学的先行概念の外に落ちているシステムに遭遇した時に悪化した。
論文 参考訳(メタデータ) (2026-08-31T02:33:38Z) - Science Earth: Towards A Planet-Scale Operating System for AI-Native Scientific Discovery [51.70607714288616]
サイエンスアース(Science Earth)は、惑星規模の科学ランタイムで、あらゆる能力が他のものと接続できる。
その基盤となるEACNプロトコルは、機能を相互に発見し、タスクのオーナシップを交渉し、互換性のない明示的な標準を越えて判断することを可能にする。
2つの実行は、構造的に異なる条件下でこれを検証します。
論文 参考訳(メタデータ) (2026-05-31T16:05:41Z) - AutoScientists: Self-Organizing Agent Teams for Long-Running Scientific Experimentation [28.790523063833376]
AutoScientistsは、長期的な計算科学実験のためのAIエージェントの分散チームである。
エージェントは共有された実験状態を解釈し、実験計算を使用する前に、有望な仮説、批判的な提案に関するチームに自己組織化する。
一致した実験予算の下で、AutoScientistsは、バイオメディカル機械学習、言語モデルトレーニング最適化、タンパク質の適合性予測など、AIエージェントを改良する。
論文 参考訳(メタデータ) (2026-05-27T15:56:12Z) - SciPredict: Can LLMs Predict the Outcomes of Scientific Experiments in Natural Sciences? [36.56539892571017]
SciPredictは、物理、生物学、化学の33の専門分野における最近の経験的研究から405のタスクからなるベンチマークである。
モデルアキュラシーは14~26%、人間の専門家のパフォーマンスは$approx$20%である。
対照的に、人間の専門家は強い校正を証明している:それらの精度は、実験を行わずに結果をより予測できると判断し、$approx$5%から$approx$80%へと上昇する。
論文 参考訳(メタデータ) (2026-04-12T16:28:51Z) - Embodied Science: Closing the Discovery Loop with Agentic Embodied AI [73.54118756665221]
我々は、科学的発見をクローズドループとして再編成し、エージェント推論と物理的実行を密結合するパラダイムであるエンボディド・サイエンスを論じる。
本研究では,実験環境の知覚,科学的知識の推論,身体的介入の実行,その後の探索を促進するための成果の内在化といった,統合された知覚・言語・行動発見(PLAD)フレームワークを提案する。
論文 参考訳(メタデータ) (2026-03-20T09:20:12Z) - Probing Scientific General Intelligence of LLMs with Scientist-Aligned Workflows [203.3527268311731]
PIM(Practical Inquiry Model)に基づく運用SGI定義を提案する。
深層研究、アイデア生成、ドライ/ウェット実験、実験推論の4つのタスクを通じて運用しています。
私たちのPIMによる定義、ワークフロー中心のベンチマーク、実証的な洞察は、真に科学的な発見に参加するAIシステムの基盤を確立します。
論文 参考訳(メタデータ) (2025-12-18T12:44:36Z) - MOOSE-Chem3: Toward Experiment-Guided Hypothesis Ranking via Simulated Experimental Feedback [136.27567671480156]
先行テストからのフィードバックに基づいて仮説を優先順位付けする実験誘導ランキングを導入する。
我々は、シーケンシャルな意思決定問題として実験誘導型ランキングを定めている。
我々のアプローチは、実験前のベースラインと強い改善を著しく上回る。
論文 参考訳(メタデータ) (2025-05-23T13:24:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。