論文の概要: PAPERBENCHX: Can AI Reproduce Science Across Disciplines?

• arxiv url: http://arxiv.org/abs/2610.39744v1
• Date: Thu, 29 Oct 2026 10:05:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:10.074729
• Title: PAPERBENCHX: Can AI Reproduce Science Across Disciplines?
• Title（参考訳）: PAPERBENCHX:AIは学際的に科学を再現できるのか?
• Abstract要約: PAPERBENCHXは、12の研究領域にわたる93のエキスパートによるペーパー再現タスクのベンチマークである。 エージェントは、重要な実験を再構築し、それを実行し、診断し、ターゲットの科学的クレームをサポートする実行可能なワークフローを提供する。 その結果、紙の理解と再現可能な科学的証拠の確実な生成との間に大きなギャップが明らかとなった。
• 参考スコア（独自算出の注目度）: 30.406877789204447
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Before AI can be trusted to discover new science, it should be able to reproduce what science already knows. Reproduction provides a rigorous checkpoint for an AI scientist: the target claim is known, yet recovering it still requires translating an incomplete scientific description into an executable experiment and producing evidence that can be independently verified. Existing research-reproduction benchmarks largely focus on AI and machine learning, where experiments share relatively homogeneous software stacks. Extending this capability across scientific disciplines introduces a different challenge: agents must operate domain-specific scientific software, make physical and numerical choices, diagnose long-running computations, and distinguish valid evidence from merely plausible outputs. We introduce PAPERBENCHX, a benchmark of 93 expert-constructed paper-reproduction tasks spanning 12 research areas across electromagnetics, photonics, chemistry, materials science, biology, and robotics. Each task provides the source paper, a public task specification, and a domain-native scientific environment involving specialized scientific software. Agents must reconstruct a key experiment, execute and diagnose it, and deliver a runnable workflow that supports the target scientific claim. To evaluate scientific validity rather than surface-level agreement, we replay every submission from scratch and score only regenerated evidence against expert-validated criteria. Across 10 frontier agent configurations, the best configuration fully reproduces only 14% tasks under the 90% threshold. Meanwhile, mean rubric scores range from 27.53% to 59.08%, indicating that substantial partial progress rarely translates into complete scientific reproduction. These results reveal a large gap between paper understanding and reliably producing reproducible scientific evidence.
• Abstract（参考訳）: AIが新しい科学を発見するために信頼される前に、科学がすでに知っていることを再現できるはずだ。 対象のクレームは分かっていますが、それを回復するには、不完全な科学的記述を実行可能な実験に翻訳し、独立して検証可能な証拠を生成する必要があります。 既存の研究-再現ベンチマークは主にAIと機械学習に焦点を当てており、実験は比較的均質なソフトウェアスタックを共有する。 エージェントは、ドメイン固有の科学ソフトウェアを運用し、物理的および数値的な選択を行い、長期にわたる計算を診断し、有効な証拠を単に妥当な出力と区別しなければならない。 我々は、電磁、フォトニクス、化学、材料科学、生物学、ロボット工学の12分野にまたがる、93の専門家によるペーパー再現タスクのベンチマークであるPAPERBENCHXを紹介した。 各タスクは、ソースペーパー、公開タスク仕様、および専門的な科学ソフトウェアを含むドメインネイティブな科学環境を提供する。 エージェントは、重要な実験を再構築し、それを実行し、診断し、ターゲットとする科学的クレームをサポートする実行可能なワークフローを提供する必要がある。 表面レベルの合意よりも科学的妥当性を評価するため、スクラッチから全ての提出を再生し、専門家が検証した基準に対してのみ証拠を再生する。 10のフロンティアエージェント構成で、最高の設定は90%の閾値で14%のタスクを完全に再現する。 一方、平均ルーリックスコアは27.53%から59.08%の範囲であり、かなりの部分的な進歩が完全に科学的に再現されることは滅多にないことを示している。 これらの結果は、紙の理解と再現可能な科学的証拠の確実な生成との間に大きなギャップがあることを明らかにする。

関連論文リスト

• Into the Unknown: Benchmarking AI agents on open scientific research problems [81.74071899184418]
  Into the Unknownは、エージェントに科学論文を提供するベンチマークであり、フォローアップ論文を書くための研究の方向性とタスクを提供する。 9つのフロンティアエージェントがそれぞれ15のフォローアップを書き、量子コンピューティング、プラズマ物理学、計算化学、材料科学、科学機械学習ドメインにまたがっている。 135件の提出はいずれもすべての条件を満たしておらず、114件が完全性検査に失敗している。
  論文  参考訳（メタデータ） (2026-10-13T20:25:59Z)
• Can LLMs Discover Scientific Laws in Real and Parallel Worlds? [58.76147897928744]
  SCILAWS-BENCHは、公表された研究と実際の科学データから構築された科学法発見のためのベンチマークである。 381の科学論文から118の問題を抽出し、291の法則と6つの科学分野にわたる800万の実際のデータポイントをカバーしている。 予測適合性は、科学的妥当性から分岐し、モデルが公表された公式を再現するか、移動するかを記憶する形に変化し、我々のベスト・オブ・N研究は選択ボトルネックを明らかにした。
  論文  参考訳（メタデータ） (2026-09-01T17:17:59Z)
• SWE-bench Science: Can Coding Agents Resolve Engineering Tasks in Science? [60.11366724565423]
  SWE-bench Scienceは、20の科学ドメインにわたる98のGitHubリポジトリから119のタスクからなる、科学ソフトウェアエンジニアリングのためのリポジトリレベルのベンチマークである。 科学的知識や抽象化の欠如、誤った調査や表面レベルの修復、不完全な修復のカバレッジやシステム統合、そして我々の分析で観察されたケースを超えて科学的知識を一般化する失敗の4つの失敗メカニズムを特定します。
  論文  参考訳（メタデータ） (2026-08-20T08:53:15Z)
• Embodied Science: Closing the Discovery Loop with Agentic Embodied AI [73.54118756665221]
  我々は、科学的発見をクローズドループとして再編成し、エージェント推論と物理的実行を密結合するパラダイムであるエンボディド・サイエンスを論じる。 本研究では,実験環境の知覚,科学的知識の推論,身体的介入の実行,その後の探索を促進するための成果の内在化といった,統合された知覚・言語・行動発見(PLAD)フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-20T09:20:12Z)
• Probing Scientific General Intelligence of LLMs with Scientist-Aligned Workflows [203.3527268311731]
  PIM(Practical Inquiry Model)に基づく運用SGI定義を提案する。 深層研究、アイデア生成、ドライ/ウェット実験、実験推論の4つのタスクを通じて運用しています。 私たちのPIMによる定義、ワークフロー中心のベンチマーク、実証的な洞察は、真に科学的な発見に参加するAIシステムの基盤を確立します。
  論文  参考訳（メタデータ） (2025-12-18T12:44:36Z)
• Virtuous Machines: Towards Artificial General Science [0.0]
  ドメインに依存しないエージェント型AIシステムが、科学的なワークフローを独立してナビゲートできることを示します。 このシステムは視覚的作業記憶、精神的な回転、イメージの鮮明さに関する3つの心理学的研究を自律的に設計し実行した。
  論文  参考訳（メタデータ） (2025-08-19T00:35:56Z)
• A Framework for Supporting the Reproducibility of Computational Experiments in Multiple Scientific Domains [2.147712260420443]
  近年、研究コミュニティや一般大衆は、科学的研究の再現性について深刻な疑問を提起している。 本稿では,計算実験の構成,実行,パッケージングをサポートするSciRepというフレームワークを提案する。 我々のアプローチは、あらゆるコンピュータで再実行可能な、複数の科学分野から実験用のパッケージを作成することを可能にする。
  論文  参考訳（メタデータ） (2025-03-10T09:02:01Z)
• Fact or Fiction: Verifying Scientific Claims [53.29101835904273]
  本稿では,研究文献から,REFUTESやREFUTESが与えられた科学的主張であることを示す証拠を含む抄録を抽出する新たな課題である,科学的クレーム検証を紹介する。 SciFactは、1.4Kの専門家による科学的主張と、ラベルや合理性に注釈を付けたエビデンスを含む抽象概念を組み合わせたデータセットである。 このシステムは,CORD-19コーパスの証拠を同定することにより,新型コロナウイルス関連クレームを検証可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-30T17:22:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。