論文の概要: PRBench: End-to-end Paper Reproduction in Physics Research

• arxiv url: http://arxiv.org/abs/2603.27646v1
• Date: Sun, 29 Mar 2026 11:44:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 23:18:45.054235
• Title: PRBench: End-to-end Paper Reproduction in Physics Research
• Title（参考訳）: PRBench:物理学研究におけるエンドツーエンドのペーパー再現
• Abstract要約: PRBenchは、11のサブフィールドにまたがる30の専門家によるタスクのベンチマークである。 エージェントは、タスク命令と紙の内容のみを提供し、サンドボックス実行環境で動作させる。 PRBench上の符号化エージェントのセットを評価し,科学的推論と実行の重要な側面にわたってそれらの能力を分析する。
• 参考スコア（独自算出の注目度）: 32.672534450424386
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI agents powered by large language models exhibit strong reasoning and problem-solving capabilities, enabling them to assist scientific research tasks such as formula derivation and code generation. However, whether these agents can reliably perform end-to-end reproduction from real scientific papers remains an open question. We introduce PRBench, a benchmark of 30 expert-curated tasks spanning 11 subfields of physics. Each task requires an agent to comprehend the methodology of a published paper, implement the corresponding algorithms from scratch, and produce quantitative results matching the original publication. Agents are provided only with the task instruction and paper content, and operate in a sandboxed execution environment. All tasks are contributed by domain experts from over 20 research groups at the School of Physics, Peking University, each grounded in a real published paper and validated through end-to-end reproduction with verified ground-truth results and detailed scoring rubrics. Using an agentified assessment pipeline, we evaluate a set of coding agents on PRBench and analyze their capabilities across key dimensions of scientific reasoning and execution. The best-performing agent, OpenAI Codex powered by GPT-5.3-Codex, achieves a mean overall score of 34%. All agents exhibit a zero end-to-end callback success rate, with particularly poor performance in data accuracy and code correctness. We further identify systematic failure modes, including errors in formula implementation, inability to debug numerical simulations, and fabrication of output data. Overall, PRBench provides a rigorous benchmark for evaluating progress toward autonomous scientific research.
• Abstract（参考訳）: 大規模言語モデルを利用したAIエージェントは、強力な推論と問題解決能力を示し、公式の導出やコード生成といった科学的研究タスクを支援することができる。 しかし、これらのエージェントが実際の科学論文からエンド・ツー・エンドの再現を確実に行うことができるかどうかは未解決の問題である。 我々は,11のサブフィールドにまたがる30のエキスパート計算タスクのベンチマークであるPRBenchを紹介する。 各タスクには、発行された論文の方法論を理解し、対応するアルゴリズムをスクラッチから実装し、元の出版と一致する定量的な結果を生成するエージェントが必要である。 エージェントは、タスク命令と紙の内容のみを提供し、サンドボックス実行環境で動作させる。 すべてのタスクは、北京大学物理学部の20以上の研究グループのドメイン専門家によって提供され、それぞれが実際に公開された論文に基づき、検証済みの地味な結果と詳細なスコアリングルーブリックによって、エンドツーエンドの再現を通じて検証される。 エージェント化されたアセスメントパイプラインを用いて,PRBench上の符号化エージェントのセットを評価し,科学的推論と実行の重要な次元にわたってそれらの能力を分析する。 GPT-5.3-Codexをベースとする最高のパフォーマンスエージェントであるOpenAI Codexは、平均34%のスコアを得る。 すべてのエージェントはエンドツーエンドのコールバック成功率をゼロとし、特にデータの正確性やコードの正確性は低い。 さらに、公式実装におけるエラー、数値シミュレーションのデバッグができないこと、出力データの作成など、系統的な障害モードを同定する。 PRBenchは、自律的な科学研究の進歩を評価するための厳格なベンチマークを提供する。

関連論文リスト

• AI for Auto-Research: Roadmap & User Guide [107.0834449839233]
  研究ライフサイクル全体にわたってAIをエンドツーエンドに分析する。 我々は、信頼できる援助と信頼できない自律性の間に、鋭くステージに依存した境界を特定できる。 障害モードを排除するのではなく、より大きな自動化が不明瞭であることが示されています。
  論文  参考訳（メタデータ） (2026-05-18T17:08:26Z)
• Collider-Bench: Benchmarking AI Agents with Particle Physics Analysis Reproduction [0.02446672595462589]
  我々は,LHC(Large Hadron Collider)から,公開論文とオープンサイエンスソフトウェアのみを用いて,言語モデルエージェントが実験分析を再現できるかどうかを評価するベンチマークであるCollind-Benchを紹介する。 したがってエージェントは、これらのギャップを埋めるために、物理的推論、ドメイン知識、試行錯誤に頼らなければならない。 以上の結果から, 平均的なエージェントが, ループ内解法を確実に打ち負かすことは不可能であることが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T18:00:00Z)
• Can Coding Agents Reproduce Findings in Computational Materials Science? [49.254975563645786]
  本稿では,大規模言語モデルの科学的主張を再現する能力を評価するためのベンチマークであるAutoMatを紹介する。 課題を専門とする専門家と緊密に連携することで、実際の材料科学論文からの一連の主張をキュレートし、コーディングエージェントがエンドツーエンドのワークフローを回復し実行できるかどうかを検証します。 結果、現在のLSMベースのエージェントはAutoMatの全体的な成功率を低くし、最も優れた設定は54.1%に過ぎなかった。
  論文  参考訳（メタデータ） (2026-05-01T17:42:12Z)
• AutoResearchBench: Benchmarking AI Agents on Complex Scientific Literature Discovery [55.70879973230979]
  AutoResearchBenchは、自律的な科学文献発見のためのベンチマークである。 エージェントWebブラウジングに関する以前のベンチマークと比較すると、AutoResearchBenchは研究指向である。 最も強力なLCMでさえ、BrowseCompのような一般的なエージェントによるWebブラウジングベンチマークをほとんど征服したにもかかわらず、Deep Researchでは9.39%、Wide Researchでは9.31%の精度しか達成していない。
  論文  参考訳（メタデータ） (2026-04-28T06:05:17Z)
• AIDABench: AI Data Analytics Benchmark [62.45908988324612]
  AIDABenchは、複雑なデータ分析タスクのAIシステムをエンドツーエンドで評価するためのベンチマークである。 AIDABenchは、質問応答、データビジュアライゼーション、ファイル生成という3つのコア機能ディメンションにまたがる600以上の多様なドキュメント分析タスクを含んでいる。 AIDABenchの11の最先端モデルを評価し、プロプライエタリ(Claude Sonnet 4.5、Gemini 3 Pro Previewなど)とオープンソース(Qwen3-Max-2026-01-23-Thinkingなど)の両方を対象とする。
  論文  参考訳（メタデータ） (2026-02-27T08:58:05Z)
• ResearchGym: Evaluating Language Model Agents on Real-World AI Research [48.46915933681714]
  我々は、エンドツーエンドの研究においてAIエージェントを評価するためのベンチマークおよび実行環境であるResearchGymを紹介する。 これを実現するために,ICML,ICLR,ACLの5つの口頭およびスポットライト論文を再利用した。 GPT-5を動力とするエージェントの制御評価において、我々は鋭い能力-信頼性ギャップを観察する。
  論文  参考訳（メタデータ） (2026-02-16T19:00:03Z)
• AIRS-Bench: a Suite of Tasks for Frontier AI Research Science Agents [49.67355440164857]
  AIRS-Benchは、最先端の機械学習論文から得られた20のタスクからなるスイートである。 Airs-Benchタスクは、研究ライフサイクル全体のエージェント能力を評価する。 本稿では,AIRS-Benchタスク定義と評価コードをオープンソースとして公開し,自律科学研究のさらなる発展を促す。
  論文  参考訳（メタデータ） (2026-02-06T16:45:02Z)
• ReplicationBench: Can AI Agents Replicate Astrophysics Research Papers? [29.17900668495058]
  本稿では、フロンティアAIエージェントの評価フレームワークであるReplicationBenchを紹介する。 天体物理学の文献から得られた研究論文全体を、エージェントが複製できるかどうかを検査する。 R ReplicationBenchは、論文スケールで専門家が検証した天体物理学の研究タスクの最初のベンチマークを確立している。
  論文  参考訳（メタデータ） (2025-10-28T16:21:19Z)
• RExBench: Can coding agents autonomously implement AI research extensions? [14.147417159347448]
  LLM(Large Language Models)に基づくエージェントは、高度なソフトウェアエンジニアリングタスクを自律的に実行することを約束している。 研究拡張とその実装は,このようなシステムにとって重要な能力である,と我々は主張する。 この機能の評価をサポートするために、RExBenchを導入します。
  論文  参考訳（メタデータ） (2025-06-27T19:41:41Z)
• FieldWorkArena: Agentic AI Benchmark for Real Field Work Tasks [52.47895046206854]
  FieldWorkArenaは、現実世界のフィールドワークをターゲットにしたエージェントAIのベンチマークである。 本稿では、エージェントAIが現実世界の作業環境ベンチマークのために持つべき新しいアクション空間を定義する。
  論文  参考訳（メタデータ） (2025-05-26T08:21:46Z)
• PaperBench: Evaluating AI's Ability to Replicate AI Research [3.4567792239799133]
  PaperBenchは、AIエージェントが最先端のAI研究を複製する能力を評価するベンチマークである。 エージェントは、スクラッチから20個のICML 2024 SpotlightとOralの文書を複製する必要がある。 PaperBenchには8,316の個別の段階的なタスクが含まれている。
  論文  参考訳（メタデータ） (2025-04-02T15:55:24Z)
• ScienceAgentBench: Toward Rigorous Assessment of Language Agents for Data-Driven Scientific Discovery [23.773528748933934]
  我々は、データ駆動科学発見のための言語エージェントを評価するための新しいベンチマークであるScienceAgentBenchを紹介する。 44の査読論文から4つの分野の102の課題を抽出し,9つの課題の専門家による検証を行った。 ScienceAgentBenchを使って、オープンウェイトでプロプライエタリなLLMを5つ評価し、それぞれにダイレクトプロンプト、OpenHands CodeAct、セルフAIの3つのフレームワークを持つ。
  論文  参考訳（メタデータ） (2024-10-07T14:33:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。