論文の概要: FrontierPhysics: Evaluating Agents for End-to-End Physics Research
- arxiv url: http://arxiv.org/abs/2611.06910v1
- Date: Wed, 04 Nov 2026 18:56:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.240548
- Title: FrontierPhysics: Evaluating Agents for End-to-End Physics Research
- Title（参考訳）: FrontierPhysics:エンド・ツー・エンド物理研究のためのエージェントの評価
- Abstract要約: 私たちはFrontierPhysicsを紹介します。FrontierPhysicsは、42人の物理学者による56のタスクを持つエンドツーエンドのベンチマークです。
それぞれのタスクには、文献をレビューし、研究計画を策定し、研究と実験を行い、構造化されたアウトプットと科学的な原稿を作成する必要がある。
26の構成で22モデルにまたがって、構成は168のロールアウトのうち46回以上は通過しない。
エージェント・トラジェクトリーのマニュアル・レビューでは、フロンティアエージェントの主な弱点は、物理知識や実行エラーのギャップよりも、厳密な推論と専門的な直観が不十分であることを示している。
- 参考スコア（独自算出の注目度）: 116.56295462840929
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI agents are playing an increasingly important role in physics research. However, existing physics benchmarks only evaluate fixed questions, isolated sub-tasks, or paper reproduction with given solutions, and rarely check research quality alongside correctness. We introduce FrontierPhysics, an end-to-end benchmark with 56 tasks made by 42 physicists based on their own research, covering nine domains across theoretical, computational, and experimental physics. Each task requires agents to review the literature, develop a research plan, conduct research and experiments, and produce structured outputs and scientific manuscripts. Combining deterministic verifiers with expert-authored rubrics, FrontierPhysics evaluates whether agents' research is correct and publishable. Across 22 models in 26 configurations, no configuration passes more than 46 of its 168 rollouts. Manual review of agent trajectories shows that frontier agents' main weaknesses are insufficiently rigorous reasoning and limited expert intuition, rather than gaps in physics knowledge or execution errors.
- Abstract（参考訳）: AIエージェントは物理学研究においてますます重要な役割を担っている。
しかし、既存の物理学ベンチマークでは、固定された質問、孤立したサブタスク、あるいは与えられた解による紙の再現のみを評価し、正しさとともに研究品質をチェックすることは稀である。
私たちはFrontierPhysicsを紹介します。これは、理論、計算、実験物理学の9つの領域をカバーする、42人の物理学者による56のタスクからなるエンドツーエンドのベンチマークです。
それぞれのタスクには、文献をレビューし、研究計画を策定し、研究と実験を行い、構造化されたアウトプットと科学的な原稿を作成する必要がある。
決定論的検証と専門家が認可したルーリックを組み合わせることで、FrontierPhysicsはエージェントの研究が正しく、出版可能であるかどうかを評価する。
26の構成で22モデルにまたがって、構成は168のロールアウトのうち46種類を超えない。
エージェント・トラジェクトリーのマニュアル・レビューでは、フロンティアエージェントの主な弱点は、物理知識や実行エラーのギャップよりも、厳密な推論と専門的な直観が不十分であることを示している。
関連論文リスト
- TheoPhysEval: Assessing AI agents at autonomous theoretical physics problem solving [29.464932609143535]
我々は、検証可能な答えを持つ50の未発表の研究レベルの理論物理学問題を提示する。
我々は、人間のヒントなしに、既製のAIエージェントがこれらの問題に自律的に取り組む能力をテストする。
論文 参考訳（メタデータ） (2026-10-09T13:47:49Z) - How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks [60.853503196898906]
主要な物理学ベンチマークに関する低報告のスコアは、フロンティア言語モデルが高度な物理学に苦しむことを示唆している。
我々は,6つの広く使用されている物理ベンチマークでフロンティアモデルを評価し,専門家と評価することで,これらの知見を再考する。
論文 参考訳（メタデータ） (2026-09-11T16:06:50Z) - ResearchClawBench: A Benchmark for End-to-End Autonomous Scientific Research [142.29356526274387]
我々は自律的な科学的研究を評価するためのベンチマークであるResearchClawBenchを紹介する。
各タスクは、実際の論文に基づき、関連する文献や生データを提供し、評価中に対象の論文を隠蔽する。
論文 参考訳（メタデータ） (2026-05-28T16:27:40Z) - PRL-Bench: A Comprehensive Benchmark Evaluating LLMs' Capabilities in Frontier Physics Research [43.71141859083647]
PRL-Benchは、エンドツーエンドの物理研究を実行するためのベンチマークである。
天体物理学、凝縮物質物理学、高エネルギー物理学、量子情報、統計物理学をカバーしている。
ベンチマークの各タスクは、真の科学研究のコア特性を再現するように設計されている。
論文 参考訳（メタデータ） (2026-04-16T16:22:04Z) - Probing the Critical Point (CritPt) of AI Reasoning: a Frontier Physics Research Benchmark [49.42250115889234]
本研究では,研究レベルの推論タスクにおいて,大規模言語モデル(LLM)をテストするために設計された最初のベンチマークを示す。
CritPtは71の複合研究課題からなる。
現在最先端のLCMは、孤立したチェックポイントを早期に保証しているが、完全な研究スケールの課題を確実に解決できるには程遠い。
論文 参考訳（メタデータ） (2025-09-30T17:34:03Z) - Can Theoretical Physics Research Benefit from Language Agents? [50.57057488167844]
大規模言語モデル(LLM)は、様々な領域にわたって急速に進歩しているが、理論物理学研究への応用はまだ成熟していない。
このポジションペーパーは、LLMエージェントが、ドメイン知識やツールボックスと適切に統合された場合、理論的、計算的、応用物理学を加速するのに役立つと主張している。
マルチモーダルデータを処理し、検証可能な仮説を提案し、設計実験を行う物理特殊化LSMを構想する。
論文 参考訳（メタデータ） (2025-06-06T16:20:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。