論文の概要: From Research Goals to Scientific Closure: Evaluating Agents Through Evidence-Supported Physics Research

• arxiv url: http://arxiv.org/abs/2610.21767v1
• Date: Thu, 15 Oct 2026 12:23:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.064581
• Title: From Research Goals to Scientific Closure: Evaluating Agents Through Evidence-Supported Physics Research
• Title（参考訳）: 研究目標から科学クロージャへ:エビデンス対応物理研究を通してエージェントを評価する
• Abstract要約: 我々はPhysClosureBenchについて紹介する。 各タスクは研究目的と本質的な科学的制約を特定する。 20基準のアトミックスコアは、局所的な科学的成果を測定する。 リサーチクロージャ(RC0--RC4)は、特定の研究課題がどの程度完全に解決されるかを評価する。
• 参考スコア（独自算出の注目度）: 25.747853130409364
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can AI agents organize scientific investigations that lead to well-supported conclusions? To evaluate this capability, we introduce PhysClosureBench, a benchmark of 50 expert-verified, goal-specified research tasks spanning strong-field, attosecond, and neighboring physics areas. Each task specifies the research objective and essential scientific constraints, while leaving the agent to organize the investigation and determine how to generate and validate the evidence needed to answer the question. A 20-criterion Atomic Score measures local scientific accomplishment, while Research Closure (RC0--RC4) assesses how fully the investigation resolves the specified research question based on whether its indispensable evidence requirements and applicable scope conditions are satisfied. We evaluate seven frontier LLMs, where Claude-Opus-5 achieves the highest mean Atomic Score (6.29/10) but reaches RC4 in only 32.7% of attempts. Across the benchmark, 36.2% of attempts scoring at least 8/10 still fall short of RC4, while all seven models reach RC4 on substantially fewer tasks in all three runs than in at least one. Case-level analysis further illustrates how misinterpretation of generated results and unresolved physical applicability limits can lead to incomplete closure. Together, these results reveal a persistent gap between AI agents' local scientific accomplishments and their ability to achieve complete research closure.
• Abstract（参考訳）: AIエージェントは、十分に支持された結論に至る科学的調査を組織できるだろうか? この能力を評価するためにPhysClosureBenchを紹介した。PhysClosureBenchは、強磁場、アト秒、近隣の物理学領域にまたがる50の専門的、目標特定研究課題のベンチマークである。 各タスクは研究目的と重要な科学的制約を特定し、エージェントは調査を組織し、質問に答えるために必要な証拠の生成と検証の方法を決定する。 20基準のアトミックスコアは局所的な科学的成果を計測し、リサーチクロージャ(RC0-RC4)は、その必要不可欠な証拠要件と適用範囲条件が満たされているかどうかに基づいて、調査が特定の研究課題をどの程度完全に解決するかを評価する。 我々は7つのフロンティアLSMを評価し、Claude-Opus-5は最も高いアトミックスコア(6.29/10)を達成したが、わずか32.7%の試行でRC4に達した。 ベンチマーク全体では、少なくとも8/10の試験の36.2%はRC4に届かなかったが、7つのモデルは全てRC4に到達した。 ケースレベル解析は、生成した結果と未解決の物理的適用限界の誤解釈が、不完全閉ざしにつながることをさらに示している。 これらの結果は、AIエージェントの局所的な科学的成果と、完全な研究閉鎖を達成する能力の間に永続的なギャップがあることを明らかにする。

関連論文リスト

• Sci-MMR: Benchmarking Multi-Step Evidence-Grounded Scientific Reasoning in Multimodal Agents [56.93800079330285]
  既存のマルチモーダルベンチマークは、最終回答の精度を大きく評価する。 我々は,多段階のエビデンスに基づく科学的推論のためのベンチマークであるSci-MMRを紹介する。 その結果,解答精度は完全証拠回収率を20%以上上回ることがわかった。
  論文  参考訳（メタデータ） (2026-09-10T08:41:07Z)
• FrontierChallenge: Evaluating Scientific Workflow Completion [59.601983661596286]
  私たちは300のエンドツーエンドの科学的成果物からなるクロスドメインベンチマークであるFrontierChallengeを紹介します。 量子化学、分子動力学、材料特性評価、分析化学、生命科学、電気化学・環境学にまたがる97の課題を公表し評価する。 高い部分的なスコアも自信のある完成のクレームも、科学的タスクが完全に納品されたことを確実に示さないことが分かりました。
  論文  参考訳（メタデータ） (2026-08-25T16:50:58Z)
• ResearchClawBench: A Benchmark for End-to-End Autonomous Scientific Research [142.29356526274387]
  我々は自律的な科学的研究を評価するためのベンチマークであるResearchClawBenchを紹介する。 各タスクは、実際の論文に基づき、関連する文献や生データを提供し、評価中に対象の論文を隠蔽する。
  論文  参考訳（メタデータ） (2026-05-28T16:27:40Z)
• ScientistOne: Towards Human-Level Autonomous Research via Chain-of-Evidence [57.37494162084001]
  チェーン・オブ・エビデンス(Chain-of-Evidence, CoE)は、すべてのクレームがエビデンス・ソースにトレース可能であることを要求する検証可能なフレームワークである。 CoE Auditはポストホック監査であり、スコア検証、仕様違反、参照検証、メソッドコードアライメントという4つの整合性チェックが全システムに均一に適用される。
  論文  参考訳（メタデータ） (2026-05-25T21:30:27Z)
• FIRE-Bench: Evaluating Agents on the Rediscovery of Scientific Insights [63.32178443510396]
  FIRE-Bench (Full-cycle Insight Rediscovery Evaluation) は、確立された発見の再検討を通じてエージェントを評価するベンチマークである。 最強のエージェントでさえ、限られた再発見成功(50 F1)を達成し、実行中に高いばらつきを示し、実験的な設計、実行、エビデンスに基づく推論において繰り返し失敗モードを表示する。
  論文  参考訳（メタデータ） (2026-02-02T23:21:13Z)
• Rethinking the AI Scientist: Interactive Multi-Agent Workflows for Scientific Discovery [0.17341675932416767]
  本稿では,数分で測定したターンアラウンド時間を用いて,インタラクティブな科学的調査を可能にするマルチエージェントシステムであるDeep Researchを紹介する。 このアーキテクチャは、永続的な世界状態を通じて統合された計画、データ分析、文献検索、新規性検出のための特殊なエージェントから構成される。 BixBenchの計算生物学ベンチマークによる評価は、最先端のパフォーマンスを示し、オープンレスポンスでは48.8%、マルチチョイス評価では64.4%の精度を達成した。
  論文  参考訳（メタデータ） (2026-01-18T19:12:41Z)
• Probing Scientific General Intelligence of LLMs with Scientist-Aligned Workflows [203.3527268311731]
  PIM(Practical Inquiry Model)に基づく運用SGI定義を提案する。 深層研究、アイデア生成、ドライ/ウェット実験、実験推論の4つのタスクを通じて運用しています。 私たちのPIMによる定義、ワークフロー中心のベンチマーク、実証的な洞察は、真に科学的な発見に参加するAIシステムの基盤を確立します。
  論文  参考訳（メタデータ） (2025-12-18T12:44:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。