論文の概要: TheoPhysEval: Assessing AI agents at autonomous theoretical physics problem solving
- arxiv url: http://arxiv.org/abs/2610.16733v1
- Date: Fri, 09 Oct 2026 13:47:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.374274
- Title: TheoPhysEval: Assessing AI agents at autonomous theoretical physics problem solving
- Title（参考訳）: TheoPhysEval: 自律的理論物理学の問題解決におけるAIエージェントの評価
- Abstract要約: 我々は、検証可能な答えを持つ50の未発表の研究レベルの理論物理学問題を提示する。
我々は、人間のヒントなしに、既製のAIエージェントがこれらの問題に自律的に取り組む能力をテストする。
- 参考スコア（独自算出の注目度）: 29.464932609143535
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We present a suite of 50 unpublished research-level theoretical physics problems with verifiable answers. Without AI assistance, a typical problem in our collection could be solved by a world expert in about a day or less but would take considerably longer for experts in adjacent specialties. We test the ability of off-the-shelf AI agents to tackle these problems autonomously, without human hints. When given access to tools available in a realistic setting, including the ability to search the literature and write scripts for numerical and symbolic work, the best-performing agent, GPT-6-Astra harnessed in Codex, obtains the final answers with a near-perfect accuracy of 98% at an average cost under USD 3 per problem. On average, agents show only small changes in accuracy when denied web search and access to background research papers, suggesting significant memorization of the literature. These results suggest that state-of-the-art agents can accurately perform concrete calculations required across theoretical physics research. We comment on the broader implications of these findings and discuss possible explanations for the current lack of agent-led breakthroughs in theoretical physics despite their outstanding problem-solving abilities.
- Abstract（参考訳）: 我々は、検証可能な答えを持つ50の未発表の研究レベルの理論物理学問題を提示する。
AIの助けがなければ、私たちのコレクションの典型的な問題は、世界の専門家によって約1日以内に解決されるが、隣接する専門分野の専門家にとっては、かなり長い時間がかかるだろう。
我々は、人間のヒントなしに、既製のAIエージェントがこれらの問題に自律的に取り組む能力をテストする。
数値的および記号的作業のための文献の検索やスクリプト作成など、現実的な環境で利用可能なツールへのアクセスを与えられると、最高のパフォーマンスエージェントであるGPT-6-Astraがコーデックスで利用し、問題ごとのUSD 3の平均的なコストで、ほぼ完璧な精度で最終回答を得る。
平均的なエージェントは、ウェブ検索を拒否し、背景研究論文にアクセスした場合、わずかな精度の変化しか示さず、文献の顕著な記憶が示唆されている。
これらの結果は、最先端のエージェントが理論物理学研究で必要とされる具体的な計算を正確に行うことができることを示唆している。
これらの発見の広範な意味についてコメントし、その卓越した問題解決能力に拘わらず、理論物理学におけるエージェント主導のブレークスルーが現在欠如している可能性について論じる。
関連論文リスト
- Into the Unknown: Benchmarking AI agents on open scientific research problems [81.74071899184418]
Into the Unknownは、エージェントに科学論文を提供するベンチマークであり、フォローアップ論文を書くための研究の方向性とタスクを提供する。
9つのフロンティアエージェントがそれぞれ15のフォローアップを書き、量子コンピューティング、プラズマ物理学、計算化学、材料科学、科学機械学習ドメインにまたがっている。
135件の提出はいずれもすべての条件を満たしておらず、114件が完全性検査に失敗している。
論文 参考訳（メタデータ） (2026-10-13T20:25:59Z) - Benchmarking AI Agents for Addressing Scientific Challenges Across Scales [118.2204632627895]
SciAgentArenaは、現実世界の科学研究シナリオでAIエージェントを評価するための体系的なベンチマークである。
ステップワイズ検証を備えた約200のタスクと、多様なAIエージェントを評価するためのインタラクティブでエージェントに依存しない環境で構成される。
タスク構造や評価基準が明確である場合, 現状のエージェントはデータ分析に効果的に貢献できることがわかった。
論文 参考訳（メタデータ） (2026-06-10T22:55:30Z) - PRBench: End-to-end Paper Reproduction in Physics Research [32.672534450424386]
PRBenchは、11のサブフィールドにまたがる30の専門家によるタスクのベンチマークである。
エージェントは、タスク命令と紙の内容のみを提供し、サンドボックス実行環境で動作させる。
PRBench上の符号化エージェントのセットを評価し,科学的推論と実行の重要な側面にわたってそれらの能力を分析する。
論文 参考訳（メタデータ） (2026-03-29T11:44:57Z) - The AI Research Assistant: Promise, Peril, and a Proof of Concept [0.0]
詳細な事例研究を通じて実証的な証拠を提供する。
コラボレーションによって、注目すべき機能と限界の両方が明らかになった。
我々の経験から、適切な懐疑論や検証プロトコルを使用すると、AIツールは数学的発見を有意義に加速させることができることが示唆されている。
論文 参考訳（メタデータ） (2026-02-26T10:29:05Z) - Towards Autonomous Mathematics Research [48.29504087871558]
Aletheiaは、自然言語のエンドツーエンドの解を反復的に生成し、検証し、修正する数学研究エージェントである。
具体的には、AletheiaはGemini Deep Thinkの高度なバージョンで、推論の問題に挑戦している。
我々は、オリンピアード問題から博士レベルのエクササイズまで、AI支援数学研究におけるいくつかのマイルストーンを通じて、アレクシアを実証する。
論文 参考訳（メタデータ） (2026-02-10T18:50:15Z) - PhysMaster: Building an Autonomous AI Physicist for Theoretical and Computational Physics Research [45.393852582578695]
本稿では,自律的理論・計算物理学者であるPhysMasterを提案する。
我々は, 高エネルギー理論, 凝縮物質理論から天体物理学へ, (i) 加速, 労働集約的な研究を数ヶ月から数時間に圧縮, (ii) 自動化, 仮説駆動ループの自律実行, (iii) 自律的発見, オープンな問題を独立して探索する。
論文 参考訳（メタデータ） (2025-12-22T19:00:15Z) - ReplicationBench: Can AI Agents Replicate Astrophysics Research Papers? [29.17900668495058]
本稿では、フロンティアAIエージェントの評価フレームワークであるReplicationBenchを紹介する。
天体物理学の文献から得られた研究論文全体を、エージェントが複製できるかどうかを検査する。
R ReplicationBenchは、論文スケールで専門家が検証した天体物理学の研究タスクの最初のベンチマークを確立している。
論文 参考訳（メタデータ） (2025-10-28T16:21:19Z) - Probing the Critical Point (CritPt) of AI Reasoning: a Frontier Physics Research Benchmark [49.42250115889234]
本研究では,研究レベルの推論タスクにおいて,大規模言語モデル(LLM)をテストするために設計された最初のベンチマークを示す。
CritPtは71の複合研究課題からなる。
現在最先端のLCMは、孤立したチェックポイントを早期に保証しているが、完全な研究スケールの課題を確実に解決できるには程遠い。
論文 参考訳（メタデータ） (2025-09-30T17:34:03Z) - Can Theoretical Physics Research Benefit from Language Agents? [50.57057488167844]
大規模言語モデル(LLM)は、様々な領域にわたって急速に進歩しているが、理論物理学研究への応用はまだ成熟していない。
このポジションペーパーは、LLMエージェントが、ドメイン知識やツールボックスと適切に統合された場合、理論的、計算的、応用物理学を加速するのに役立つと主張している。
マルチモーダルデータを処理し、検証可能な仮説を提案し、設計実験を行う物理特殊化LSMを構想する。
論文 参考訳（メタデータ） (2025-06-06T16:20:06Z) - Theoretical Physics Benchmark (TPBench) -- a Dataset and Study of AI Reasoning Capabilities in Theoretical Physics [13.530403536762064]
我々は、高エネルギー理論と宇宙論に焦点をあて、理論物理学における問題を解決するAIの能力を評価するためのベンチマークを導入する。
ベンチマークの最初のイテレーションは、学部レベルから研究レベルまで、難易度が異なる57の問題で構成されています。
我々は、o3-mini、o1、DeepSeek-R1、GPT-4o、LlamaとQwenのバージョンなど、オープンでクローズドな言語モデルでデータセットを評価した。
論文 参考訳（メタデータ） (2025-02-19T19:00:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。