論文の概要: Theoretical Physics Benchmark (TPBench) -- a Dataset and Study of AI Reasoning Capabilities in Theoretical Physics

• arxiv url: http://arxiv.org/abs/2502.15815v1
• Date: Wed, 19 Feb 2025 19:00:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:55:52.037007
• Title: Theoretical Physics Benchmark (TPBench) -- a Dataset and Study of AI Reasoning Capabilities in Theoretical Physics
• Title（参考訳）: 理論物理学ベンチマーク(TPBench) - 理論物理学におけるAI推論能力のデータセットと研究
• Authors: Daniel J. H. Chung, Zhiqi Gao, Yurii Kvasiuk, Tianyi Li, Moritz Münchmeyer, Maja Rudolph, Frederic Sala, Sai Chaitanya Tadepalli,
• Abstract要約: 我々は、高エネルギー理論と宇宙論に焦点をあて、理論物理学における問題を解決するAIの能力を評価するためのベンチマークを導入する。 ベンチマークの最初のイテレーションは、学部レベルから研究レベルまで、難易度が異なる57の問題で構成されています。 我々は、o3-mini、o1、DeepSeek-R1、GPT-4o、LlamaとQwenのバージョンなど、オープンでクローズドな言語モデルでデータセットを評価した。
• 参考スコア（独自算出の注目度）: 13.530403536762064
• License:
• Abstract: We introduce a benchmark to evaluate the capability of AI to solve problems in theoretical physics, focusing on high-energy theory and cosmology. The first iteration of our benchmark consists of 57 problems of varying difficulty, from undergraduate to research level. These problems are novel in the sense that they do not come from public problem collections. We evaluate our data set on various open and closed language models, including o3-mini, o1, DeepSeek-R1, GPT-4o and versions of Llama and Qwen. While we find impressive progress in model performance with the most recent models, our research-level difficulty problems are mostly unsolved. We address challenges of auto-verifiability and grading, and discuss common failure modes. While currently state-of-the art models are still of limited use for researchers, our results show that AI assisted theoretical physics research may become possible in the near future. We discuss the main obstacles towards this goal and possible strategies to overcome them. The public problems and solutions, results for various models, and updates to the data set and score distribution, are available on the website of the dataset tpbench.org.
• Abstract（参考訳）: 我々は、高エネルギー理論と宇宙論に焦点をあて、理論物理学における問題を解決するAIの能力を評価するためのベンチマークを導入する。 ベンチマークの最初のイテレーションは、学部レベルから研究レベルまで、難易度が異なる57の問題で構成されています。 これらの問題は、公的な問題収集から来ないという意味では斬新である。 我々は、o3-mini、o1、DeepSeek-R1、GPT-4o、LlamaとQwenのバージョンなど、オープンでクローズドな言語モデルでデータセットを評価した。 最新のモデルでは,モデル性能の著しい進歩が見られるが,研究レベルの問題はほとんど解決されていない。 自動検証とグレーディングの課題に対処し、共通の障害モードについて議論する。 現在最先端の技術モデルはまだ研究者にしか使われていないが、我々の研究結果はAIが理論物理学の研究を支援することが近い将来可能になることを示唆している。 この目標に対する主な障害と、それを克服するための戦略について議論する。 データセットtpbench.orgのWebサイトでは、公開問題とソリューション、さまざまなモデルの結果、データセットとスコアの配布のアップデートが公開されている。

関連論文リスト

• PhysReason: A Comprehensive Benchmark towards Physics-Based Reasoning [36.193595420239845]
  1200プロブレムの大規模言語モデル評価ベンチマークであるPhysReasonを提案する。 問題は平均8.1の解ステップが必要で、ハードは15.6である。 Deepseek-R1、Gemini-2.0-Flash-Thinking、o3-mini-highといったトップパフォーマンスモデルは、回答レベルの評価で60%以下を実現している。
  論文  参考訳（メタデータ） (2025-02-17T17:24:14Z)
• MATH-Perturb: Benchmarking LLMs' Math Reasoning Abilities against Hard Perturbations [90.07275414500154]
  各種モデルにおけるMATH-P-Hardの性能低下を観察する。 また、学習した問題解決スキルを盲目的に適用する新しい形態の記憶に関する懸念も提起する。
  論文  参考訳（メタデータ） (2025-02-10T13:31:46Z)
• Do NOT Think That Much for 2+3=? On the Overthinking of o1-Like LLMs [76.43407125275202]
  o1のようなモデルは、推論中に人間のような長時間の思考をエミュレートすることができる。 本論文は,これらのモデルにおける過度な考察の課題に関する,最初の包括的研究である。 精度を損なうことなく、過剰思考を緩和し、推論プロセスを合理化するための戦略を提案する。
  論文  参考訳（メタデータ） (2024-12-30T18:55:12Z)
• Explore Theory of Mind: Program-guided adversarial data generation for theory of mind reasoning [88.68573198200698]
  本研究では,多様で挑戦的な心的データ理論を大規模に生成するための最初のフレームワークであるExploreToMを紹介する。 我々のアプローチは、A*検索をカスタムドメイン特化言語に利用して、複雑なストーリ構造と、新しく、多様だが、もっともらしいシナリオを生成します。 評価の結果,Llama-3.1-70B や GPT-4o などの最先端 LLM はExploreToM 生成データに対して0%,9% の精度を示した。
  論文  参考訳（メタデータ） (2024-12-12T21:29:00Z)
• OlympicArena: Benchmarking Multi-discipline Cognitive Reasoning for Superintelligent AI [73.75520820608232]
  我々は,11,163のバイリンガル問題を含む,テキストのみとインターリーブされたテキストイメージのモダリティを紹介する。 これらの課題には、7つのフィールドと62の国際オリンピック大会にわたる幅広い規律が含まれており、データ漏洩について厳格に調査されている。 我々の評価によると、GPT-4oのような先進モデルでさえ、複雑な推論とマルチモーダル統合における現在のAI制限を反映して、全体的な精度は39.97%しか達成していない。
  論文  参考訳（メタデータ） (2024-06-18T16:20:53Z)
• Physics simulation capabilities of LLMs [0.0]
  大規模言語モデル(LLM)は、学部レベルから大学院レベルの物理学教科書の問題を解くことができ、コーディングに精通している。 本稿では、PhDレベルから研究レベルの計算物理問題に対するSOTA (State-of-the-art) LLMの評価を行う。
  論文  参考訳（メタデータ） (2023-12-04T18:06:41Z)
• ACQUIRED: A Dataset for Answering Counterfactual Questions In Real-Life Videos [53.92440577914417]
  ACQUIREDは3.9Kの注釈付きビデオで構成され、幅広いイベントタイプを包含し、ファーストパーソンとサードパーソンの両方の視点を取り入れている。 各ビデオは、物理的、社会的、時間的な3つの異なる推論の次元にまたがる質問で注釈付けされている。 我々は,現在最先端の言語のみおよびマルチモーダルモデルに対して,我々のデータセットをベンチマークし,実験結果から大きな性能差が示された。
  論文  参考訳（メタデータ） (2023-11-02T22:17:03Z)
• How Much Coffee Was Consumed During EMNLP 2019? Fermi Problems: A New Reasoning Challenge for AI [32.54495599722743]
  我々は新たな推論問題、すなわちフェルミ問題(Fermi Problems, FPs)を提案する。 FPは、その正確な計算が非現実的であるか不可能であるため、答えをおよそ見積もることができる質問である。 1) クイズとオリンピアドから得られた1k個の実世界のFPの収集,2) より難しい実世界の挑戦のためのサンドボックスとして機能する10k個の合成FPのバンク。
  論文  参考訳（メタデータ） (2021-10-27T06:39:33Z)
• OpenHoldem: An Open Toolkit for Large-Scale Imperfect-Information Game Research [82.09426894653237]
  OpenHoldemは、NLTHを用いた大規模不完全情報ゲーム研究のための統合ツールキットです。 1)異なるNLTH AIを徹底的に評価するための標準化された評価プロトコル、2)NLTH AIのための3つの公的に利用可能な強力なベースライン、3)公開NLTH AI評価のための使いやすいAPIを備えたオンラインテストプラットフォーム。
  論文  参考訳（メタデータ） (2020-12-11T07:24:08Z)
• Living in the Physics and Machine Learning Interplay for Earth Observation [7.669855697331746]
  推論は変数の関係を理解し、物理的に解釈可能なモデルを導出することを意味する。 機械学習モデルだけでも優れた近似器であるが、物理学の最も基本的な法則を尊重しないことが多い。 これは、地球系の知識を発見できるアルゴリズムを開発し、適用するための、長期的なAIの集合的なアジェンダである。
  論文  参考訳（メタデータ） (2020-10-18T16:58:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。