論文の概要: Assessing AI in Introductory Physics Problem Solving
- arxiv url: http://arxiv.org/abs/2607.14303v1
- Date: Wed, 15 Jul 2026 19:08:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:32.892353
- Title: Assessing AI in Introductory Physics Problem Solving
- Title（参考訳）: 物理入門問題の解法におけるAIの評価
- Abstract要約: 推論スケーリングモデル(Reasoning or Inference-scaling model)は、複雑な問題解決が可能な、新しい世代の大規模言語モデルである。
OpenAIによるo4-miniモデルの評価を行った。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reasoning or inference-scaling models are the new generation of Large Language Models (LLMs) capable of complex problem solving. To investigate their problem-solving capability in physics, we evaluated model o4-mini by OpenAI on solving traditional, end-of-chapter problems from Halliday and Resnick's "Fundamentals of Physics," spanning core topics in the undergraduate physics curriculum. Performance was analyzed across modality and problem difficulty. The model solved the problems with overall accuracy of about 90%, but performance depended strongly on representation: accuracy was much higher on text-only problems (96%) than on problems requiring coordinated interpretation of text and images (79%). Accuracy also declined significantly as the problem difficulty increased from low to medium to high. These results show that state-of-the-art LLMs can solve much of the standard introductory physics problems, but that their performance remains uneven and constrained by problem modality and problem difficulty.
- Abstract（参考訳）: 推論スケーリングモデル(Reasoning or Inference-scaling model)は、複雑な問題解決が可能な新世代のLarge Language Models(LLM)である。
物理学におけるそれらの問題解決能力を検討するため,OpenAI によるモデル o4-mini の評価を行い,Halliday と Resnick の "Fundamentals of Physics" による従来のチャプタ問題の解法について検討した。
パフォーマンスは、モダリティと問題難易度で分析された。
精度はテキストのみの問題 (96%) においてテキストと画像の協調解釈を必要とする問題 (79%) よりもはるかに高かった。
問題の難しさが低から中へと高まったため、精度も大幅に低下した。
これらの結果は、最先端のLLMが標準的な物理問題の多くを解くことができるが、それらの性能は問題モダリティや問題難易度によって不均一で制約されていることを示している。
関連論文リスト
- PhysElite: How Far Are LLMs from Solving Olympiad-Level Physics Problems? [3.7188197739781903]
PhysEliteはオリンピアードレベルの物理推論のための大規模なバイリンガルベンチマークである。
各問題に対して、対応する視覚図、ステップバイステップのバイリンガルな中国語-英語の解の導出、そして最終回答を提供する。
我々は18個のオープンソースおよびクローズドソースMLLMをベンチマークし、最強モデルでさえ33.7%の正解精度しか得られないことを発見した。
論文 参考訳（メタデータ） (2026-08-25T19:48:42Z) - From Abstract to Contextual: What LLMs Still Cannot Do in Mathematics [79.81905350372067]
我々は文脈的数学的推論を通してギャップを研究する。
AIMEとMATH-500の問題を2つのコンテキスト設定に再利用するベンチマークであるContextMATHを紹介する。
オープンソースモデルはSGとCSで13、34ポイント減少し、プロプライエタリモデルは13、20ポイント減少している。
論文 参考訳（メタデータ） (2026-01-30T14:56:04Z) - ScaleDiff: Scaling Difficult Problems for Advanced Mathematical Reasoning [51.946959481392064]
大規模推論モデル (LRM) は複雑な問題解決において顕著な能力を示している。
難しい問題の生成をスケールするために設計されたパイプラインであるScaleDiffを提案する。
我々のパイプラインは、より大きくて高価な教師モデルに頼ることなく、高度な推論能力を効果的に伝達できることを示します。
論文 参考訳（メタデータ） (2025-09-25T12:22:44Z) - PhysicsEval: Inference-Time Techniques to Improve the Reasoning Proficiency of Large Language Models on Physics Problems [2.464003792743989]
物理問題におけるフロンティアLLMの性能を数学的・記述的に評価する。
各種物理教科書から得られた19,609個の問題から成り立つ物理問題評価ベンチマークである$rm P Small HYSICSEsmall VAL$を導入する。
論文 参考訳（メタデータ） (2025-07-31T18:12:51Z) - PhysUniBench: An Undergraduate-Level Physics Reasoning Benchmark for Multimodal Models [69.73115077227969]
大規模言語モデル(MLLM)の推論能力の評価と改善を目的とした大規模ベンチマークであるPhysUniBenchを提案する。
PhysUniBenchは、3,304の物理問題から成っている。
ベンチマークの構成には、複数のロールアウト、専門家レベルの評価、解決が容易な問題の自動フィルタリング、そして5段階の難易度グレーディングシステムを含む、厳格な多段階プロセスが含まれていた。
論文 参考訳（メタデータ） (2025-06-21T09:55:42Z) - PromptCoT: Synthesizing Olympiad-level Problems for Mathematical Reasoning in Large Language Models [59.920971312822736]
本稿では,高品質なオリンピアードレベルの数学問題を自動生成する新しい手法であるPromptCoTを紹介する。
提案手法は,問題構築の背景にある数学的概念と理論的根拠に基づいて複雑な問題を合成する。
提案手法は, GSM8K, MATH-500, AIME2024などの標準ベンチマークで評価され, 既存の問題生成手法を一貫して上回っている。
論文 参考訳（メタデータ） (2025-03-04T06:32:30Z) - Theoretical Physics Benchmark (TPBench) -- a Dataset and Study of AI Reasoning Capabilities in Theoretical Physics [13.530403536762064]
我々は、高エネルギー理論と宇宙論に焦点をあて、理論物理学における問題を解決するAIの能力を評価するためのベンチマークを導入する。
ベンチマークの最初のイテレーションは、学部レベルから研究レベルまで、難易度が異なる57の問題で構成されています。
我々は、o3-mini、o1、DeepSeek-R1、GPT-4o、LlamaとQwenのバージョンなど、オープンでクローズドな言語モデルでデータセットを評価した。
論文 参考訳（メタデータ） (2025-02-19T19:00:00Z) - A Knapsack by Any Other Name: Presentation impacts LLM performance on NP-hard problems [64.05451567422342]
自然言語で表現されたNPハード問題の集合であるEveryday Hard Optimization Problems (EHOP) のデータセットを紹介する。
EHOPには、コンピュータサイエンスの教科書(例えば、グラフカラー化)で見られる問題の定式化が含まれている。
複数のプロンプト戦略にまたがる最先端のLCMは、実生活や逆転よりも正確な教科書問題を解くことができる。
論文 参考訳（メタデータ） (2025-02-19T14:39:59Z) - PhysReason: A Comprehensive Benchmark towards Physics-Based Reasoning [36.193595420239845]
1200プロブレムの大規模言語モデル評価ベンチマークであるPhysReasonを提案する。
問題は平均8.1の解ステップが必要で、ハードは15.6である。
Deepseek-R1、Gemini-2.0-Flash-Thinking、o3-mini-highといったトップパフォーマンスモデルは、回答レベルの評価で60%以下を実現している。
論文 参考訳（メタデータ） (2025-02-17T17:24:14Z) - MATH-Perturb: Benchmarking LLMs' Math Reasoning Abilities against Hard Perturbations [90.07275414500154]
各種モデルにおけるMATH-P-Hardの性能低下を観察する。
また、学習した問題解決スキルを盲目的に適用する新しい形態の記憶に関する懸念も提起する。
論文 参考訳（メタデータ） (2025-02-10T13:31:46Z) - Using Large Language Model to Solve and Explain Physics Word Problems
Approaching Human Level [0.0]
テキスト上で事前訓練された大言語モデル(LLM)は、純粋数学語問題だけでなく、物理語問題も解ける。
我々の研究は、物理語問題の自動解法、説明、生成に焦点を当てた最初の研究である。
論文 参考訳（メタデータ） (2023-09-15T06:13:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。