論文の概要: ABench-Physics: Benchmarking Physical Reasoning in LLMs via High-Difficulty and Dynamic Physics Problems

• arxiv url: http://arxiv.org/abs/2507.04766v1
• Date: Mon, 07 Jul 2025 08:43:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.336252
• Title: ABench-Physics: Benchmarking Physical Reasoning in LLMs via High-Difficulty and Dynamic Physics Problems
• Title（参考訳）: Abench-Physics:高難易度・動的物理問題によるLCMの物理推論のベンチマーク
• Authors: Yiming Zhang, Yingfan Ma, Yanmei Gu, Zhengkai Yang, Yihong Zhuang, Feng Wang, Zenan Huang, Yuanyuan Wang, Chao Huang, Bowen Song, Cheng Lin, Junbo Zhao,
• Abstract要約: 大規模言語モデル(LLM)は、数学やプログラミングのような領域で顕著なパフォーマンスを示している。 物理学は、正確な計算だけでなく、深い概念的理解と物理モデリングスキルも要求する固有の課題を提起する。 既存のベンチマークは、制限された難易度、複数選択フォーマット、静的評価設定のために、しばしば不足する。
• 参考スコア（独自算出の注目度）: 21.278539804482012
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have shown impressive performance in domains such as mathematics and programming, yet their capabilities in physics remain underexplored and poorly understood. Physics poses unique challenges that demand not only precise computation but also deep conceptual understanding and physical modeling skills. Existing benchmarks often fall short due to limited difficulty, multiple-choice formats, and static evaluation settings that fail to capture physical modeling ability. In this paper, we introduce ABench-Physics, a novel benchmark designed to rigorously evaluate LLMs' physical reasoning and generalization capabilities. ABench-Physics consists of two components: Phy_A, a static set of 400 graduate- or Olympiad-level problems; and Phy_B, a dynamic subset of 100 problems equipped with an automatic variation engine to test model robustness across changing conditions. All questions require precise numerical answers, with strict formatting and tolerance constraints. Our evaluation of several state-of-the-art LLMs reveals substantial performance gaps, highlighting persistent limitations in physical reasoning, especially in generalization to dynamic variants. ABench-Physics provides a challenging and diagnostic framework for advancing scientific reasoning in LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は数学やプログラミングなどの分野において顕著な性能を示してきたが、物理学におけるそれらの能力は未熟で理解されていないままである。 物理学は、正確な計算だけでなく、深い概念的理解と物理モデリングスキルも要求する固有の課題を提起する。 既存のベンチマークは、制限された難易度、複数選択フォーマット、物理的モデリング能力の取得に失敗した静的評価設定のために、しばしば不足する。 本稿では,LLMの物理推論と一般化能力を厳格に評価する新しいベンチマークであるABench-Physicsを紹介する。 ABench-Physicsは2つのコンポーネントで構成されている: Phy_A、400の卒業生レベルの静的な集合 Olympiadレベルの問題、Phy_B。 すべての質問は厳密なフォーマッティングと寛容な制約を伴って、正確な数値的な答えを必要とする。 現状のLLMのいくつかの評価は、特に動的変種への一般化において、物理的推論における永続的な制限を強調し、大きな性能ギャップを浮き彫りにしている。 ABench-Physics は LLM の科学的推論を促進するための挑戦的で診断的なフレームワークを提供する。

関連論文リスト

• PhysUniBench: An Undergraduate-Level Physics Reasoning Benchmark for Multimodal Models [69.73115077227969]
  大規模言語モデル(MLLM)の推論能力の評価と改善を目的とした大規模ベンチマークであるPhysUniBenchを提案する。 PhysUniBenchは、3,304の物理問題から成っている。 ベンチマークの構成には、複数のロールアウト、専門家レベルの評価、解決が容易な問題の自動フィルタリング、そして5段階の難易度グレーディングシステムを含む、厳格な多段階プロセスが含まれていた。
  論文  参考訳（メタデータ） (2025-06-21T09:55:42Z)
• Can Theoretical Physics Research Benefit from Language Agents? [50.57057488167844]
  大規模言語モデル(LLM)は、様々な領域にわたって急速に進歩しているが、理論物理学研究への応用はまだ成熟していない。 このポジションペーパーは、LLMエージェントが、ドメイン知識やツールボックスと適切に統合された場合、理論的、計算的、応用物理学を加速するのに役立つと主張している。 マルチモーダルデータを処理し、検証可能な仮説を提案し、設計実験を行う物理特殊化LSMを構想する。
  論文  参考訳（メタデータ） (2025-06-06T16:20:06Z)
• SeePhys: Does Seeing Help Thinking? -- Benchmarking Vision-Based Physics Reasoning [89.48883747910448]
  物理問題に基づく推論のための大規模マルチモーダルベンチマークである SeePhys を提示する。 このベンチマークは、物理学の分野にまたがる7つの基本的な領域をカバーし、21のカテゴリの非常に異質なダイアグラムを取り入れている。 最も先進的な視覚推論モデル(例えばGemini-2.5-proやo4-mini)でさえ、ベンチマークで60%未満の精度を実現している。
  論文  参考訳（メタデータ） (2025-05-25T11:28:34Z)
• PhysicsArena: The First Multimodal Physics Reasoning Benchmark Exploring Variable, Process, and Solution Dimensions [9.428916253383402]
  PhysicsArenaは、MLLMのマルチモーダル物理推論能力の評価と向上のための総合的なプラットフォームを提供することを目指している。 MLLMは様々な推論タスクにおいて顕著な能力を示してきたが、複雑な物理推論への応用は未解明のままである。
  論文  参考訳（メタデータ） (2025-05-21T12:48:16Z)
• SimLM: Can Language Models Infer Parameters of Physical Systems? [56.38608628187024]
  物理系におけるパラメータ推論におけるLarge Language Models (LLM) の性能について検討する。 実験の結果,単純なシステムであっても,本課題には適していないことが示唆された。 物理シミュレータを用いてLLMのコンテキストを拡大する探索の有望な方向を提案する。
  論文  参考訳（メタデータ） (2023-12-21T12:05:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。