論文の概要: PhysMent: An Interactive Approach For LLM Reasoning In Physics Problems

• arxiv url: http://arxiv.org/abs/2609.13152v1
• Date: Tue, 07 Jul 2026 10:48:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.514159
• Title: PhysMent: An Interactive Approach For LLM Reasoning In Physics Problems
• Title（参考訳）: PhysMent:物理問題におけるLLM推論の対話的アプローチ
• Abstract要約: 大規模言語モデル(LLM)は静的な科学ベンチマークで強く機能するが、活発な実験を通して物理世界について推論する能力はいまだによく分かっていない。 我々は,MuJoCo物理シミュレータとの反復的ツール媒介相互作用によるLCM物理推論を評価するベンチマークであるPhysMentを紹介する。
• 参考スコア（独自算出の注目度）: 0.2908533048935121
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) perform strongly on static science benchmarks, yet their ability to reason about the physical world through active experimentation remains poorly understood. We introduce PhysMent, a benchmark that evaluates LLM physical reasoning via iterative, toolmediated interaction with a MuJoCo physics simulator. Unlike static benchmarks that supply all quantities upfront, PhysMent requires models to discover information by applying forces, querying object states, advancing time, and modifying scene geometry before answering. The benchmark comprises 105 scenes of classical mechanics, organized across four difficulty regimes (Easy/Hard and Single/Multi), three scene modalities (standard, object creation, hidden objects), and a scene-manipulation category, evaluated with a six-dimensional scoring framework. Results show that current models perform reasonably well on qualitative single-concept tasks (up to 80% accuracy) but degrade substantially on quantitative tasks that demand precise, multi-step experimental procedures: most models fall below 30% on the hardest single-concept category, where the bottleneck is procedural (adaptive multi-step tool use) rather than conceptual load. Across the seven models, accuracy ranges from 25% to 67%, with failures due to premature answer submission, inefficient exploration, and inconsistent grounding in simulator feedback rather than conceptual gaps.
• Abstract（参考訳）: 大規模言語モデル(LLM)は静的科学ベンチマークで強く機能するが、活発な実験を通して物理世界について推論する能力はいまだによく分かっていない。 我々は,MuJoCo物理シミュレータとの反復的ツール媒介相互作用によるLCM物理推論を評価するベンチマークであるPhysMentを紹介する。 事前にすべての量を供給する静的ベンチマークとは異なり、PhysMentは、力を適用し、オブジェクト状態に問い合わせ、時間を進め、応答する前にシーンの幾何学を変更することで、情報を見つけるモデルを必要とする。 このベンチマークは古典力学の105のシーンで構成され、難易度 (Easy/HardとSingle/Multi) と3つのシーンモダリティ (標準、オブジェクト生成、隠されたオブジェクト) と、6次元のスコアリングフレームワークで評価されたシーン操作カテゴリで構成されている。 その結果、現在のモデルは定性的な単一概念のタスク(最大80%の精度)で合理的に機能するが、精度の高い多段階実験手順を必要とする定量的なタスクでは著しく低下していることがわかった。 7つのモデル全体では、精度は25%から67%の範囲で、未熟な回答の提出、非効率な探索、概念的ギャップよりもシミュレータのフィードバックの不一致による失敗がある。

関連論文リスト

• GAUGE: A Measurement-Grounded Benchmark for Physical Fidelity in Simulation Engines and Video World Models [66.77745044586173]
  GAUGEは、数値シミュレータと生成ビデオワールドモデルがどのように現実の物理学から再現または逸脱するかを評価するための実世界の診断ベンチマークである。 一般化された軌道誤差を用いて14のタスクファミリー上でIsaac Sim,Genesis,Newtonをベンチマークし,5つの剛体タスクに対して6つのイメージ・ツー・ビデオモデルを評価する。 この結果から, 衝撃的接触, 高速繊維運動, 体積変形に起因する最大の相違点を有する一様忠実な物理エンジンは見つからなかった。
  論文  参考訳（メタデータ） (2026-08-06T12:19:38Z)
• PhysicsMind: Sim and Real Mechanics Benchmarking for Physical Reasoning and Prediction in Foundational VLMs and World Models [40.16417939211015]
  MLLM(Multimodal Large Language Models)やビデオワールドモデルは、数学的、常識的、視覚的推論において大きく進歩している。 この問題を計測しようとする既存のベンチマークは、合成された視覚的質問応答テンプレート、あるいは物理的な法則によってビデオがどれだけうまく機能するかを測定するための知覚的ビデオ品質に焦点を当てている。 我々は,3つの標準原理(Center of Mass, Lever Equilibrium, Newton's First Law)について,法に一貫性のある推論と生成を評価する統一ベンチマークであるPhysicalMindを紹介する。
  論文  参考訳（メタデータ） (2026-01-22T14:33:01Z)
• CMPhysBench: A Benchmark for Evaluating Large Language Models in Condensed Matter Physics [71.42168240638462]
  CMPhysBenchは、凝縮物質物理学における大規模言語モデルの習熟度を評価するように設計されている。 以上の結果から,最高モデルであるGrok-4でさえ,CMPhysBench上での平均SEEDスコアが36点,精度が28%であった。
  論文  参考訳（メタデータ） (2025-08-25T15:32:22Z)
• ABench-Physics: Benchmarking Physical Reasoning in LLMs via High-Difficulty and Dynamic Physics Problems [21.278539804482012]
  大規模言語モデル(LLM)は、数学やプログラミングのような領域で顕著なパフォーマンスを示している。 物理学は、正確な計算だけでなく、深い概念的理解と物理モデリングスキルも要求する固有の課題を提起する。 既存のベンチマークは、制限された難易度、複数選択フォーマット、静的評価設定のために、しばしば不足する。
  論文  参考訳（メタデータ） (2025-07-07T08:43:56Z)
• PhysUniBench: An Undergraduate-Level Physics Reasoning Benchmark for Multimodal Models [69.73115077227969]
  大規模言語モデル(MLLM)の推論能力の評価と改善を目的とした大規模ベンチマークであるPhysUniBenchを提案する。 PhysUniBenchは、3,304の物理問題から成っている。 ベンチマークの構成には、複数のロールアウト、専門家レベルの評価、解決が容易な問題の自動フィルタリング、そして5段階の難易度グレーディングシステムを含む、厳格な多段階プロセスが含まれていた。
  論文  参考訳（メタデータ） (2025-06-21T09:55:42Z)
• Occlusion resistant learning of intuitive physics from videos [52.25308231683798]
  人工システムの鍵となる能力は、オブジェクト間の物理的相互作用を理解し、状況の将来的な結果を予測することである。 この能力は直感的な物理学と呼ばれ、近年注目されており、ビデオシーケンスからこれらの物理規則を学ぶためのいくつかの方法が提案されている。
  論文  参考訳（メタデータ） (2020-04-30T19:35:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。