論文の概要: PhyX: Does Your Model Have the "Wits" for Physical Reasoning?

• arxiv url: http://arxiv.org/abs/2505.15929v1
• Date: Wed, 21 May 2025 18:33:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:47.866474
• Title: PhyX: Does Your Model Have the "Wits" for Physical Reasoning?
• Title（参考訳）: PhyX:あなたのモデルは物理推論のための"Wits"を持っているか?
• Abstract要約: 既存のベンチマークでは、物理的な推論という、インテリジェンスの重要な側面を捉えられません。 視覚シナリオにおける物理基底推論のモデルキャパシティを評価するために設計された,最初の大規模ベンチマークであるPhyXを紹介する。
• 参考スコア（独自算出の注目度）: 49.083544963243206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing benchmarks fail to capture a crucial aspect of intelligence: physical reasoning, the integrated ability to combine domain knowledge, symbolic reasoning, and understanding of real-world constraints. To address this gap, we introduce PhyX: the first large-scale benchmark designed to assess models capacity for physics-grounded reasoning in visual scenarios. PhyX includes 3K meticulously curated multimodal questions spanning 6 reasoning types across 25 sub-domains and 6 core physics domains: thermodynamics, electromagnetism, mechanics, modern physics, optics, and wave\&acoustics. In our comprehensive evaluation, even state-of-the-art models struggle significantly with physical reasoning. GPT-4o, Claude3.7-Sonnet, and GPT-o4-mini achieve only 32.5\%, 42.2\%, and 45.8\% accuracy respectively-performance gaps exceeding 29\% compared to human experts. Our analysis exposes critical limitations in current models: over-reliance on memorized disciplinary knowledge, excessive dependence on mathematical formulations, and surface-level visual pattern matching rather than genuine physical understanding. We provide in-depth analysis through fine-grained statistics, detailed case studies, and multiple evaluation paradigms to thoroughly examine physical reasoning capabilities. To ensure reproducibility, we implement a compatible evaluation protocol based on widely-used toolkits such as VLMEvalKit, enabling one-click evaluation.
• Abstract（参考訳）: 既存のベンチマークでは、物理的な推論、ドメイン知識を組み合わせた統合能力、象徴的な推論、現実世界の制約の理解といった、インテリジェンスの重要な側面を捉えられていない。 このギャップに対処するために、視覚シナリオにおける物理基底推論のモデルキャパシティを評価するために設計された最初の大規模ベンチマークであるPhyXを紹介する。 PhyXには、25のサブドメインと6つのコア物理領域(熱力学、電磁磁気学、力学、現代物理学、光学、波動音響学)にまたがる6つの推論タイプにまたがる3Kの細心の注意深いマルチモーダル質問が含まれている。 総合的な評価では、最先端のモデルでさえ、物理的推論にかなり苦労しています。 GPT-4o、Claude3.7-Sonnet、GPT-o4-miniはそれぞれ32.5\%、42.2\%、45.8\%である。 我々の分析は、記憶されたディシプリナ知識への過度依存、数学的定式化への過度依存、真の物理的理解よりも表面レベルの視覚的パターンマッチングといった、現在のモデルにおける重要な制限を明らかにしている。 本研究では,詳細な統計分析,詳細なケーススタディ,および複数の評価パラダイムを用いて,身体的推論能力の徹底的な検証を行う。 再現性を確保するため,VLMEvalKitのような広く使われているツールキットをベースとした,一クリックで評価可能な互換性のある評価プロトコルを実装した。

関連論文リスト

• Catch Me If You Can: How Smaller Reasoning Models Pretend to Reason with Mathematical Fidelity [15.774418410083515]
  表面パターンマッチングと実際の数学的推論を区別する診断フレームワークを提案する。 我々は表面性能と推論忠実度の間に顕著な不一致を明らかにした。 私たちの診断では、従来の精度メトリクスには見えない推論の失敗を明らかにします。
  論文  参考訳（メタデータ） (2025-11-29T16:47:01Z)
• LikePhys: Evaluating Intuitive Physics Understanding in Video Diffusion Models via Likelihood Preference [57.086932851733145]
  ビデオ拡散モデルにおける直感的な物理を評価するトレーニング不要な方法であるLikePhysを紹介した。 現在のビデオ拡散モデルにおける直観的物理理解のベンチマークを行う。 経験的結果は、現在のモデルが複雑でカオス的な力学に苦しむにもかかわらず、モデルキャパシティと推論設定スケールとしての物理理解の改善傾向が明らかであることを示している。
  論文  参考訳（メタデータ） (2025-10-13T15:19:07Z)
• Does Physics Knowledge Emerge in Frontier Models? [19.035965618393096]
  VLM(Leading Vision-Language Models)は、視覚知覚と一般的な推論において強力な結果を示す。 しかし、物理力学を理解し予測する能力は、まだ不明である。 3つの物理シミュレーションデータセット上で6つのフロンティアVLMをベンチマークする。
  論文  参考訳（メタデータ） (2025-10-03T22:30:06Z)
• CMPhysBench: A Benchmark for Evaluating Large Language Models in Condensed Matter Physics [71.42168240638462]
  CMPhysBenchは、凝縮物質物理学における大規模言語モデルの習熟度を評価するように設計されている。 以上の結果から,最高モデルであるGrok-4でさえ,CMPhysBench上での平均SEEDスコアが36点,精度が28%であった。
  論文  参考訳（メタデータ） (2025-08-25T15:32:22Z)
• PhysUniBench: An Undergraduate-Level Physics Reasoning Benchmark for Multimodal Models [69.73115077227969]
  大規模言語モデル(MLLM)の推論能力の評価と改善を目的とした大規模ベンチマークであるPhysUniBenchを提案する。 PhysUniBenchは、3,304の物理問題から成っている。 ベンチマークの構成には、複数のロールアウト、専門家レベルの評価、解決が容易な問題の自動フィルタリング、そして5段階の難易度グレーディングシステムを含む、厳格な多段階プロセスが含まれていた。
  論文  参考訳（メタデータ） (2025-06-21T09:55:42Z)
• IntPhys 2: Benchmarking Intuitive Physics Understanding In Complex Synthetic Environments [26.02187269408895]
  IntPhys 2は、ディープラーニングモデルの直感的な物理理解を評価するために設計されたビデオベンチマークである。 IntPhys 2は、永続性、不変性、時空間連続性、固さという、マクロ的なオブジェクトに関連する4つのコア原則に焦点を当てている。
  論文  参考訳（メタデータ） (2025-06-11T15:21:16Z)
• SeePhys: Does Seeing Help Thinking? -- Benchmarking Vision-Based Physics Reasoning [89.48883747910448]
  物理問題に基づく推論のための大規模マルチモーダルベンチマークである SeePhys を提示する。 このベンチマークは、物理学の分野にまたがる7つの基本的な領域をカバーし、21のカテゴリの非常に異質なダイアグラムを取り入れている。 最も先進的な視覚推論モデル(例えばGemini-2.5-proやo4-mini)でさえ、ベンチマークで60%未満の精度を実現している。
  論文  参考訳（メタデータ） (2025-05-25T11:28:34Z)
• ChartMuseum: Testing Visual Reasoning Capabilities of Large Vision-Language Models [37.54872845368151]
  視覚的推論によってのみ解決可能な合成データセットを用いてケーススタディを行う。 次に、1,162人の専門家が注釈を付けた質問を含む新しいチャート質問回答(QA)ベンチマークであるChartMuseumを紹介します。 人間は93%の精度を達成しているが、最高のパフォーマンスモデルであるGemini-2.5-Proは63.0%しか達成できず、主要なオープンソースであるLVLM Qwen2.5-VL-72B-Instructは38.5%しか達成していない。
  論文  参考訳（メタデータ） (2025-05-19T17:59:27Z)
• PHYBench: Holistic Evaluation of Physical Perception and Reasoning in Large Language Models [33.45006997591683]
  PHYBenchは、高校から物理オリンピックの難易度まで、500の物理問題のベンチマークである。 PHYBenchはオリジナルのコンテンツを通じてデータの汚染に対処し、欠陥のあるアイテムを除去するために体系的なキュレーションパイプラインを使用する。 PHYBenchはより多くのトークンを活性化し、推論モデル間のより強力な微分を提供する。
  論文  参考訳（メタデータ） (2025-04-22T17:53:29Z)
• PhysReason: A Comprehensive Benchmark towards Physics-Based Reasoning [36.193595420239845]
  1200プロブレムの大規模言語モデル評価ベンチマークであるPhysReasonを提案する。 問題は平均8.1の解ステップが必要で、ハードは15.6である。 Deepseek-R1、Gemini-2.0-Flash-Thinking、o3-mini-highといったトップパフォーマンスモデルは、回答レベルの評価で60%以下を実現している。
  論文  参考訳（メタデータ） (2025-02-17T17:24:14Z)
• Towards World Simulator: Crafting Physical Commonsense-Based Benchmark for Video Generation [51.750634349748736]
  テキスト・ツー・ビデオ(T2V)モデルは複雑なプロンプトの可視化に大きく貢献している。 しかし、直感的な物理を正確に表現するこれらのモデルの能力はほとんど解明されていない。 本稿では,T2V生成における物理コモンセンスの正しさを評価するためにPhyGenBenchを導入する。
  論文  参考訳（メタデータ） (2024-10-07T17:56:04Z)
• PhyBench: A Physical Commonsense Benchmark for Evaluating Text-to-Image Models [50.33699462106502]
  テキスト・トゥ・イメージ(T2I)モデルは、物理コモンセンスと整合した画像を生成するのにしばしば失敗する。 現在のT2I評価ベンチマークは、精度、バイアス、安全性などの指標に焦点を当て、モデルの内部知識の評価を無視している。 メカニクス,光学,熱力学,材料特性の4つのカテゴリに700のプロンプトを含む総合的なT2I評価データセットであるPhyBenchを紹介する。
  論文  参考訳（メタデータ） (2024-06-17T17:49:01Z)
• ContPhy: Continuum Physical Concept Learning and Reasoning from Videos [86.63174804149216]
  ContPhyは、マシン物理常識を評価するための新しいベンチマークである。 私たちは、さまざまなAIモデルを評価し、ContPhyで満足なパフォーマンスを達成するのに依然として苦労していることがわかった。 また、近年の大規模言語モデルとパーティクルベースの物理力学モデルを組み合わせるためのオラクルモデル(ContPRO)を導入する。
  論文  参考訳（メタデータ） (2024-02-09T01:09:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。