論文の概要: PhysAlign: A Benchmark for Evidence-Grounded Role Alignment in Multimodal Physics Reasoning
- arxiv url: http://arxiv.org/abs/2609.33319v1
- Date: Sun, 27 Sep 2026 07:34:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 01:09:50.722186
- Title: PhysAlign: A Benchmark for Evidence-Grounded Role Alignment in Multimodal Physics Reasoning
- Title(参考訳): PhysAlign:マルチモーダル物理推論におけるエビデンスを取り巻く役割アライメントのベンチマーク
- Abstract要約: 物理図理解の鍵となる課題は、視覚情報をそれが記述する物理的実体、関係、条件と正しく関連付けることである。
PhysAlignは、マルチモーダルモデルが物理図から認識された情報をその物理的役割と正しく関連付けるかどうかを評価するために設計されたベンチマークである。
これには、986の物理問題にまたがる3,341個の人間検証プローブが含まれており、視覚認識と物理的ロール対応の体系的な評価を可能にしている。
- 参考スコア(独自算出の注目度): 44.02570489355995
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A key challenge in physics diagram understanding is correctly associating visual information with the physical entities, relations, and conditions it describes. Even when a value, symbol, or other local element is accurately recognized, assigning it to the wrong entity or scope can distort the underlying physical premise and lead to incorrect reasoning. To systematically study this challenge, we introduce \textbf{PhysAlign}, a benchmark designed to assess whether multimodal models correctly associate information recognized from physics diagrams with its intended physical role. By disentangling visual recognition from physical-role assignment through localized probes and controlled variants, PhysAlign isolates correspondence errors from recognition failures. It contains 3,341 human-validated probes spanning 986 physics problems, enabling systematic evaluation of visual recognition and physical-role correspondence at scale. We further introduce five complementary evaluation metrics, including CAcc, GAcc, and JAcc, which provide a comprehensive assessment of models' ability to recognize diagram content, establish correct physical correspondences, and solve the underlying physics problem. Across our evaluated multimodal models, PhysAlign reveals a consistent gap between local visual recognition and physical-role grounding. Even when the queried content is correctly recognized, the conditional correspondence error rate remains 13.8\% for GPT-6-Astra and rises to about 50.6\% for InternVL3.5-8B. These findings indicate that strong perception alone does not ensure reliable physical interpretation, exposing a distinct grounding bottleneck that is largely hidden by answer-level accuracy and highlighting the need for future models to better align recognized visual evidence with its physical meaning.
- Abstract(参考訳): 物理図理解における重要な課題は、視覚情報をそれが記述する物理的実体、関係、条件と正しく関連付けることである。
値、シンボル、その他のローカル要素が正確に認識されたとしても、それを間違ったエンティティやスコープに割り当てても、基礎となる物理的前提を歪め、誤った推論につながる可能性がある。
この課題を体系的に研究するために,多モードモデルが物理図から認識される情報を意図した物理的役割と正しく関連付けるかどうかを評価するためのベンチマークである「textbf{PhysAlign}」を導入する。
PhysAlignは、局所的なプローブと制御された変種を通して物理ロールの割り当てから視覚的認識を遠ざけることで、認識障害から対応エラーを分離する。
これには、986の物理問題にまたがる3,341個の人間検証プローブが含まれており、視覚認識と物理的ロール対応の体系的な評価を可能にしている。
さらに、CAcc、GAcc、JAccの5つの相補的評価指標を導入し、モデルがダイアグラムの内容を認識し、正しい物理対応を確立し、基礎となる物理問題を解く能力を総合的に評価する。
評価されたマルチモーダルモデル全体で、PhysAlignは局所的な視覚認識と物理ロールグラウンドニングの間に一貫したギャップを明らかにしている。
クエリされた内容が正しく認識されたとしても、条件付き対応エラー率はGPT-6-Astraでは13.8\%であり、InternVL3.5-8Bでは50.6\%である。
これらの結果は、強い知覚だけでは確実な物理的解釈が得られず、解答レベルの正確さによってほとんど隠蔽される明確な基盤的ボトルネックを明らかにし、認識された視覚的証拠をその物理的意味と整合させるための将来のモデルの必要性を浮き彫りにしていることを示している。
関連論文リスト
- PhysMRV: Physical Memory Retrieval and Verification for Physics Plausibility Reasoning [10.8081248403127]
ビデオ言語モデル(VLM)は,映像理解と視覚的質問応答において優れた性能を発揮している。
トレーニング不要な物理メモリと検証フレームワークであるPhysMRVを提案する。
論文 参考訳(メタデータ) (2026-07-11T08:06:04Z) - LikePhys: Evaluating Intuitive Physics Understanding in Video Diffusion Models via Likelihood Preference [57.086932851733145]
ビデオ拡散モデルにおける直感的な物理を評価するトレーニング不要な方法であるLikePhysを紹介した。
現在のビデオ拡散モデルにおける直観的物理理解のベンチマークを行う。
経験的結果は、現在のモデルが複雑でカオス的な力学に苦しむにもかかわらず、モデルキャパシティと推論設定スケールとしての物理理解の改善傾向が明らかであることを示している。
論文 参考訳(メタデータ) (2025-10-13T15:19:07Z) - Adversarial Disentanglement by Backpropagation with Physics-Informed Variational Autoencoder [0.0]
物理系の部分的な知識の下での推測と予測は困難である。
本稿では,物理モデルとデータ駆動モデルの柔軟性を組み合わせた物理インフォームド変分オートエンコーダアーキテクチャを提案する。
論文 参考訳(メタデータ) (2025-06-16T16:18:25Z) - SeePhys: Does Seeing Help Thinking? -- Benchmarking Vision-Based Physics Reasoning [95.2886065291234]
物理問題に基づく推論のための大規模マルチモーダルベンチマークである SeePhys を提示する。
このベンチマークは、物理学の分野にまたがる7つの基本的な領域をカバーし、21のカテゴリの非常に異質なダイアグラムを取り入れている。
最も先進的な視覚推論モデル(例えばGemini-2.5-proやo4-mini)でさえ、ベンチマークで60%未満の精度を実現している。
論文 参考訳(メタデータ) (2025-05-25T11:28:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。