論文の概要: PhysFieldBench: Can Multimodal Models Understand Physical Fields?
- arxiv url: http://arxiv.org/abs/2609.34072v1
- Date: Mon, 28 Sep 2026 01:04:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-04 07:12:32.740303
- Title: PhysFieldBench: Can Multimodal Models Understand Physical Fields?
- Title（参考訳）: PhysFieldBench: マルチモーダルモデルは物理場を理解できるか?
- Abstract要約: MLLM (Multimodal large language model) は、科学や工学のエージェントのコアコンポーネントとしてますます考えられている。
既存の物理ベンチマークは教科書の問題解決や直感的な物理推論に重点を置いており、MLLMが連続場観測から物理的に意味のある情報を推測できるかどうかを未然に残している。
我々は、24のタスクと1,160の評価例からなるベンチマークであるPhysFieldBenchを紹介し、制御方程式場、シミュレートされた物理場、観測された物理場について紹介する。
オープンソースおよびプロプライエタリなMLLM全体のゼロショット性能は低く、最高のモデルが29.3の確率正規化スコアを達成する一方で、いくつかのオープンソースモデルが近いままである。
- 参考スコア（独自算出の注目度）: 41.46496890298469
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal large language models (MLLMs) are increasingly envisioned as core components of scientific and engineering agents, yet their ability to interpret physical fields remains poorly understood. Existing physics benchmarks largely emphasize textbook problem solving or intuitive physical reasoning, leaving open whether MLLMs can infer physically meaningful information from continuous field observations. We introduce PhysFieldBench, a benchmark comprising 24 tasks and 1,160 evaluation examples across controlled equation fields, simulated physical fields, and observed physical fields. The tasks assess three forms of inference: identifying physical mechanisms, comparing latent control variables, and predicting outcome properties. Across representative open-source and proprietary MLLMs, zero-shot performance is low: the best model achieves a chance-normalized score of 29.3, while several open-source models remain near chance. In contrast, a task-specific supervised vision transformer performs substantially better, demonstrating that the inputs contain learnable physical information. To diagnose these failures, a structured self-explanation analysis attributes most errors to missed visual patterns and incorrect visual-to-physical mappings. Further, to explore whether post-training can improve physical inference and generalize to unseen tasks, we compare supervised fine-tuning with final answers or chain-of-thought supervision and reinforcement learning. Final-answer supervision performs best overall but transfers less effectively, whereas reinforcement learning after chain-of-thought supervision achieves the best generalization. Together, these findings highlight the need to improve visual-to-physical grounding and cross-task generalization for MLLMs to reliably interpret physical fields in scientific and engineering workflows.
- Abstract（参考訳）: MLLM(Multimodal large language model)は、科学や工学のエージェントのコアコンポーネントとしてますます考えられているが、物理分野を解釈する能力はいまだによく分かっていない。
既存の物理ベンチマークは教科書の問題解決や直感的な物理推論に重点を置いており、MLLMが連続場観測から物理的に意味のある情報を推測できるかどうかを未然に残している。
我々は、24のタスクと1,160の評価例からなるベンチマークであるPhysFieldBenchを紹介し、制御方程式場、シミュレートされた物理場、観測された物理場について紹介する。
タスクは、物理的メカニズムの同定、潜在制御変数の比較、結果特性の予測の3つの形態を評価する。
オープンソースおよびプロプライエタリなMLLM全体のゼロショット性能は低く、最高のモデルが29.3の確率正規化スコアを達成し、いくつかのオープンソースモデルも近い確率で残っている。
対照的に、タスク固有の教師付き視覚変換器は、入力に学習可能な物理情報が含まれていることを示す。
これらの失敗を診断するために、構造化された自己説明分析は、ほとんどのエラーは視覚パターンの欠如と誤った視覚と物理のマッピングに起因する。
さらに、ポストトレーニングが身体的推論を改善し、目に見えないタスクに一般化するかどうかを検討するため、教師による微調整を最終回答や連鎖的な指導と強化学習と比較した。
最終回答の監督は全体としては最善だが、伝達効率は低下するが、連鎖監視後の強化学習は最高の一般化を実現する。
これらの知見は、科学と工学のワークフローにおける物理分野を確実に解釈するために、MLLMの視覚と物理の接地とクロスタスクの一般化を改善する必要性を浮き彫りにした。
関連論文リスト
- Towards Generalizable Visually Grounded Exploration of Household Devices [74.66117923766632]
汎用的な自律的実施エージェントを実現する上でのボトルネックは、Generalizable Visually Grounded Explorationにある。
VGEBenchは、視覚言語モデルの一般化可能な視野探索能力を評価するために設計されたベンチマークである。
静的なデータセットとは異なり、我々はLogic-Driven State Machineフレームワークを構築している。このフレームワークは多ターンインタラクションループをシミュレートし、アクティブな視覚知覚とフィードバック駆動の修正によって目標を達成するエージェントを説得する。
論文 参考訳（メタデータ） (2026-09-01T07:42:45Z) - A systematic evaluation of vision-language models for observational astronomical reasoning tasks [3.608879177162859]
視覚言語モデル(VLM)は、科学データ解釈のための汎用ツールとしてますます提案されているが、実際の天文学的な観測に対する信頼性は証明されていない。
AstroVLBenchは、光学画像、電波干渉計、マルチ波長光度測定、時間領域光度曲線、光学分光の5つのタスクにまたがる4,100以上の専門家検証インスタンスからなる総合的なベンチマークである。
論文 参考訳（メタデータ） (2026-04-27T15:11:31Z) - Beyond Static Vision: Scene Dynamic Field Unlocks Intuitive Physics Understanding in Multi-modal Large Language Models [19.04320007192703]
本研究は、物理推論の第一段階、すなわち直感的な物理理解を考察し、連続体物体の力学を理解する上でのかなりの制限を明らかにする。
SDF(Scene Dynamic Field)は,マルチタスクファインチューニングフレームワーク内で物理シミュレータを利用する簡潔な手法である。
SDFは性能を大幅に改善し、流体タスクで最大20.7%のゲインを達成し、未確認の物理領域に強力な一般化を示す。
論文 参考訳（メタデータ） (2026-03-30T05:11:45Z) - LikePhys: Evaluating Intuitive Physics Understanding in Video Diffusion Models via Likelihood Preference [57.086932851733145]
ビデオ拡散モデルにおける直感的な物理を評価するトレーニング不要な方法であるLikePhysを紹介した。
現在のビデオ拡散モデルにおける直観的物理理解のベンチマークを行う。
経験的結果は、現在のモデルが複雑でカオス的な力学に苦しむにもかかわらず、モデルキャパシティと推論設定スケールとしての物理理解の改善傾向が明らかであることを示している。
論文 参考訳（メタデータ） (2025-10-13T15:19:07Z) - TRAVL: A Recipe for Making Video-Language Models Better Judges of Physics Implausibility [70.24211591214528]
ビデオ生成モデルは、浮動、テレポート、モーフィングのような直感的な物理法則に違反したシーケンスを生成する。
既存のビデオランゲージモデル(VLM)は、物理違反の特定に苦慮し、時間的および因果的推論における根本的な制限を明らかにしている。
我々は、バランスの取れたトレーニングデータセットと軌道認識型アテンションモジュールを組み合わせた微調整レシピTRAVLを導入し、モーションエンコーディングを改善する。
言語バイアスを除去し,視覚的時間的理解を分離する300本のビデオ(150本実写150本)のベンチマークであるImplausiBenchを提案する。
論文 参考訳（メタデータ） (2025-10-08T21:03:46Z) - Uncovering Emergent Physics Representations Learned In-Context by Large Language Models [1.8749305679160366]
大規模言語モデル(LLM)は、テキストプロンプトだけで幅広いタスクを解くことができる、印象的なインコンテキスト学習(ICL)能力を示す。
本稿では LLM の ICL 能力について考察する。
物理系における動的予測タスクをプロキシとして使用し、LLMが文脈で物理を学習できるかどうかを評価する。
論文 参考訳（メタデータ） (2025-08-17T17:49:17Z) - Pixels to Principles: Probing Intuitive Physics Understanding in Multimodal Language Models [5.134872455507186]
本稿では,直感的な物理課題に対するMLLM(State-of-the-the-art multimodal large language model)の体系的評価について述べる。
オープンソースモデルであるInternVL 2.5、Qwen 2.5 VL、LLaVA-OneVision、およびプロプライエタリなGemini 2.0 Flash Thinkingを評価した。
最新のモデルでさえ、不確実なシナリオと物理的に妥当な区別を確実にするのに苦労している。
論文 参考訳（メタデータ） (2025-07-22T13:24:42Z) - MAPS: Advancing Multi-Modal Reasoning in Expert-Level Physical Science [62.96434290874878]
現在のMLLM(Multi-Modal Large Language Models)は、一般的な視覚的推論タスクにおいて強力な機能を示している。
我々は,MLLMに基づく物理知覚とシミュレーションによるマルチモーダル科学推論(MAPS)という新しいフレームワークを開発した。
MAPSは、専門家レベルのマルチモーダル推論タスクを物理的知覚モデル(PPM)を介して物理図理解に分解し、シミュレータを介して物理的知識で推論する。
論文 参考訳（メタデータ） (2025-01-18T13:54:00Z) - Physics Context Builders: A Modular Framework for Physical Reasoning in Vision-Language Models [11.282655911647483]
視覚言語モデル(VLM)における物理推論の課題
物理コンテキストビルダー(PCB)は,物理シーンの詳細な記述を生成するために,より小型のVLMを微調整したモジュラーフレームワークである。
PCBは、視覚知覚と推論の分離を可能にし、身体的理解に対する相対的な貢献を分析することができる。
論文 参考訳（メタデータ） (2024-12-11T18:40:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。