論文の概要: PhySimCode: A Benchmark and Evaluation Method for Physics Video to Code Generation
- arxiv url: http://arxiv.org/abs/2610.15722v1
- Date: Sun, 11 Oct 2026 16:00:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-19 17:04:40.953245
- Title: PhySimCode: A Benchmark and Evaluation Method for Physics Video to Code Generation
- Title（参考訳）: PhySimCode: コード生成のための物理ビデオのベンチマークと評価方法
- Abstract要約: 本稿では物理ビデオ・コード生成のベンチマークであるPhySimCodeを紹介する。
このデータセットは、162の物理現象にまたがる160.6Kの手続き的に生成されたサンプルを含んでいる。
我々は,物理法則の正当性,シミュレーション等価性,コード実行可能性,パラメータ回復の両面から,最先端のクローズドおよびオープンソースMLLMを評価した。
- 参考スコア（独自算出の注目度）: 16.845970468709826
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal large language models (MLLMs) are good at video understanding and code generation, but it remains unclear whether they can recover the physical laws underlying videos, a capability essential for converting videos into executable simulations and for providing structured physical supervision in robotics. Captioning motion video does not imply that a model has inferred its governing dynamics, estimated quantitative parameters, or can regenerate the observed scene from code. Existing video-physics benchmarks evaluate plausibility, property estimation, or future-state prediction, but offer limited insight into whether models can translate visual dynamics into runnable simulation code. We introduce PhySimCode, a benchmark for physics video-to-code generation: given only a raw video, a model must infer the relevant physics, recover parameter values, and generate runnable Python that reproduces the input video. The dataset contains 160.6K procedurally generated samples spanning 162 physics phenomena across analytic SciPy simulations and PyBullet-rendered rigid-body, articulated, fluid, and contact-rich scenes; each sample bundles the simulation code, physical parameters, rendered video, and a structured chain-of-thought covering observations, laws, ODEs, numerical methods, and validation checks. We evaluate ten state-of-the-art closed- and open-source MLLMs along physical-law correctness, simulation equivalence, code executability, and parameter recovery. Models reliably state physics laws (4.27-4.93/5) yet score only 1.51-2.47/5 on inferring them from video, and the best system (Claude Sonnet 4.6) recovers just 7.7% of ground-truth parameters within $\pm 20\%$, exposing a substantial video-to-simulation gap. The 2,430-video evaluation set is available at https://huggingface.co/datasets/SourajaKundu123/PhySimCode and the evaluation code at https://github.com/SourajaKundu/PhySimCode
- Abstract（参考訳）: MLLM(Multimodal large language model)は、ビデオ理解とコード生成に長けているが、動画を実行可能なシミュレーションに変換し、ロボット工学において構造化された物理的監視を提供するのに不可欠な機能である、ビデオの基礎となる物理法則を回復できるかどうかは不明である。
動画の字幕化は、モデルがその制御力学、推定された量的パラメータ、あるいはコードから観察されたシーンを再生できるということを示唆していない。
既存のビデオ物理ベンチマークでは、妥当性、特性推定、将来の状態予測が評価されているが、モデルが視覚力学を実行可能なシミュレーションコードに変換することができるかどうかについては限定的な洞察が得られている。
我々はPhySimCodeを紹介した。PhySimCodeは物理ビデオ生成のためのベンチマークであり、生のビデオのみを前提として、モデルは関連する物理を推論し、パラメータ値を復元し、入力ビデオを生成する実行可能なPythonを生成する必要がある。
データセットには、分析SciPyシミュレーションとPyBulletでレンダリングされた剛体、調音、流体、接触に富んだシーンにまたがる162の物理現象にまたがる160.6Kの手続き的に生成されたサンプルが含まれている。
我々は,物理法則の正当性,シミュレーション等価性,コード実行可能性,パラメータ回復の両面から,最先端のクローズドおよびオープンソースMLLMを評価した。
モデルは確実に物理法則 (4.27-4.93/5) を記述しているが、ビデオからの推測では 1.51-2.47/5 しかスコアを付けておらず、最良のシステム (Claude Sonnet 4.6) は、$\pm 20\%$以内の地上のトラスパラメータの7.7%しか回復せず、ビデオとシミュレーションのギャップがかなり大きい。
2.430のビデオ評価セットはhttps://huggingface.co/datasets/SourajaKundu123/PhySimCodeで、評価コードはhttps://github.com/SourajaKundu/PhySimCodeで入手できる。
関連論文リスト
- Physics-Grounded Fluid Video Generation with a Simulation Dataset and Dual-Stream Optical-Flow Supervision [78.04385989413382]
ビデオ拡散モデルは視覚的に魅力的な内容を生成するが、流体にまつわる基礎物理学に規則的に違反する。
我々は1,638MPMを模擬した注水/スロッシングビデオと2,320のキーワードフィルターによる実注水ビデオを組み合わせた物理シミュレーション流体データセットを構築した。
予め訓練された拡散フィルタビデオジェネレータ上に構築されたデュアルストリーム映像合成アーキテクチャを提案する。
論文 参考訳（メタデータ） (2026-07-28T06:13:18Z) - Coding Agent Is Good As World Simulator [5.161736405778465]
本稿では,物理に基づく世界モデル構築のためのエージェントフレームワークを提案する。
このフレームワークは、計画、コード生成、ビジュアルレビュー、物理分析エージェントを調整する。
実験の結果,本フレームワークは,物理精度,命令忠実度,視覚的品質において,高度な映像ベースモデルよりも優れていた。
論文 参考訳（メタデータ） (2026-05-14T05:33:41Z) - SimuScene: Training and Benchmarking Code Generation to Simulate Physical Scenarios [71.65387146697319]
大規模言語モデル(LLM)は、数学の競争、複雑なコーディング、科学的推論といったタスクのために広く研究されている。
物理シナリオをシミュレートしてLLMを訓練し,評価する最初の体系的な研究であるSimuSceneを提案する。
品質を保証するために、人間の検証とともに、データ収集のための自動パイプラインを構築します。
論文 参考訳（メタデータ） (2026-02-11T13:26:02Z) - VisPhyWorld: Probing Physical Reasoning via Code-Driven Video Reconstruction [48.60465268759689]
VisPhyWorldは、物理推論を評価する実行ベースのフレームワークである。
実行可能コードを生成することで、推論された世界表現は直接検査可能、編集可能、偽造可能となる。
現状のMLLMは強いセマンティックなシーン理解を実現する一方で、物理的パラメータを正確に推測し、一貫した物理力学をシミュレートするのに苦労していることを示す。
論文 参考訳（メタデータ） (2026-02-09T05:46:44Z) - MotionPhysics: Learnable Motion Distillation for Text-Guided Simulation [25.78198969054392]
MotionPhysicsは、ユーザが提供する自然言語プロンプトから妥当な物理パラメータを推論するエンドツーエンドの微分可能なフレームワークである。
我々は30以上のシナリオでMotionPhysicsを評価し、実世界、人間設計、AIによって生成された3Dオブジェクトを含む。
論文 参考訳（メタデータ） (2026-01-01T22:56:37Z) - VideoPhy-2: A Challenging Action-Centric Physical Commonsense Evaluation in Video Generation [66.58048825989239]
VideoPhy-2は、生成されたビデオの物理的常識を評価するアクション中心のデータセットである。
我々は、生成したビデオのセマンティック・アテンデンス、物理コモンセンス、および物理ルールのグラウンド化を評価する人間の評価を行う。
結果より,最高のモデルでも22%のジョイントパフォーマンスを達成できたことが示唆された。
論文 参考訳（メタデータ） (2025-03-09T22:49:12Z) - A Physical Coherence Benchmark for Evaluating Video Generation Models via Optical Flow-guided Frame Prediction [2.5262441079541285]
本稿では,生成されたビデオの物理コヒーレンスを評価するためのベンチマークPhyCoBenchを紹介する。
われわれのベンチマークでは、120のプロンプトが7つのカテゴリの物理原理をカバーし、ビデオコンテンツで観察できる重要な物理法則を捉えている。
本稿では,光学フローと映像フレームをカスケード的に生成する拡散モデルであるPhyCoPredictorを提案する。
論文 参考訳（メタデータ） (2025-02-08T09:31:26Z) - VideoPhy: Evaluating Physical Commonsense for Video Generation [93.28748850301949]
生成したビデオが現実世界のアクティビティの物理的常識に従うかどうかを評価するためのベンチマークであるVideoPhyを提示する。
そして、さまざまな最先端のテキスト・ビデオ生成モデルからキャプションに条件付けされたビデオを生成する。
人間の評価では、既存のモデルには、与えられたテキストプロンプトに付着したビデオを生成する能力が欠けていることが判明した。
論文 参考訳（メタデータ） (2024-06-05T17:53:55Z) - DreamPhysics: Learning Physics-Based 3D Dynamics with Video Diffusion Priors [75.83647027123119]
本稿では,映像拡散前の物体の物理的特性を学習することを提案する。
次に,物理に基づくMaterial-Point-Methodシミュレータを用いて,現実的な動きを伴う4Dコンテンツを生成する。
論文 参考訳（メタデータ） (2024-06-03T16:05:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。