論文の概要: PhyGround: Benchmarking Physical Reasoning in Generative World Models
- arxiv url: http://arxiv.org/abs/2605.10806v1
- Date: Mon, 11 May 2026 16:30:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.988381
- Title: PhyGround: Benchmarking Physical Reasoning in Generative World Models
- Title（参考訳）: PhyGround: 生成的世界モデルにおける物理推論のベンチマーク
- Abstract要約: ビデオ生成における物理的推論を評価するための基準付きベンチマークであるPhyGroundを紹介する。
ベンチマークには250のキュレートされたプロンプトが含まれており、それぞれが予想される物理的な結果と13の物理法則の分類が含まれている。
我々は,大規模で品質管理された人間の研究を通じて,8つの現代映像生成モデルを評価する。
- 参考スコア（独自算出の注目度）: 46.53245929361594
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative world models are increasingly used for video generation, where learned simulators are expected to capture the physical rules that govern real-world dynamics. However, evaluating whether generated videos actually follow these rules remains challenging. Existing physics-focused video benchmarks have made important progress, but they still face three key challenges, including the coarse evaluation frameworks that hide law-specific failures, response biases and fatigue that undermine the validity of annotation judgments, and automated evaluators that are insufficiently physics-aware or difficult to audit. To address those challenges, we introduce PhyGround, a criteria-grounded benchmark for evaluating physical reasoning in video generation. The benchmark contains 250 curated prompts, each augmented with an expected physical outcome, and a taxonomy of 13 physical laws across solid-body mechanics, fluid dynamics, and optics. Each law is operationalized through observable sub-questions to enable per-law diagnostics. We evaluate eight modern video generation models through a large-scale, quality-controlled human study, grounded on social science lab experiment design. A total of 459 annotators provided 5,796 complete annotations and over 37.4K fine-grained labels; after quality control, the retained annotations exhibited high split-half model-ranking correlations (Spearman's rho > 0.90). To support reproducible automated evaluation, we release PhyJudge-9B, an open physics-specialized VLM judge. PhyJudge-9B achieves substantially lower aggregate relative bias than Gemini-3.1-Pro (3.3% vs. 16.6%). We release prompts, human annotations, model checkpoints, and evaluation code on the project page https://phyground.github.io/.
- Abstract（参考訳）: 生成的世界モデルはビデオ生成にますます使われており、実世界のダイナミクスを管理する物理ルールを学習したシミュレーターが捉えることが期待されている。
しかし、生成されたビデオが実際にこれらのルールに従うかどうかを評価することは依然として難しい。
既存の物理に焦点を当てたビデオベンチマークは重要な進歩を遂げているが、法律固有の失敗を隠蔽する粗い評価フレームワーク、判断の妥当性を損なう反応バイアスと疲労、物理に気付いていないか、監査が難しい自動評価装置などの3つの大きな課題に直面している。
これらの課題に対処するために、ビデオ生成における物理的推論を評価するための基準付きベンチマークであるPhyGroundを紹介する。
ベンチマークには250のキュレートされたプロンプトが含まれており、それぞれが期待される物理的結果と、固体力学、流体力学、光学の13の物理法則の分類が含まれている。
各法は、法律ごとの診断を可能にするために、観察可能なサブクエストによって運用される。
我々は,社会科学実験室実験設計に基づく大規模で品質管理された人間の研究を通じて,8つの現代的なビデオ生成モデルを評価する。
合計459のアノテーションが5,796の完全アノテーションと37.4K以上の細粒度ラベルを提供し、品質管理の後、保持されたアノテーションは高い分割半半のモデルレベルの相関(スピアマンのrho > 0.90)を示した。
再現可能な自動評価を支援するため,オープン物理専門のVLM審査員であるPhyJudge-9Bをリリースする。
PhyJudge-9BはGemini-3.1-Pro(3.3% vs. 16.6%)よりもかなり低い相対バイアスを達成している。
私たちはプロジェクトページ https://phyground.github.io/ でプロンプト、ヒューマンアノテーション、モデルチェックポイント、評価コードをリリースしています。
関連論文リスト
- Apple-$π$: Benchmarking Thinking with Video Towards Law-Grounded Physical Intelligence [54.58886283991723]
Apple-PIは、物理法則でビデオモデルの評価を明示的に固定する最初のベンチマークである。
Apple-PIは3つのコンポーネントから構成される。
ベンチマーク11モデルは、現在のビデオモデルが信頼性の高い地上のワールドシミュレータから遠く離れていることを示している。
論文 参考訳（メタデータ） (2026-07-17T18:00:05Z) - Physics Question Scene Graph: Fine-grained Evaluation of Physical Plausibility in Text-to-Video Generation [72.04671111142191]
本稿では,階層的な質問に基づく評価パイプラインである物理質問シーングラフ(PQSG)を紹介する。
PQSGは、オブジェクト、アクション、および物理法則に従うプロンプトに対する忠実さをチェックすることによって、生成されたビデオを評価する。
我々は物理に基づくプロンプトとそれに対応する生成されたビデオを含むデータセットであるFinePhyEvalを作成してPQSGを検証する。
論文 参考訳（メタデータ） (2026-06-24T02:12:54Z) - Physion-Eval: Evaluating Physical Realism in Generated Video via Human Reasoning [77.34919361116037]
ビデオ生成モデルは、ストーリーテリング、シミュレーション、エンボディドAIのための世界シミュレータとして、ますます使われている。
既存の評価は、自動化されたメトリクスや、好みやルーリックベースのチェックのような粗い人間の判断に大きく依存している。
5つの最先端モデルによって生成されたビデオにおいて、物理的リアリズムの失敗を診断するための専門家による推論のベンチマークであるPhyllon-Evalを紹介する。
論文 参考訳（メタデータ） (2026-03-20T03:25:41Z) - PhyX: Does Your Model Have the "Wits" for Physical Reasoning? [49.083544963243206]
既存のベンチマークでは、物理的な推論という、インテリジェンスの重要な側面を捉えられません。
視覚シナリオにおける物理基底推論のモデルキャパシティを評価するために設計された,最初の大規模ベンチマークであるPhyXを紹介する。
論文 参考訳（メタデータ） (2025-05-21T18:33:50Z) - T2VPhysBench: A First-Principles Benchmark for Physical Consistency in Text-to-Video Generation [12.120541052871486]
生成モデルは、美的魅力と正確な指示に優れた高品質なビデオを生成する。
多くの出力は、剛体衝突、エネルギー保存、重力力学といった基本的な制約に反する。
既存の物理的評価ベンチマークは、単純化されたライフシナリオプロンプトに適用される、自動的なピクセルレベルのメトリクスに依存している。
textbfT2VPhysBenchは、最先端のテキスト・ビデオシステムが12の物理法則に従うかどうかを体系的に評価する第一原理ベンチマークである。
論文 参考訳（メタデータ） (2025-05-01T06:34:55Z) - VideoPhy-2: A Challenging Action-Centric Physical Commonsense Evaluation in Video Generation [66.58048825989239]
VideoPhy-2は、生成されたビデオの物理的常識を評価するアクション中心のデータセットである。
我々は、生成したビデオのセマンティック・アテンデンス、物理コモンセンス、および物理ルールのグラウンド化を評価する人間の評価を行う。
結果より,最高のモデルでも22%のジョイントパフォーマンスを達成できたことが示唆された。
論文 参考訳（メタデータ） (2025-03-09T22:49:12Z) - A Physical Coherence Benchmark for Evaluating Video Generation Models via Optical Flow-guided Frame Prediction [2.5262441079541285]
本稿では,生成されたビデオの物理コヒーレンスを評価するためのベンチマークPhyCoBenchを紹介する。
われわれのベンチマークでは、120のプロンプトが7つのカテゴリの物理原理をカバーし、ビデオコンテンツで観察できる重要な物理法則を捉えている。
本稿では,光学フローと映像フレームをカスケード的に生成する拡散モデルであるPhyCoPredictorを提案する。
論文 参考訳（メタデータ） (2025-02-08T09:31:26Z) - Towards World Simulator: Crafting Physical Commonsense-Based Benchmark for Video Generation [51.750634349748736]
テキスト・ツー・ビデオ(T2V)モデルは複雑なプロンプトの可視化に大きく貢献している。
しかし、直感的な物理を正確に表現するこれらのモデルの能力はほとんど解明されていない。
本稿では,T2V生成における物理コモンセンスの正しさを評価するためにPhyGenBenchを導入する。
論文 参考訳（メタデータ） (2024-10-07T17:56:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。