論文の概要: Morpheus: Benchmarking Physical Reasoning of Video Generative Models with Real Physical Experiments

• arxiv url: http://arxiv.org/abs/2504.02918v1
• Date: Thu, 03 Apr 2025 15:21:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-07 14:48:28.284101
• Title: Morpheus: Benchmarking Physical Reasoning of Video Generative Models with Real Physical Experiments
• Title（参考訳）: Morpheus: 実物実験による映像生成モデルの物理推論のベンチマーク
• Authors: Chenyu Zhang, Daniil Cherniavskii, Andrii Zadaianchuk, Antonios Tragoudaras, Antonios Vozikis, Thijmen Nijdam, Derck W. E. Prinzhorn, Mark Bodracska, Nicu Sebe, Efstratios Gavves,
• Abstract要約: 物理推論に基づく映像生成モデル評価のためのベンチマークであるMorpheusを紹介する。 物理現象を捉えた80の現実世界のビデオが保存法によってガイドされている。 我々の研究結果によると、プロンプトやビデオコンディショニングが進んだとしても、現在のモデルは物理原理をエンコードするのに苦労している。
• 参考スコア（独自算出の注目度）: 55.465371691714296
• License:
• Abstract: Recent advances in image and video generation raise hopes that these models possess world modeling capabilities, the ability to generate realistic, physically plausible videos. This could revolutionize applications in robotics, autonomous driving, and scientific simulation. However, before treating these models as world models, we must ask: Do they adhere to physical conservation laws? To answer this, we introduce Morpheus, a benchmark for evaluating video generation models on physical reasoning. It features 80 real-world videos capturing physical phenomena, guided by conservation laws. Since artificial generations lack ground truth, we assess physical plausibility using physics-informed metrics evaluated with respect to infallible conservation laws known per physical setting, leveraging advances in physics-informed neural networks and vision-language foundation models. Our findings reveal that even with advanced prompting and video conditioning, current models struggle to encode physical principles despite generating aesthetically pleasing videos. All data, leaderboard, and code are open-sourced at our project page.
• Abstract（参考訳）: 画像とビデオ生成の最近の進歩は、これらのモデルが現実的で物理的に可能なビデオを生成する能力を持つことを期待している。 これはロボティクス、自律運転、科学シミュレーションの応用に革命をもたらす可能性がある。 しかし、これらのモデルを世界モデルとして扱う前に、我々は問う必要がある。 そこで本研究では,物理推論に基づく映像生成モデル評価のためのベンチマークであるMorpheusを紹介する。 物理現象を捉えた80の現実世界のビデオが保存法によってガイドされている。 人工生命体は基礎的真理を欠いているため,物理インフォームド・ニューラルネットワークやビジョンベース・ファンデーション・モデルにおける進歩を活用し,物理インフォームド・メトリクスを用いて物理環境における不確定な保存法則について評価した。 その結果、高度なプロンプトやビデオコンディショニングであっても、現在のモデルは、美的なビデオを生成するにもかかわらず、物理的な原則をエンコードするのに苦労していることがわかった。 すべてのデータ、リーダーボード、コードは、私たちのプロジェクトページでオープンソース化されています。

関連論文リスト

• Generative Physical AI in Vision: A Survey [25.867330158975932]
  生成人工知能(AI)は、コンピュータビジョンの分野を急速に進歩させ、機械が前例のない高度なビジュアルデータを作成し、解釈できるようにする。 生成AIが進化して物理リアリズムと動的シミュレーションを統合するにつれ、その「世界シミュレータ」として機能する可能性が高まっている。 この調査は、コンピュータビジョンにおける物理学を意識した生成AIの出現する分野を体系的にレビューする。
  論文  参考訳（メタデータ） (2025-01-19T03:19:47Z)
• Do generative video models understand physical principles? [15.534227431706773]
  AIビデオ生成は、品質とリアリズムが急速に進歩し、革命を遂げている。 ビデオモデルは、物理の法則を発見する「世界モデル」を学ぶのか、それとも、現実の物理原理を理解せずに視覚的リアリズムを達成するための高度なピクセル予測器なのか? 我々は,様々な物理原理の深い理解を得ることによってのみ解決できるベンチマークデータセットであるPhysical-IQを開発することで,この問題に対処する。
  論文  参考訳（メタデータ） (2025-01-14T20:59:37Z)
• How Far is Video Generation from World Model: A Physical Law Perspective [101.24278831609249]
  OpenAIのSoraは、物理法則に準拠した世界モデルを開発するためのビデオ生成の可能性を強調している。 しかし、ビデオ生成モデルが人間の先行しない視覚データから純粋にそのような法則を発見する能力に疑問を投げかけることができる。 本研究は,3つの主要なシナリオ – 分布内,分布外,一般化 – について評価する。
  論文  参考訳（メタデータ） (2024-11-04T18:53:05Z)
• Towards World Simulator: Crafting Physical Commonsense-Based Benchmark for Video Generation [51.750634349748736]
  テキスト・ツー・ビデオ(T2V)モデルは複雑なプロンプトの可視化に大きく貢献している。 しかし、直感的な物理を正確に表現するこれらのモデルの能力はほとんど解明されていない。 本稿では,T2V生成における物理コモンセンスの正しさを評価するためにPhyGenBenchを導入する。
  論文  参考訳（メタデータ） (2024-10-07T17:56:04Z)
• PhysGen: Rigid-Body Physics-Grounded Image-to-Video Generation [29.831214435147583]
  本稿では,新しい画像対ビデオ生成法であるPhysGenを提案する。 リアルで、物理的にもっともらしく、時間的に一貫したビデオを生み出す。 我々の重要な洞察は、モデルに基づく物理シミュレーションとデータ駆動のビデオ生成プロセスを統合することである。
  論文  参考訳（メタデータ） (2024-09-27T17:59:57Z)
• VideoPhy: Evaluating Physical Commonsense for Video Generation [93.28748850301949]
  生成したビデオが現実世界のアクティビティの物理的常識に従うかどうかを評価するためのベンチマークであるVideoPhyを提示する。 そして、さまざまな最先端のテキスト・ビデオ生成モデルからキャプションに条件付けされたビデオを生成する。 人間の評価では、既存のモデルには、与えられたテキストプロンプトに付着したビデオを生成する能力が欠けていることが判明した。
  論文  参考訳（メタデータ） (2024-06-05T17:53:55Z)
• Dynamic Visual Reasoning by Learning Differentiable Physics Models from Video and Language [92.7638697243969]
  視覚概念を協調的に学習し,映像や言語から物体の物理モデルを推定する統合フレームワークを提案する。 これは視覚認識モジュール、概念学習モジュール、微分可能な物理エンジンの3つのコンポーネントをシームレスに統合することで実現される。
  論文  参考訳（メタデータ） (2021-10-28T17:59:13Z)
• Visual Grounding of Learned Physical Models [66.04898704928517]
  人間は、物体の物理的特性を直感的に認識し、複雑な相互作用に従事している場合でも、その動きを予測する。 我々は、物理を同時に推論し、視覚と力学の先行に基づく将来の予測を行うニューラルモデルを提案する。 実験により、我々のモデルはいくつかの観測範囲内で物理的特性を推測できることが示され、モデルが目に見えないシナリオに迅速に適応し、将来正確な予測を行うことができる。
  論文  参考訳（メタデータ） (2020-04-28T17:06:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。