論文の概要: What-If World: A Causal Benchmark for General World Models in Embodied Scenarios
- arxiv url: http://arxiv.org/abs/2605.27589v1
- Date: Tue, 26 May 2026 19:02:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-29 01:06:09.725362
- Title: What-If World: A Causal Benchmark for General World Models in Embodied Scenarios
- Title（参考訳）: What-If World: エンボディードシナリオにおける一般世界モデルの因果ベンチマーク
- Abstract要約: ビデオ生成モデルは、運転やロボット操作といったタスクのための世界シミュレータとして、ますます使われている。
これらの設定で重要なのは、単一のビデオが正しく見えるかどうかではなく、入力が変わったときにモデルの出力が変わるかどうかです。
我々は、同じシーンを1つの物理的詳細で記述した2つのプロンプトをモデルに与え、この2つのビデオが物理の予測方法が異なるかどうかを確認することによって、これを検証した。
- 参考スコア（独自算出の注目度）: 23.527918480081013
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video generation models are increasingly used as world simulators for tasks like driving and robotic manipulation. What matters in these settings is not whether a single video looks right, but whether the model's output changes when its input changes. We test this by giving a model two prompts describing the same scene with one physical detail varied, and checking whether the two videos diverge the way physics predicts. The wording difference between the prompts is small by design, since only one variable is changed, but the correct physical difference is not. A model that misses this can still produce two videos that each look plausible individually, and existing benchmarks score videos one at a time and cannot detect this failure. We introduce What-If World, 319 such prompt pairs built on real frames from nuScenes and DROID, organized by a taxonomy of six physical variables shared across driving and manipulation. Each pair is scored with APEO, a four-part rubric checking whether each video follows its prompt (Adherence), is physically consistent (Physics), preserves the shared scene (Environment), and ends in the correct difference (Outcome). Across nine state-of-the-art models, no system exceeds 52% on the paired score, and open-source models cluster near 28%. Every model tested fails on a large fraction of causal interventions, indicating substantial room before these models can reliably support action-conditioned simulation or model-based planning. Where models do score well, performance appears to track the visual prominence of the intervention rather than the tractability of its underlying physics. Some visually subtle interventions score as low as 14.2%, while visually pronounced ones reach 40.4%.
- Abstract（参考訳）: ビデオ生成モデルは、運転やロボット操作といったタスクのための世界シミュレータとして、ますます使われている。
これらの設定で重要なのは、単一のビデオが正しく見えるかどうかではなく、入力が変わったときにモデルの出力が変わるかどうかです。
我々は、同じシーンを1つの物理的詳細で記述した2つのプロンプトをモデルに与え、この2つのビデオが物理の予測方法が異なるかどうかを確認することによって、これを検証した。
プロンプト間の単語差は、1つの変数だけを変更するが、正しい物理差は変化しないため、設計によって小さい。
これを見落としているモデルは、それぞれが個々に見える2つのビデオを生成することができ、既存のベンチマークは1度に1つのビデオをスコアし、この失敗を検出できない。
運転と操作で共有される6つの物理変数の分類によって組織された、nuScenes と DROID の実際のフレーム上に構築された、What-If World 319のようなプロンプトペアについて紹介する。
それぞれのペアは、APEOでスコアされ、各ビデオがそのプロンプト(アドヘレンス)に従っているかどうかをチェックし、物理的に一貫した(Physics)、共有シーン(環境)を保存し、正しい差(アウトカム)で終了する。
9つの最先端モデルにまたがって、ペア化されたスコアで52%を超えるシステムは存在せず、オープンソースのモデルクラスタは28%近くである。
テストされたモデルはすべて、少数の因果的介入で失敗し、これらのモデルがアクション条件のシミュレーションやモデルベースプランニングを確実にサポートするための十分な余地を示す。
モデルがうまくスコアを付ける場合、性能は基礎となる物理のトラクタビリティよりも、介入の視覚的優位性を追跡するように見える。
視覚的に微妙な介入は14.2%と低いが、視覚的に発音される介入は40.4%に達する。
関連論文リスト
- TEMPO: Learning Temporal Context for Dynamic Robot Manipulation [12.057683796484232]
本稿では、事前訓練されたVLAを2つの時間入力で拡張し、動きのあいまいさと状態のエイリアスを解消するTEMPOを提案する。
ボトルハンドオーバの成功を44%から74%に改善し、状態エイリアスを解決する唯一の方法である。
さらに、動作認識ロボットの知覚を評価するために、50k以上の注釈付きフレームのベンチマークであるTEMPO-Benchをリリースする。
論文 参考訳（メタデータ） (2026-09-15T08:56:52Z) - MotionBlind: Probing the Illusion of Motion Understanding in Video-LLMs [4.006324106431453]
ビデオ大言語モデル (Video-LLMs) は、世界モデルの知覚的フロントエンドとしてますます使われている。
我々は、物理的に接地されたモーションのための自己記録ビデオのコントラストベンチマークであるMotionBlindを紹介する。
Video-LLMは、同じ部屋で同じ人の2つのクリップを見ることができる。
論文 参考訳（メタデータ） (2026-09-08T23:15:20Z) - Dancing Stick Figures: An Introductory Dataset for Training Video Generation Models [0.0]
Dancing Stick Figuresは,3つの障害に対して構築された合成ビデオデータセットだ。
スピードに関しては、64x64の64フレーム参照タスクは、単一のワークステーションGPUで実際に繰り返しトレーニングするためにサイズが大きすぎる。
アクセシビリティーのために、このリリースは4,020本のビデオクリップ-1,340本の6秒のソースモーションの0.79GBのトレーニングティアである。
論文 参考訳（メタデータ） (2026-08-29T08:03:19Z) - RigidBench: Evaluating Rigid-Body Physics in Video Generation Models [16.53417077740312]
そこで本研究では,生成した継続と参照ロールアウトを同一の初期フレームと動作記述から比較したシミュレータグラウンドベンチマークを提案する。
同じ100の例で8つのモデルを評価し、これらの側面を分離する10の計測を行った。
完全な微調整により3次元軌道誤差は約20%減少し、SSIMはほとんど変化しない。
論文 参考訳（メタデータ） (2026-08-16T06:05:20Z) - Apple-$π$: Benchmarking Thinking with Video Towards Law-Grounded Physical Intelligence [54.58886283991723]
Apple-PIは、物理法則でビデオモデルの評価を明示的に固定する最初のベンチマークである。
Apple-PIは3つのコンポーネントから構成される。
ベンチマーク11モデルは、現在のビデオモデルが信頼性の高い地上のワールドシミュレータから遠く離れていることを示している。
論文 参考訳（メタデータ） (2026-07-17T18:00:05Z) - WBench: A Comprehensive Multi-turn Benchmark for Interactive Video World Model Evaluation [56.5415838759151]
WBenchはインタラクティブな世界モデルを評価するための総合的なベンチマークである。
ビデオの品質、セッティングアテンジェンス、インタラクションアテンデンス、一貫性、物理コンプライアンスをカバーしている。
289件のテストケースと1,058件のインタラクション・ターンが含まれており、多様なシーン、スタイル、主題、一対三の視点をカバーしている。
論文 参考訳（メタデータ） (2026-05-25T14:01:31Z) - World Action Models are Zero-shot Policies [111.91938055103633]
本稿では,予めトレーニングされたビデオ拡散バックボーン上に構築されたワールドアクションモデル(WAM)であるDreamZeroを紹介する。
ビデオとアクションを共同でモデリングすることで、DreamZeroは異種ロボットデータから多様なスキルを効果的に学習する。
ビデオのみによる他のロボットや人間によるデモは、目に見えないタスクのパフォーマンスに対して42%以上の相対的な改善をもたらす。
論文 参考訳（メタデータ） (2026-02-17T15:04:02Z) - MAD: Motion Appearance Decoupling for efficient Driving World Models [94.40548866741791]
本稿では,一般的な映像モデルを制御可能な運転世界モデルに変換する,効率的な適応フレームワークを提案する。
鍵となるアイデアは、外見合成からモーションラーニングを分離することである。
私たちのMAD-LTXモデルであるLTXへのスケーリングは、すべてのオープンソース競合より優れています。
論文 参考訳（メタデータ） (2026-01-14T12:52:23Z) - Motion Dreamer: Boundary Conditional Motion Reasoning for Physically Coherent Video Generation [27.690736225683825]
動作推論を視覚合成から明確に分離する2段階のフレームワークであるMotion Dreamerを紹介する。
提案手法では,部分的ユーザ定義動作の効果的な統合を可能にするスパース・ツー・デンス動作表現であるインスタンスフローを導入している。
実験により、モーションドリーマーは既存の手法よりも優れており、より優れた動きの可視性と視覚的リアリズムを実現していることが示された。
論文 参考訳（メタデータ） (2024-11-30T17:40:49Z) - ActionAtlas: A VideoQA Benchmark for Domain-specialized Action Recognition [111.32822459456793]
ActionAtlasは、様々なスポーツのショートビデオを含むビデオ質問応答ベンチマークである。
このデータセットには、56のスポーツで580のユニークなアクションを示す934の動画が含まれており、合計1896のアクションが選択できる。
我々は、このベンチマークでオープンでプロプライエタリな基礎モデルを評価し、最高のモデルであるGPT-4oが45.52%の精度を達成することを発見した。
論文 参考訳（メタデータ） (2024-10-08T07:55:09Z) - Perception Test: A Diagnostic Benchmark for Multimodal Video Models [78.64546291816117]
本稿では,事前学習したマルチモーダルモデルの知覚と推論能力を評価するために,新しいマルチモーダルビデオベンチマークを提案する。
知覚テストは、スキル(記憶、抽象化、物理学、セマンティックス)と、ビデオ、オーディオ、テキストモダリティ間の推論(記述的、説明的、予測的、反ファクト的)のタイプに焦点を当てている。
このベンチマークは、ゼロショット/少数ショットまたは限定的な微調整方式で、転送機能の事前訓練されたモデルを探索する。
論文 参考訳（メタデータ） (2023-05-23T07:54:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。