論文の概要: What-If World: A Causal Benchmark for General World Models in Embodied Scenarios

• arxiv url: http://arxiv.org/abs/2605.27589v1
• Date: Tue, 26 May 2026 19:02:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-29 01:06:09.725362
• Title: What-If World: A Causal Benchmark for General World Models in Embodied Scenarios
• Title（参考訳）: What-If World: エンボディードシナリオにおける一般世界モデルの因果ベンチマーク
• Authors: Kunlin Cai, Rui Song, Jinghuai Zhang, Kaiyuan Zhang, Pranav Bodapati, Alicia Yu, Fnu Suya, Mohammad Rostami, Jiaqi Ma, Yuan Tian,
• Abstract要約: ビデオ生成モデルは、運転やロボット操作といったタスクのための世界シミュレータとして、ますます使われている。 これらの設定で重要なのは、単一のビデオが正しく見えるかどうかではなく、入力が変わったときにモデルの出力が変わるかどうかです。 我々は、同じシーンを1つの物理的詳細で記述した2つのプロンプトをモデルに与え、この2つのビデオが物理の予測方法が異なるかどうかを確認することによって、これを検証した。
• 参考スコア（独自算出の注目度）: 23.527918480081013
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video generation models are increasingly used as world simulators for tasks like driving and robotic manipulation. What matters in these settings is not whether a single video looks right, but whether the model's output changes when its input changes. We test this by giving a model two prompts describing the same scene with one physical detail varied, and checking whether the two videos diverge the way physics predicts. The wording difference between the prompts is small by design, since only one variable is changed, but the correct physical difference is not. A model that misses this can still produce two videos that each look plausible individually, and existing benchmarks score videos one at a time and cannot detect this failure. We introduce What-If World, 319 such prompt pairs built on real frames from nuScenes and DROID, organized by a taxonomy of six physical variables shared across driving and manipulation. Each pair is scored with APEO, a four-part rubric checking whether each video follows its prompt (Adherence), is physically consistent (Physics), preserves the shared scene (Environment), and ends in the correct difference (Outcome). Across nine state-of-the-art models, no system exceeds 52% on the paired score, and open-source models cluster near 28%. Every model tested fails on a large fraction of causal interventions, indicating substantial room before these models can reliably support action-conditioned simulation or model-based planning. Where models do score well, performance appears to track the visual prominence of the intervention rather than the tractability of its underlying physics. Some visually subtle interventions score as low as 14.2%, while visually pronounced ones reach 40.4%.
• Abstract（参考訳）: ビデオ生成モデルは、運転やロボット操作といったタスクのための世界シミュレータとして、ますます使われている。 これらの設定で重要なのは、単一のビデオが正しく見えるかどうかではなく、入力が変わったときにモデルの出力が変わるかどうかです。 我々は、同じシーンを1つの物理的詳細で記述した2つのプロンプトをモデルに与え、この2つのビデオが物理の予測方法が異なるかどうかを確認することによって、これを検証した。 プロンプト間の単語差は、1つの変数だけを変更するが、正しい物理差は変化しないため、設計によって小さい。 これを見落としているモデルは、それぞれが個々に見える2つのビデオを生成することができ、既存のベンチマークは1度に1つのビデオをスコアし、この失敗を検出できない。 運転と操作で共有される6つの物理変数の分類によって組織された、nuScenes と DROID の実際のフレーム上に構築された、What-If World 319のようなプロンプトペアについて紹介する。 それぞれのペアは、APEOでスコアされ、各ビデオがそのプロンプト(アドヘレンス)に従っているかどうかをチェックし、物理的に一貫した(Physics)、共有シーン(環境)を保存し、正しい差(アウトカム)で終了する。 9つの最先端モデルにまたがって、ペア化されたスコアで52%を超えるシステムは存在せず、オープンソースのモデルクラスタは28%近くである。 テストされたモデルはすべて、少数の因果的介入で失敗し、これらのモデルがアクション条件のシミュレーションやモデルベースプランニングを確実にサポートするための十分な余地を示す。 モデルがうまくスコアを付ける場合、性能は基礎となる物理のトラクタビリティよりも、介入の視覚的優位性を追跡するように見える。 視覚的に微妙な介入は14.2%と低いが、視覚的に発音される介入は40.4%に達する。

関連論文リスト

• World Action Models are Zero-shot Policies [111.91938055103633]
  本稿では,予めトレーニングされたビデオ拡散バックボーン上に構築されたワールドアクションモデル(WAM)であるDreamZeroを紹介する。 ビデオとアクションを共同でモデリングすることで、DreamZeroは異種ロボットデータから多様なスキルを効果的に学習する。 ビデオのみによる他のロボットや人間によるデモは、目に見えないタスクのパフォーマンスに対して42%以上の相対的な改善をもたらす。
  論文  参考訳（メタデータ） (2026-02-17T15:04:02Z)
• MAD: Motion Appearance Decoupling for efficient Driving World Models [94.40548866741791]
  本稿では,一般的な映像モデルを制御可能な運転世界モデルに変換する,効率的な適応フレームワークを提案する。 鍵となるアイデアは、外見合成からモーションラーニングを分離することである。 私たちのMAD-LTXモデルであるLTXへのスケーリングは、すべてのオープンソース競合より優れています。
  論文  参考訳（メタデータ） (2026-01-14T12:52:23Z)
• Motion Dreamer: Boundary Conditional Motion Reasoning for Physically Coherent Video Generation [27.690736225683825]
  動作推論を視覚合成から明確に分離する2段階のフレームワークであるMotion Dreamerを紹介する。 提案手法では,部分的ユーザ定義動作の効果的な統合を可能にするスパース・ツー・デンス動作表現であるインスタンスフローを導入している。 実験により、モーションドリーマーは既存の手法よりも優れており、より優れた動きの可視性と視覚的リアリズムを実現していることが示された。
  論文  参考訳（メタデータ） (2024-11-30T17:40:49Z)
• ActionAtlas: A VideoQA Benchmark for Domain-specialized Action Recognition [111.32822459456793]
  ActionAtlasは、様々なスポーツのショートビデオを含むビデオ質問応答ベンチマークである。 このデータセットには、56のスポーツで580のユニークなアクションを示す934の動画が含まれており、合計1896のアクションが選択できる。 我々は、このベンチマークでオープンでプロプライエタリな基礎モデルを評価し、最高のモデルであるGPT-4oが45.52%の精度を達成することを発見した。
  論文  参考訳（メタデータ） (2024-10-08T07:55:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。