論文の概要: WorldMark: A Unified Benchmark Suite for Interactive Video World Models
- arxiv url: http://arxiv.org/abs/2604.21686v1
- Date: Thu, 23 Apr 2026 13:50:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-24 14:40:06.56749
- Title: WorldMark: A Unified Benchmark Suite for Interactive Video World Models
- Title(参考訳): WorldMark:インタラクティブなビデオワールドモデルのための統一ベンチマークスイート
- Authors: Xiaojie Xu, Zhengyuan Lin, Kang He, Yukang Feng, Xiaofeng Mao, Yuanyang Yin, Kaipeng Zhang, Yongtao Ge,
- Abstract要約: We introduced WorldMark, the first benchmark that provide a common play field for interactive Image-to-Video world models。
ワールドマークは、(1)共通のWASDスタイルのアクション語彙を各モデルのネイティブコントロール形式に変換し、同一のシーンと軌跡の6つの主要モデル間でリンゴとアプリの比較を可能にする統一アクションマッピング層、(2)1人目と3人目、フォトリアリスティックでスタイリングされたシーン、そして容易からハードまでの3つの難易度を含む500の評価ケースの階層的なテストスイート、(3)視覚品質、制御アライメント、世界一貫性のためのモジュラー評価ツールキット
- 参考スコア(独自算出の注目度): 29.83820642224732
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Interactive video generation models such as Genie, YUME, HY-World, and Matrix-Game are advancing rapidly, yet every model is evaluated on its own benchmark with private scenes and trajectories, making fair cross-model comparison impossible. Existing public benchmarks offer useful metrics such as trajectory error, aesthetic scores, and VLM-based judgments, but none supplies the standardized test conditions -- identical scenes, identical action sequences, and a unified control interface -- needed to make those metrics comparable across models with heterogeneous inputs. We introduce WorldMark, the first benchmark that provides such a common playing field for interactive Image-to-Video world models. WorldMark contributes: (1) a unified action-mapping layer that translates a shared WASD-style action vocabulary into each model's native control format, enabling apples-to-apples comparison across six major models on identical scenes and trajectories; (2) a hierarchical test suite of 500 evaluation cases covering first- and third-person viewpoints, photorealistic and stylized scenes, and three difficulty tiers from Easy to Hard spanning 20-60s; and (3) a modular evaluation toolkit for Visual Quality, Control Alignment, and World Consistency, designed so that researchers can reuse our standardized inputs while plugging in their own metrics as the field evolves. We will release all data, evaluation code, and model outputs to facilitate future research. Beyond offline metrics, we launch World Model Arena (warena.ai), an online platform where anyone can pit leading world models against each other in side-by-side battles and watch the live leaderboard.
- Abstract(参考訳): Genie、YUME、HY-World、Matrix-Gameといったインタラクティブなビデオ生成モデルは急速に進歩しているが、すべてのモデルはプライベートなシーンやトラジェクトリで独自のベンチマークで評価されるため、公平なクロスモデル比較は不可能である。
既存の公開ベンチマークは、軌道誤差、美的スコア、VLMベースの判断などの有用なメトリクスを提供するが、同一のシーン、同一のアクションシーケンス、統一されたコントロールインターフェースなど、標準化されたテスト条件を提供するものはない。
インタラクティブな画像-ビデオの世界モデルにこのような共通のフィールドを提供する最初のベンチマークであるWorldMarkを紹介します。
ワールドマークは、(1)共通のWASDスタイルのアクション語彙をそれぞれのモデルのネイティブコントロール形式に変換する統一されたアクションマッピングレイヤ、(2)同一のシーンと軌跡上の6つの主要なモデル間でリンゴとアプリケーションの比較を可能にする、(2)一対一の視点と三対三の視点、フォトリアリスティックでスタイリングされたシーン、そして、容易からハードスパンする20~60sまでの3つの難易度を含む500の評価ケースの階層的なテストスイート、(3)視覚品質、制御アライメント、世界一貫性のためのモジュラー評価ツールキット。
将来の研究を促進するために、すべてのデータ、評価コード、モデルアウトプットをリリースします。
オフラインのメトリクス以外にも、私たちはWorld Model Arena(warena.ai)というオンラインプラットフォームを立ち上げました。
関連論文リスト
- GameWorld: Towards Standardized and Verifiable Evaluation of Multimodal Game Agents [76.60994803070436]
GameWorldは、ブラウザ環境におけるマルチモーダル大言語モデル(MLLM)ゲームエージェントの評価のためのベンチマークである。
2つのゲームエージェントインタフェースが研究され、 (i) キーボードとマウスのコントロールを直接出力するコンピュータ利用エージェント、 (ii) セマンティックアクション空間で作用する汎用マルチモーダルエージェントが研究されている。
18組のモデルとインタフェースのペアによる結果は、最高のパフォーマンスエージェントでさえ、ビデオゲームで人間の能力を達成するには程遠いことを示唆している。
論文 参考訳(メタデータ) (2026-04-08T17:49:03Z) - Wow, wo, val! A Comprehensive Embodied World Model Evaluation Turing Test [62.17144846428715]
我々は、Embodied Turing Testベンチマーク: WoW-World-Eval (Wow,wo,val)を紹介する。
Wow-wo-valは知覚、計画、予測、一般化、実行の5つのコア能力を調べる。
Inverse Dynamic Model Turing Testでは、まずIMMを用いて、実世界におけるビデオ基盤モデルの実行精度を評価する。
論文 参考訳(メタデータ) (2026-01-07T17:50:37Z) - Towards High-Consistency Embodied World Model with Multi-View Trajectory Videos [24.111891848073288]
身体的世界モデルは、視覚的な観察と行動を通じて物理的世界と予測し、相互作用することを目的としている。
MTV-Worldは正確なビジュモータ予測のためのマルチビュートラジェクトリ・ビデオ制御を導入した。
MTV-Worldは、複雑なデュアルアームシナリオにおける正確な制御実行と正確な物理的相互作用モデリングを実現する。
論文 参考訳(メタデータ) (2025-11-17T02:17:04Z) - MindJourney: Test-Time Scaling with World Models for Spatial Reasoning [97.61985090279961]
視覚言語モデルのためのテスト時間スケーリングフレームワークであるMindJourneyを提案する。
我々は,代表的空間推論ベンチマークSATにおいて,MindJourneyが平均7.7%以上の性能向上を達成したことを示す。
また,本手法は,強化学習により訓練した試験時間推定VLMも改善する。
論文 参考訳(メタデータ) (2025-07-16T17:59:36Z) - WorldPrediction: A Benchmark for High-level World Modeling and Long-horizon Procedural Planning [52.36434784963598]
我々は、異なるAIモデルのワールドモデリングと手続き計画能力を評価するためのビデオベースのベンチマークであるWorldPredictionを紹介する。
現在のフロンティアモデルでは,WorldPrediction-WMでは57%,WorldPrediction-PPでは38%の精度しか達成できないが,人間は両タスクを完璧に解くことができる。
論文 参考訳(メタデータ) (2025-06-04T18:22:40Z) - MineWorld: a Real-Time and Open-Source Interactive World Model on Minecraft [21.530000271719803]
我々はMinecraft上でリアルタイムインタラクティブな世界モデルであるMineWorldを提案する。
MineWorldはビジュアルアクション自動回帰トランスフォーマーによって駆動され、ペア化されたゲームシーンと対応するアクションを入力として取り込む。
本研究では,各フレームの空間的冗長トークンを同時に予測する並列デコーディングアルゴリズムを開発した。
論文 参考訳(メタデータ) (2025-04-11T09:41:04Z) - WorldScore: A Unified Evaluation Benchmark for World Generation [26.259206146192817]
我々は、ワールドジェネレーションのための最初の統一ベンチマークであるWorldScoreベンチマークを紹介する。
WorldScoreベンチマークには3000のテストサンプルのキュレートされたデータセットが含まれている。
WorldScoreのメトリクスは,3つの重要な側面 – 可制御性,品質,ダイナミック性 – を通じて生成された世界を評価します。
論文 参考訳(メタデータ) (2025-04-01T17:20:23Z) - WorldModelBench: Judging Video Generation Models As World Models [57.776769550453594]
ビデオ生成モデルは急速に進歩し、ロボット工学や自動運転といった意思決定アプリケーションをサポートするビデオワールドモデルとしての地位を確立している。
現在のベンチマークでは、これらの主張を厳格に評価することができず、一般的なビデオ品質にのみ焦点が当てられている。
アプリケーション駆動ドメインにおけるビデオ生成モデルのワールドモデリング能力を評価するためのベンチマークであるWorldModelBenchを提案する。
論文 参考訳(メタデータ) (2025-02-28T03:58:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。