論文の概要: Towards Interactive Video World Modeling: Frontiers, Challenges, Benchmarks, and Future Trends

• arxiv url: http://arxiv.org/abs/2606.01164v1
• Date: Sun, 31 May 2026 11:12:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:29.291558
• Title: Towards Interactive Video World Modeling: Frontiers, Challenges, Benchmarks, and Future Trends
• Title（参考訳）: インタラクティブなビデオワールドモデリングに向けて:フロンティア、チャレンジ、ベンチマーク、今後のトレンド
• Authors: Jiuming Liu, Chaojun Ni, Mengmeng Liu, Chensheng Peng, Fangjinhua Wang, Sitian Shen, Marc Pollefeys, Masayoshi Tomizuka, Ayush Tewari, Per Ola Kristensson,
• Abstract要約: 我々は,最近の研究動向,技術開発,評価ベンチマークを体系的にレビューし,インタラクティブな世界モデリングにおける今後の方向性を提案することを目的とする。 具体的には、アプリケーションシナリオ、世界状態の進化、シーンのモダリティの観点から、最近の取り組みとトレンドを最初に要約する。 アクションコンディショナビリティ、長期的なインタラクションとメモリ、リアルタイムの対話性に対するアクションフォロー応答性など、重要な3つの課題を掘り下げる。
• 参考スコア（独自算出の注目度）: 97.83859431619874
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With rapid development of large language models and diffusion-based content generation, world modeling has attracted increasing research attention, benefiting various downstream domains such as game engines, embodied AI, autonomous driving, etc. Through explicitly incorporating user actions into world state transition, recent literature empowers world modeling with interactivity in an action-conditioned video or 3D generation paradigm, further enhancing controllability over world evolutions and facilitating users to freely traverse, manipulate, navigate, and personalize the state evolution. In this paper, we aim to systematically review recent research trends, technical developments, evaluation benchmarks, and also propose future potential directions in interactive world modeling. Specifically, we first summarize recent efforts and trends in terms of application scenarios, world state evolution, and scene modality. Afterwards, we delve into three crucial technical challenges, including action-conditioned controllability, long-horizon interactions and memory, and action-following responsiveness for real-time interactivity. Furthermore, we also thoroughly compare existing benchmarks and metrics in four specific application fields: open-world exploration, game engine, autonomous driving, and robotics. Finally, we discuss several promising future directions in achieving next-generation interactive world modeling. The corresponding repository is publicly available at: https://github.com/liujiuming123/Awesome-Interactive-World-Model.
• Abstract（参考訳）: 大規模言語モデルと拡散型コンテンツ生成の急速な発展により、世界モデリングは研究の注目を集め、ゲームエンジン、エンボディAI、自動運転などの下流領域の恩恵を受けている。 近年の文献では、ユーザアクションを世界状態遷移に明示的に組み込むことによって、アクション条件付きビデオや3D生成パラダイムにおける相互作用を伴う世界モデリングが強化され、世界進化に対する制御性がさらに向上し、ユーザが自由に移動し、操作し、ナビゲートし、状態進化をパーソナライズすることを可能にする。 本稿では,最近の研究動向,技術開発,評価ベンチマークを体系的にレビューし,インタラクティブな世界モデリングにおける今後の方向性を提案する。 具体的には、アプリケーションシナリオ、世界状態の進化、シーンのモダリティの観点から、最近の取り組みとトレンドを最初に要約する。 その後、アクションコンディショナビリティ、長い水平相互作用とメモリ、リアルタイムの対話性に対するアクションフォロー応答性など、重要な3つの課題を掘り下げる。 さらに、オープンワールド探索、ゲームエンジン、自律運転、ロボット工学の4つの分野において、既存のベンチマークとメトリクスを徹底的に比較します。 最後に,次世代の対話型世界モデリングの実現に向けて,いくつかの将来的な方向性について論じる。 対応するリポジトリは、https://github.com/liujiuming123/Awesome-Interactive-World-Modelで公開されている。

関連論文リスト

• Omni-WorldBench: Towards a Comprehensive Interaction-Centric Evaluation for World Models [39.648000265543445]
  ビデオベースの世界モデルは、ビデオ生成と3D再構成という2つの支配的なパラダイムに沿って登場した。 世界モデリングの未来は、空間構造と時間的進化を共同でモデル化する4D世代にあると我々は主張する。 Omni-WorldBenchは,世界モデルの対話的応答能力を4次元設定で評価するためのベンチマークである。
  論文  参考訳（メタデータ） (2026-03-23T17:10:29Z)
• A Survey of World Models for Autonomous Driving [55.520179689933904]
  自律運転の最近の進歩は、堅牢な世界モデリングの進歩によって推進されている。 世界モデルは、マルチセンサーデータ、セマンティックキュー、時間ダイナミクスを統合する駆動環境の高忠実度表現を提供する。 今後の研究は、自己指導型表現学習、マルチモーダル融合、高度なシミュレーションにおける重要な課題に対処する必要がある。
  論文  参考訳（メタデータ） (2025-01-20T04:00:02Z)
• Exploring the Interplay Between Video Generation and World Models in Autonomous Driving: A Survey [61.39993881402787]
  世界モデルとビデオ生成は、自動運転の領域において重要な技術である。 本稿では,この2つの技術の関係について検討する。 映像生成モデルと世界モデルとの相互作用を分析することにより,重要な課題と今後の研究方向性を明らかにする。
  論文  参考訳（メタデータ） (2024-11-05T08:58:35Z)
• iVideoGPT: Interactive VideoGPTs are Scalable World Models [70.02290687442624]
  世界モデルは、現実の意思決定のために想像された環境の中で、モデルベースのエージェントを対話的に探索し、推論し、計画することを可能にする。 マルチモーダルな信号 – 視覚的観察,アクション,報酬 – を統合した,スケーラブルな自己回帰型トランスフォーマーフレームワークであるInteractive VideoGPTを導入する。 iVideoGPTは、高次元の視覚的観察を効率的に識別する新しい圧縮トークン化技術を備えている。
  論文  参考訳（メタデータ） (2024-05-24T05:29:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。