論文の概要: Seeing and Imagining as One: Unified Video Generation and 4D Perception for Embodied World Modeling

• arxiv url: http://arxiv.org/abs/2610.39232v1
• Date: Thu, 29 Oct 2026 02:50:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.417377
• Title: Seeing and Imagining as One: Unified Video Generation and 4D Perception for Embodied World Modeling
• Title（参考訳）: 見つめと想像:世界モデリングのための統一ビデオ生成と4次元知覚
• Abstract要約: GenSightは、将来の世代と密集感を1つの事前訓練されたビデオトランスにもたらす、統一的なエンボディドワールドモデルである。 GenSightは、複数のロボットエンボディメントとヒューマンハンドインタラクションにまたがる実施データに基づいて訓練され、ビデオ生成と密度の高い4D知覚の両方において、強力なパフォーマンスを示す。
• 参考スコア（独自算出の注目度）: 9.404152626247802
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Embodied world models should not only imagine plausible futures, but also perceive the geometric, semantic, and motion structure of the evolving world. We present GenSight, a unified embodied world model that brings future video generation and dense perception into a single pretrained video diffusion transformer. GenSight uses a unified spatiotemporal representation for video, depth, embodiment segmentation, and first-frame-relative 2D flow. Built on a shared DiT backbone, GenSight uses lightweight task modulation to predict all modalities within the same architecture. All tasks are jointly optimized within a unified velocity prediction space. At inference, GenSight supports two complementary modes: multi-step future video generation with aligned dense predictions and single-step dense perception from an observed video. By unifying modality representation, model architecture, and prediction space, GenSight avoids separate modality-specific pipelines and couples appearance, geometry, semantics, and motion in a shared representation. It promotes cross-modal consistency and allows dense perception to benefit from the spatiotemporal priors learned through video generation. Trained on embodied manipulation data spanning multiple robot embodiments and human-hand interactions, GenSight demonstrates strong performance in both video generation and dense 4D perception, highlighting the effectiveness of unifying seeing and imagining for embodied world modeling.
• Abstract（参考訳）: 身体化された世界モデルは、もっともらしい未来を想像するだけでなく、進化する世界の幾何学的、意味的、運動構造も認識すべきである。 我々は、将来のビデオ生成と密集感を1つの事前学習ビデオ拡散変換器にもたらす、統一的なエンボディドワールドモデルGenSightを提案する。 GenSightは、ビデオ、深さ、エンボディメントのセグメンテーション、および第1フレーム相対的な2次元フローに統一された時空間表現を使用する。 共有されたDiTバックボーン上に構築されたGenSightは、軽量なタスク変調を使用して、同じアーキテクチャ内のすべてのモダリティを予測する。 すべてのタスクは、統合された速度予測空間内で共同最適化される。 推論では、GenSightは2つの補完モードをサポートしている。 モダリティ表現、モデルアーキテクチャ、予測空間を統一することにより、GenSightは異なるモダリティ固有のパイプラインやカップルの外観、幾何学、意味論、動きを共有表現で避ける。 クロスモーダルな一貫性を促進し、ビデオ生成を通じて学んだ時空間的事前の恩恵を受けることができる。 GenSightは、複数のロボットエンボディメントとヒューマンハンドインタラクションにまたがる操作データに基づいて、ビデオ生成と密集した4D知覚の両方において、強力なパフォーマンスを示し、エンボディされた世界モデリングのための統一された視覚と想像の有効性を強調している。

関連論文リスト

• DeXplicit: Making Physical State Explicit in Dexterous Manipulation World Models [39.00576017401513]
  DeXplicitは、視覚的な結果の前に、世界がメートル法3Dで明示的にどのように進化するかを予測する操作世界モデルである。 2段階因果生成による設計は、ビデオ合成における14Bの双方向構成から57倍の高速化を実現する。
  論文  参考訳（メタデータ） (2026-10-22T06:02:09Z)
• Video Generation Models are General-Purpose Vision Learners [62.28137589984863]
  我々は、大規模なテキスト・ビデオ生成がコンピュータビジョンのための強力な事前学習パラダイムであると主張している。 我々は、予め訓練されたビデオ拡散バックボーンを利用してフィードフォワード知覚モデルを定義するGenCeptionを紹介する。 実証的な結果から、GenCeptionは様々なタスクで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-07-10T01:09:06Z)
• World Action Models: A Survey [100.95337034529263]
  ワールドアクションモデル(World Action Models, WAM)は、将来を予測できる予測モデルである。 近年のWAMは大規模なビデオ生成モデルを再利用しており、並列線はビデオ生成コアを持たない言語や視覚言語によるバックボーンに依存している。 この調査は、フィールドに共通の説明を与えます。まず、これらの境界を明確にし、2つの補完的な視点で既存の作業を整理します。
  論文  参考訳（メタデータ） (2026-06-18T17:05:19Z)
• MetaWorld: Scaling Multi-Agent Video World Model from Single-view Video Data [125.43597497646444]
  MetaWorldは、マルチエージェントビデオワールドモデルをシングルビュービデオから直接オープンドメイン環境にスケールする新しいフレームワークである。 クロスビューの一貫性とアイデンティティの整合性を向上し、マルチエージェントビデオワールドモデリングのための高度にスケーラブルで物理駆動のパラダイムを確立する。
  論文  参考訳（メタデータ） (2026-06-01T18:20:20Z)
• HERMES++: Toward a Unified Driving World Model for 3D Scene Understanding and Generation [83.31948299340782]
  HERMES++は、単一のフレームワーク内で3Dシーン理解と将来の幾何学的予測を統合する統合駆動世界モデルである。 Hermes++は、将来のクラウド予測と3Dシーン理解タスクの両方において、優れたパフォーマンスと優れたスペシャリストのアプローチを実現している。
  論文  参考訳（メタデータ） (2026-04-30T17:59:58Z)
• RAYNOVA: Scale-Temporal Autoregressive World Modeling in Ray Space [51.441415833480505]
  RAYNOVAは、二重因果自己回帰フレームワークを使用するシナリオを駆動するための多視点世界モデルである。 相対的なシャーカー線位置符号化に基づいて、ビュー、フレーム、スケールにまたがる等方的時間的表現を構築する。
  論文  参考訳（メタデータ） (2026-02-24T08:41:40Z)
• Simulating the Visual World with Artificial Intelligence: A Roadmap [48.64639618440864]
  ビデオ生成は、視覚的に魅力的なクリップを生成するものから、インタラクションをサポートし、物理的な可視性を維持する仮想環境を構築するものへとシフトしている。 この調査は、この進化の体系的な概要を提供し、現代のビデオ基盤モデルを2つのコアコンポーネントの組み合わせとして概念化した。 4世代にわたる映像生成の進展を追究し,本質的な物理的妥当性を具現化した映像生成モデルを構築した。
  論文  参考訳（メタデータ） (2025-11-11T18:59:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。