論文の概要: AEON: Unifying Video and 3D World Models

• arxiv url: http://arxiv.org/abs/2610.28631v1
• Date: Tue, 20 Oct 2026 17:59:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.982708
• Title: AEON: Unifying Video and 3D World Models
• Title（参考訳）: AEON:ビデオと3Dワールドモデルの統合
• Abstract要約: AEONは、ビデオベースと3Dベースの世界モデルをブリッジする統合フレームワークである。 AEONの主な洞察は、テキストまたは画像条件付きビデオ潜在空間内で動く生成モデルにある。 モノクロビデオから4DGSとカメラのポーズを予測し、4Dデコーダとして機能する4D再構成モデルをトレーニングする。
• 参考スコア（独自算出の注目度）: 65.99530607396298
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current world models for explicit world simulation typically follow two distinct pathways: (1) video generative models (e.g., Sora), which simulate realistic appearances but fail to preserve 3D consistency; and (2) 3D generative models (e.g., Marble), which generate geometrically consistent scenes but often yield static, less realistic observations. We present AEON, a unified framework that bridges video-based and 3D-based world models and combines the benefits of both. The key insight of AEON lies in a generative model that operates within the text- or image-conditioned video latent space while producing renderable 4D graphics primitives---specifically, 4D Gaussian Splatting (4DGS)---as the explicit world representation. We train a 4D reconstruction model to predict both 4DGS and camera poses from monocular videos, serving as our initialized 4D decoder. Furthermore, we design a domain adapter that translates generative video latents into reconstructive 4D latents through a distillation process on the video VAE. AEON naturally supports video-based world modeling by rendering 4DGS at predicted camera trajectories, and constructs a persistent 4D environment with scene dynamics for realistic world simulation. Consequently, AEON empowers a diverse range of world modeling applications and achieves state-of-the-art performance on standard benchmarks. Project Page: https://weiqi-zhang.github.io/AEON
• Abstract（参考訳）: 現在の世界モデルは、(1)現実的な外観をシミュレートするが3Dの一貫性を維持することができないビデオ生成モデル(例:Sora)、(2)幾何学的に一貫したシーンを生成するが、静的で非現実的な観察をもたらす3D生成モデル(例:Marble)の2つの異なる経路に従うのが一般的である。 AEONは、ビデオベースと3Dベースの世界モデルをブリッジし、両方の利点を組み合わせた統合フレームワークである。 AEONの重要な洞察は、テキストまたは画像条件付きビデオ潜在空間内で動作し、レンダリング可能な4Dグラフィックスプリミティブ(具体的には4DGS)を明示的な世界表現として生成する生成モデルにある。 我々は、4DGSとカメラの両方のポーズをモノクロビデオから予測するために4D再構成モデルを訓練し、初期化4Dデコーダとして機能する。 さらに, ビデオVAEの蒸留プロセスを通じて, 生成ビデオラテントを再構成4Dラテントに変換するドメインアダプタを設計する。 AEONは、予測されたカメラ軌道で4DGSをレンダリングすることで、ビデオベースの世界モデリングを自然にサポートし、現実の世界シミュレーションのためのシーンダイナミクスを備えた永続的な4D環境を構築する。 その結果、AEONは様々な世界モデリングアプリケーションに権限を与え、標準ベンチマークで最先端のパフォーマンスを達成する。 プロジェクトページ:https://weiqi-zhang.github.io/AEON

関連論文リスト

• World from Motion: Generative Dynamic Gaussian Reconstruction from Monocular Video [62.16750462940772]
  モノクロビデオから自由にレンダリング可能な動的3Dガウス表現を生成する方法であるWorld from Motionを提案する。 我々のアプローチは、外観、幾何学、および3Dシーンモーションをエンコードする濃密なピクセル配列のレンダリングにビデオモデルを適用している。 実験時にモデルの世代を1つの一貫した高品質な3DGSに蒸留し、新規なビュー合成と基礎となる3Dモーションの両方を改善した。
  論文  参考訳（メタデータ） (2026-07-01T17:41:00Z)
• VerseCrafter: Dynamic Realistic Video World Model with 4D Geometric Control [83.92729346325163]
  VerseCrafterは、4D対応のビデオワールドモデルであり、カメラとオブジェクトのダイナミクスの両方を明示的で一貫性のある制御を可能にする。 当社のアプローチは,静的な背景点雲を通じて世界状態をエンコードする,新しい4次元幾何制御表現を中心にしている。 これらの4D制御は、事前訓練されたビデオ拡散モデルのための条件付け信号にレンダリングされ、高忠実でビュー一貫性のあるビデオを生成することができる。
  論文  参考訳（メタデータ） (2026-01-08T17:28:52Z)
• WorldReel: 4D Video Generation with Consistent Geometry and Motion Modeling [63.37476802589492]
  We present WorldReel, a 4D video that are native-temporally consistent。 WorldReelは、ポイントマップ、カメラ軌道、高密度フローを含む4Dシーン表現と共にフレームを生成する。 We believe that WorldReel bring video generation to 4D-consistent world modeling。
  論文  参考訳（メタデータ） (2025-12-08T18:54:12Z)
• 4Real: Towards Photorealistic 4D Scene Generation via Video Diffusion Models [53.89348957053395]
  テキストから4Dシーン生成のための新しいパイプラインを提案する。 提案手法は,ビデオ生成モデルを用いて参照ビデオを生成することから始まる。 次に、凍結時間ビデオを用いて、ビデオの標準的な3D表現を学習する。
  論文  参考訳（メタデータ） (2024-06-11T17:19:26Z)
• Vidu4D: Single Generated Video to High-Fidelity 4D Reconstruction with Dynamic Gaussian Surfels [35.27805034331218]
  単一生成ビデオから4D表現を正確に再構成する新しい再構成モデルVidu4Dを提案する。 Vidu4Dのコアとなるのは、提案した動的ガウスサーフェス(DGS)技術である。
  論文  参考訳（メタデータ） (2024-05-27T04:43:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。