論文の概要: WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory
- arxiv url: http://arxiv.org/abs/2609.24984v1
- Date: Mon, 21 Sep 2026 17:57:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:01.458711
- Title: WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory
- Title（参考訳）: WorldCrafter: 無意味な3D認識メモリを備えた一貫したビデオワールドモデル
- Abstract要約: 我々は、この目的のためにカメラクエリ可能な暗黙的な3Dメモリを学ぶビデオワールドモデルであるWorldCrafterを紹介する。
重要な洞察は、要求された視点をビデオジェネレータの限定トークン予算にマルチビューエビデンスを圧縮する方法を形作ることである。
静的および動的シーンにわたる実験では、長距離一貫性とカメラ制御精度が大幅に向上した。
- 参考スコア（独自算出の注目度）: 60.18419531120148
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video world models enable interactive exploration of dynamic environments, yet struggle to respect prior observations over long horizons and across viewpoints. We present WorldCrafter, a video world model that learns a camera-queryable implicit 3D-aware memory for this purpose. The key insight is to let the requested viewpoint shape how multi-view evidence is compressed into the video generator's limited token budget. Trained jointly with the video generator, a memory encoder and pose-conditioned readout module integrate historical observations into a fixed set of target view-specific tokens before denoising, without explicit depth-based correspondences. By combining this memory with recent temporal context and few-step distillation, WorldCrafter enables streaming scene exploration from a single input image or text prompt. Experiments across static and dynamic scenes show substantial gains in long-horizon consistency and camera-control accuracy while preserving visual quality during minute-scale exploration.
- Abstract（参考訳）: ビデオワールドモデルは、動的な環境のインタラクティブな探索を可能にするが、長い地平線や視点を越えての事前の観察を尊重することは困難である。
我々は、この目的のためにカメラクエリ可能な暗黙的な3Dメモリを学ぶビデオワールドモデルであるWorldCrafterを紹介する。
重要な洞察は、要求された視点をビデオジェネレータの限られたトークン予算にマルチビューエビデンスを圧縮する方法を形作ることである。
ビデオジェネレータ、メモリエンコーダ、ポーズコンディショニングされた読み出しモジュールと共同で訓練され、暗黙の深度に基づく対応を伴わずに、歴史的観測を目標視特化トークンの固定セットに統合する。
このメモリと最近の時間的文脈と数ステップの蒸留を組み合わせることで、WorldCrafterは単一の入力画像やテキストプロンプトからストリーミングシーンの探索を可能にする。
静的および動的シーンにわたる実験は、微視的な探索中に視覚的品質を保ちながら、長時間水平の一貫性とカメラ制御の精度が著しく向上したことを示している。
関連論文リスト
- Wonder: Video World Model Done Better [70.28870858365214]
We present Wonder, a general-purpose video world model for real-time, camera-controllable world exploration。
画像や条件付きビデオが与えられたWonderは、ユーザがカメラを動かして対話的にナビゲートできるプレイ可能な世界を構築する。
本研究では、空間的に整列した動きと向きを与える高密度座標場を用いた新しいカメラコンディショニングを提案する。
論文 参考訳（メタデータ） (2026-07-28T17:45:25Z) - VMem: Consistent Interactive Video Scene Generation with Surfel-Indexed View Memory [55.73900731190389]
Surfel-Indexed View Memory (VMem) は、過去のビューを記憶するメモリモジュールであり、それらが観測した3次元表面要素(サーフェル)に基づいて幾何学的にインデックス化することで、過去のビューを記憶する。
VMemは、新しいビューを生成する際に、最も関連性の高い過去のビューを効率的に検索することを可能にする。
論文 参考訳（メタデータ） (2025-06-23T17:59:56Z) - Voyager: Long-Range and World-Consistent Video Diffusion for Explorable 3D Scene Generation [66.95956271144982]
本稿では,単一画像から一貫した3Dポイントクラウドシーケンスを生成する新しいビデオ拡散フレームワークであるVoyagerを紹介する。
既存のアプローチとは異なり、Voyagerはフレーム間で固有の一貫性を持って、エンドツーエンドのシーン生成と再構築を実現している。
論文 参考訳（メタデータ） (2025-06-04T17:59:04Z) - WorldExplorer: Towards Generating Fully Navigable 3D Scenes [48.16064304951891]
WorldExplorerは、幅広い視点で一貫した視覚的品質で、完全にナビゲート可能な3Dシーンを構築する。
私たちは、シーンを深く探求する、短く定義された軌道に沿って、複数のビデオを生成します。
我々の新しいシーン記憶は、各ビデオが最も関連性の高い先行ビューで条件付けされている一方、衝突検出機構は劣化を防止している。
論文 参考訳（メタデータ） (2025-06-02T15:41:31Z) - Generative Camera Dolly: Extreme Monocular Dynamic Novel View Synthesis [43.02778060969546]
制御可能な単分子動的ビュー合成パイプラインを提案する。
我々のモデルは入力として深度を必要としないし、明示的に3次元シーン形状をモデル化しない。
私たちのフレームワークは、リッチな動的シーン理解、ロボット工学の知覚、バーチャルリアリティのためのインタラクティブな3Dビデオ視聴体験において、強力なアプリケーションをアンロックできる可能性があると考えています。
論文 参考訳（メタデータ） (2024-05-23T17:59:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。