論文の概要: SeeU: Seeing the Unseen World via 4D Dynamics-aware Generation
- arxiv url: http://arxiv.org/abs/2512.03350v1
- Date: Wed, 03 Dec 2025 01:30:45 GMT
- ステータス: 情報取得中
- システム内更新日: 2025-12-04 11:58:18.848765
- Title: SeeU: Seeing the Unseen World via 4D Dynamics-aware Generation
- Title（参考訳）: SeeU: 4D Dynamics-aware Generationで見る世界
- Authors: Yu Yuan, Tharindu Wickremasinghe, Zeeshan Nadir, Xijun Wang, Yiheng Chi, Stanley H. Chan,
- Abstract要約: 画像とビデオは4D世界の離散2次元投影(3D空間+時間)
本研究では,連続した4Dダイナミックスを学習し,目に見えない視覚コンテンツを生成する新しいアプローチであるSeeUを提案する。
- 参考スコア（独自算出の注目度）: 20.420717707138557
- License:
- Abstract: Images and videos are discrete 2D projections of the 4D world (3D space + time). Most visual understanding, prediction, and generation operate directly on 2D observations, leading to suboptimal performance. We propose SeeU, a novel approach that learns the continuous 4D dynamics and generate the unseen visual contents. The principle behind SeeU is a new 2D$\to$4D$\to$2D learning framework. SeeU first reconstructs the 4D world from sparse and monocular 2D frames (2D$\to$4D). It then learns the continuous 4D dynamics on a low-rank representation and physical constraints (discrete 4D$\to$continuous 4D). Finally, SeeU rolls the world forward in time, re-projects it back to 2D at sampled times and viewpoints, and generates unseen regions based on spatial-temporal context awareness (4D$\to$2D). By modeling dynamics in 4D, SeeU achieves continuous and physically-consistent novel visual generation, demonstrating strong potentials in multiple tasks including unseen temporal generation, unseen spatial generation, and video editing.
- Abstract（参考訳）: 画像とビデオは、4D世界の離散的な2Dプロジェクション(3D空間+時間)である。
ほとんどの視覚的理解、予測、生成は2次元の観察で直接動作し、最適以下の性能をもたらす。
本研究では,連続した4Dダイナミックスを学習し,目に見えない視覚コンテンツを生成する新しいアプローチであるSeeUを提案する。
SeeUの背後にある原則は、新しい2D$\to$4D$\to$2D学習フレームワークである。
SeeUはまず、スパースとモノクロの2Dフレーム(2D$\to$4D)から4D世界を再構築する。
その後、低ランク表現と物理的制約(discrete 4D$\to$continuous 4D)で連続4Dダイナミクスを学ぶ。
最後に、SeeUは時間とともに世界を前進させ、サンプル時間と視点で2Dに再投影し、空間的時間的文脈認識(4D$\to$2D)に基づいて見えない領域を生成する。
4Dのダイナミックスをモデリングすることで、SeeUは連続的かつ物理的に一貫性のある新しい視覚生成を実現し、見えない時間生成、見えない空間生成、ビデオ編集など、複数のタスクにおいて強力なポテンシャルを示す。
関連論文リスト
- Learning 4D Panoptic Scene Graph Generation from Rich 2D Visual Scene [122.42861221739123]
本稿では,リッチな2次元視覚シーンアノテーションを活用して4次元シーン学習を促進する4D-PSG生成のための新しいフレームワークについて検討する。
本研究では,2次元SGアノテーションから4次元シーンへ空間的時間的特徴を効果的に伝達する2次元から4次元の視覚的シーン伝達学習フレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-19T09:16:08Z) - GenXD: Generating Any 3D and 4D Scenes [137.5455092319533]
本稿では,日常的によく見られるカメラと物体の動きを利用して,一般的な3Dと4Dの生成を共同で調査することを提案する。
すべての3Dおよび4Dデータを活用することで、我々は、あらゆる3Dまたは4Dシーンを生成できるフレームワークであるGenXDを開発した。
論文 参考訳（メタデータ） (2024-11-04T17:45:44Z) - 4K4DGen: Panoramic 4D Generation at 4K Resolution [67.98105958108503]
一つのパノラマを没入的な4D体験に高めるという課題に取り組む。
初めて、4K解像度で360$circ$のビューで全方位動的シーンを生成する能力を実証した。
高品質なパノラマ・ト・4Dを4Kの解像度で初めて実現した。
論文 参考訳（メタデータ） (2024-06-19T13:11:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。