論文の概要: Beyond Pixels: From Video Priors to 4D Worlds

• arxiv url: http://arxiv.org/abs/2608.10744v1
• Date: Tue, 11 Aug 2026 10:02:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:46.0018
• Title: Beyond Pixels: From Video Priors to 4D Worlds
• Title（参考訳）: 動画から4Dワールドへ(動画あり)
• Abstract要約: 4D生成はテキストや画像などの条件から動的3Dシーンを合成する。 既存の方法は、別々の4DモデルでRGBビデオを生成するか、特定のビデオジェネレータを適用して幾何学を直接予測するかのいずれかである。 我々は、直接潜伏4D生成を導入し、それを潜伏4Dとしてインスタンス化する。
• 参考スコア（独自算出の注目度）: 27.940355511092864
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 4D generation synthesizes dynamic 3D scenes from conditions such as text or images. Existing methods either reconstruct generated RGB videos with a separate 4D model or adapt a particular video generator to predict geometry directly. The former suffers from distribution mismatch and error propagation, whereas the latter ties 4D prediction to a specific generator and may require retraining when the generator or conditioning regime changes. We ask whether the final denoised latents of video models that share a variational autoencoder (VAE) can instead provide a reusable interface to explicit 4D prediction. Building on this insight, we introduce direct latent-to-4D generation and instantiate it as Latent-to-4D, which bypasses RGB by aligning a video latent with the token grid of a pretrained 4D decoder and refining it through frame-wise and global spatiotemporal attention. Trained on roughly 1K existing reconstruction clips, a single checkpoint transfers unchanged across multiple video diffusion transformers within the same VAE family. On Text4D-200 and I4D-200, Latent-to-4D surpasses matched same-latent Wan+4RC cascades in projection-based DINO-F1 by 2.88--3.45 and 5.81 points, respectively, while also being preferred by human raters for geometry, temporal stability, and overall quality.
• Abstract（参考訳）: 4D生成はテキストや画像などの条件から動的3Dシーンを合成する。 既存の方法は、生成されたRGBビデオを別々の4Dモデルで再構成するか、特定のビデオジェネレータに適応して幾何学を直接予測するかのいずれかである。 前者は分布ミスマッチとエラーの伝播に悩まされ、後者は4Dの予測を特定のジェネレータに結び付け、ジェネレータやコンディショニングの仕組みが変わると再トレーニングが必要になる。 可変オートエンコーダ(VAE)を共有するビデオモデルの最終的な復号化は,その代わりに,明示的な4D予測のための再利用可能なインターフェースを提供することができるかどうかを問う。 この知見に基づいて、直接潜伏4D生成を導入し、それをLatent-to-4Dとしてインスタンス化する。これは、事前訓練された4Dデコーダのトークングリッドにビデオ潜伏をアライメントし、フレームワイドおよびグローバル時空間の注意を通して精錬することにより、RGBをバイパスする。 約1Kの既存のリコンストラクションクリップでトレーニングされた1つのチェックポイントは、同一のVAEファミリー内の複数のビデオ拡散トランスフォーマー間で変化しない。 Text4D-200 と I4D-200 では、Latent-to-4D はプロジェクションベースの DINO-F1 で一致した Wan+4RC カスケードを 2.88--3.45 と 5.81 で上回っている。

関連論文リスト

• Full-4D: Generating Full-Scope 4D Scenes from a Single-View Video [63.61099683012546]
  本稿では,同期マルチビュービデオのデータセットであるRealMV-4Dを紹介する。 次に、新しい融合時間(T)-ビュー(V)アテンション機構によって駆動される多視点ビデオ拡散モデルを訓練する。 実験により,本手法は視覚的忠実度と一貫性の両方において既存手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2026-05-25T06:59:26Z)
• 4RC: 4D Reconstruction via Conditional Querying Anytime and Anywhere [77.83037497484366]
  単眼ビデオからの4次元再構成のための統合フィードフォワードフレームワークである4RCを提案する。 4RCは、密集したシーン形状と動きのダイナミクスを共同でキャプチャする総体的な4D表現を学習する。
  論文  参考訳（メタデータ） (2026-02-10T18:57:04Z)
• Any4D: Unified Feed-Forward Metric 4D Reconstruction [39.62006179006032]
  メトリスケールで高密度なフィードフォワード4D再構成のためのスケーラブルなマルチビュートランスであるAny4Dを提案する。 Any4DはNフレームのピクセル当たりの動きと幾何予測を直接生成する。 精度(2～3倍低いエラー)と計算効率(15倍速い)の両面で、さまざまな設定で優れたパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2025-12-11T18:57:39Z)
• SWiT-4D: Sliding-Window Transformer for Lossless and Parameter-Free Temporal 4D Generation [30.72482055095692]
  SWiT-4Dは、損失のないパラメータフリーの時間的4Dメッシュ生成のためのスライディング・ウィンドウ変換器である。 SWiT-4D は任意の Diffusion Transformer (DiT) ベースの Image-to-3D ジェネレータとシームレスに統合される。 高忠実度幾何と安定した時間的整合性を実現し、非常に限られた4D監視下での実用的展開可能性を示す。
  論文  参考訳（メタデータ） (2025-12-11T17:54:31Z)
• Joint 3D Geometry Reconstruction and Motion Generation for 4D Synthesis from a Single Image [88.71287865590273]
  そこでTrajScene-60Kについて紹介する。 拡散型4次元シーン軌道生成装置(4D-STraG)を提案する。 次に、4Dポイントトラック表現から任意のカメラトラジェクトリでビデオをレンダリングする4Dビュー合成モジュール(4D-Vi)を提案する。
  論文  参考訳（メタデータ） (2025-12-04T17:59:10Z)
• SyncTrack4D: Cross-Video Motion Alignment and Video Synchronization for Multi-Video 4D Gaussian Splatting [50.69165364520998]
  実世界の非同期ビデオ集合を扱うために, マルチビデオ4Dガウススプラッティング (4DGS) 方式を提案する。 SyncTrack4Dは、4DGSの同時同期と4DGS再構成のためのキューとして動的シーンの高密度な4Dトラック表現を直接活用する。 我々はPanoptic Studio と SyncNeRF Blender に対するアプローチを評価し,0.26 フレーム以下の平均時間誤差でサブフレーム同期精度を示し,高忠実度 4D 再構成は26.3 PSNR スコアに達した。
  論文  参考訳（メタデータ） (2025-12-03T23:05:01Z)
• Dynamic-eDiTor: Training-Free Text-Driven 4D Scene Editing with Multimodal Diffusion Transformer [21.55368174087611]
  我々は,Multimodal Diffusion Transformer(MM-DiT)と4DGSを活用した,トレーニング不要のテキスト駆動4D編集フレームワークであるDynamic-eDiTorを紹介する。 提案手法は,複数ビューと時間的一貫性の両面において,より優れた編集精度を実現する。
  論文  参考訳（メタデータ） (2025-11-30T00:18:46Z)
• Diff4Splat: Controllable 4D Scene Generation with Latent Dynamic Reconstruction Models [79.06910348413861]
  Diff4Splatは、単一の画像から制御可能で明示的な4Dシーンを合成するフィードフォワード方式である。 単一の入力画像、カメラ軌跡、オプションのテキストプロンプトが与えられた場合、Diff4Splatは外見、幾何学、動きを符号化する変形可能な3Dガウス場を直接予測する。
  論文  参考訳（メタデータ） (2025-11-01T11:16:25Z)
• Free4D: Tuning-free 4D Scene Generation with Spatial-Temporal Consistency [49.875459658889355]
  Free4Dは、単一の画像から4Dシーンを生成するためのチューニング不要のフレームワークである。 我々の重要な洞察は、一貫した4次元シーン表現のために、事前訓練された基礎モデルを蒸留することである。 結果の4D表現はリアルタイムで制御可能なレンダリングを可能にする。
  論文  参考訳（メタデータ） (2025-03-26T17:59:44Z)
• Consistent4D: Consistent 360{\deg} Dynamic Object Generation from Monocular Video [15.621374353364468]
  Consistent4Dは、モノクロビデオから4D動的オブジェクトを生成するための新しいアプローチである。 我々は、360度ダイナミックオブジェクト再構成を4次元生成問題として、退屈なマルチビューデータ収集とカメラキャリブレーションの必要性を排除した。
  論文  参考訳（メタデータ） (2023-11-06T03:26:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。