論文の概要: Lift4D: Harmonizing Single-View 3D Estimation for 4D Reconstruction In-the-Wild

• arxiv url: http://arxiv.org/abs/2606.23688v1
• Date: Mon, 22 Jun 2026 17:59:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 17:07:00.251217
• Title: Lift4D: Harmonizing Single-View 3D Estimation for 4D Reconstruction In-the-Wild
• Title（参考訳）: Lift4D:4次元再構成のための単一視点3次元推定
• Authors: Yehonathan Litman, Xiaoxuan Ma, Manan Shah, Nicolas Ugrinovic, Kris Kitani, Fernando De la Torre, Shubham Tulsiani,
• Abstract要約: モノクロビデオから動的非剛体オブジェクトを再構成するには、幾何学と外観に関するデータ駆動の先行と直接観察から視覚的手がかりを統合する必要がある。 以前のアプローチでは、視覚的な入力から直接4D表現を予測するか、ビデオエビデンスに基づいて変形して洗練される3D表現を初期化する。 We present Lift4D, a test-time optimization framework that handle both limits。
• 参考スコア（独自算出の注目度）: 87.49244020695505
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing dynamic non-rigid objects from monocular video requires integrating visual cues from direct observations with data-driven priors over geometry and appearance. Prior approaches either learn to directly predict 4D representations from visual input or initialize a 3D representation that is subsequently deformed and refined based on video evidence. However, the former are constrained by the scarcity of 4D training data, while the latter leverage priors only for the initial reconstruction and rely solely on video supervision thereafter; neither handles complex in-the-wild scenarios with large deformations and occlusions well. We present Lift4D, a test-time optimization framework that addresses both limitations. First, we adapt an existing single-view 3D reconstruction model to yield temporally consistent per-frame predictions via causal latent conditioning, providing a coherent initialization for a deformable 3D Gaussian Splatting representation. We then ``sculpt'' this representation to match the input video through an occlusion-aware optimization that faithfully recovers visible surface details while completing unobserved regions using a view-conditioned diffusion prior. We demonstrate that Lift4D clearly improves over prior 4D reconstruction methods, particularly on challenging in-the-wild sequences with severe occlusions and non-rigid motion.
• Abstract（参考訳）: モノクロビデオから動的非剛体オブジェクトを再構成するには、幾何学と外観に関するデータ駆動の先行と直接観察から視覚的手がかりを統合する必要がある。 以前のアプローチでは、視覚的な入力から直接4D表現を予測するか、ビデオエビデンスに基づいて変形して洗練される3D表現を初期化する。 しかし、前者は4Dトレーニングデータの不足に悩まされ、後者は初期再構成のみに先取りし、その後はビデオの監督にのみ依存する。 We present Lift4D, a test-time optimization framework that address both limit。 まず,既存の単一視点の3次元再構成モデルを用いて,因果的潜在条件付けによる時間的一貫したフレーム単位の予測を行い,変形可能な3次元ガウス分割表現のコヒーレントな初期化を実現する。 次に、この表現の ``sculpt' は、ビュー条件付き拡散を用いた未観測領域を完了しながら、視界の詳細を忠実に回復するオクルージョン対応最適化により、入力ビデオと一致させる。 Lift4Dは従来の4次元再構成法よりも明らかに改善され、特に重度の閉塞と非剛性運動を伴う、ワイヤ内配列に挑戦することが実証された。

関連論文リスト

• Mesh4D: 4D Mesh Reconstruction and Tracking from Monocular Video [81.44600627066747]
  Mesh4Dはモノクル4Dメッシュ再構成のためのフィードフォワードモデルである。 私たちの重要な貢献は、単一のパスでアニメーションシーケンス全体をエンコードするコンパクトな潜在空間です。 提案手法は, 3次元形状と変形を再現する上で, 従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2026-01-08T18:59:56Z)
• Flux4D: Flow-based Unsupervised 4D Reconstruction [30.764886648248222]
  視覚的な観察から大規模なダイナミックシーンを再構築することは、コンピュータビジョンの根本的な課題である。 大規模動的シーンの4次元再構成のためのシンプルでスケーラブルなフレームワークであるFlux4Dを紹介する。 提案手法は,数秒以内の動的シーンの効率的な再構築を可能にし,大規模データセットに効果的にスケールし,目に見えない環境によく適応する。
  論文  参考訳（メタデータ） (2025-12-02T20:28:45Z)
• Diff4Splat: Controllable 4D Scene Generation with Latent Dynamic Reconstruction Models [79.06910348413861]
  Diff4Splatは、単一の画像から制御可能で明示的な4Dシーンを合成するフィードフォワード方式である。 単一の入力画像、カメラ軌跡、オプションのテキストプロンプトが与えられた場合、Diff4Splatは外見、幾何学、動きを符号化する変形可能な3Dガウス場を直接予測する。
  論文  参考訳（メタデータ） (2025-11-01T11:16:25Z)
• Free4D: Tuning-free 4D Scene Generation with Spatial-Temporal Consistency [49.875459658889355]
  Free4Dは、単一の画像から4Dシーンを生成するためのチューニング不要のフレームワークである。 我々の重要な洞察は、一貫した4次元シーン表現のために、事前訓練された基礎モデルを蒸留することである。 結果の4D表現はリアルタイムで制御可能なレンダリングを可能にする。
  論文  参考訳（メタデータ） (2025-03-26T17:59:44Z)
• AR4D: Autoregressive 4D Generation from Monocular Videos [27.61057927559143]
  既存のアプローチは主に、ノベルビューの動画を推測するためにスコア蒸留サンプリングに依存している。 SDSフリー4D生成のための新しいパラダイムであるAR4Dを提案する。 我々は,AR4DがSDSを使わずに最先端の4D生成を実現し,多様性の向上,空間的時間的整合性の向上,入力プロンプトとの整合性の向上を実現していることを示す。
  論文  参考訳（メタデータ） (2025-01-03T09:27:36Z)
• Unbiased 4D: Monocular 4D Reconstruction with a Neural Deformation Model [76.64071133839862]
  モノクロRGBビデオから一般的なデフォーミングシーンをキャプチャすることは、多くのコンピュータグラフィックスや視覚アプリケーションにとって不可欠である。 提案手法であるUb4Dは、大きな変形を処理し、閉塞領域での形状補完を行い、可変ボリュームレンダリングを用いて、単眼のRGBビデオを直接操作することができる。 我々の新しいデータセットの結果は公開され、表面の復元精度と大きな変形に対する堅牢性の観点から、技術の現状が明らかに改善されていることを実証する。
  論文  参考訳（メタデータ） (2022-06-16T17:59:54Z)
• 4DComplete: Non-Rigid Motion Estimation Beyond the Observable Surface [7.637832293935966]
  観測されていないジオメトリの非剛体運動を推定する新しいデータ駆動アプローチである4DCompleteを紹介します。 ネットワークトレーニングのために,DeformingThings4Dという大規模合成データセットを構築した。
  論文  参考訳（メタデータ） (2021-05-05T07:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。