論文の概要: UniFusion: Sparse-View 4D Reconstruction via Unified Spatio-temporal Depth Alignment

• arxiv url: http://arxiv.org/abs/2609.05888v1
• Date: Sat, 05 Sep 2026 05:19:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-12 12:24:01.936574
• Title: UniFusion: Sparse-View 4D Reconstruction via Unified Spatio-temporal Depth Alignment
• Title（参考訳）: UniFusion:Sparse-View 4D Restruction by Unified Spatio-temporal Depth Alignment (特集:情報ネットワーク)
• Abstract要約: 重要な課題は、ビューのオーバーラップと時間的変動の制限によって発生し、ビュータイム間で単眼的な深度予測が矛盾する。 既存の手法では、空間的次元と時間的次元を別々の段階に整列し、セグメンテーションマスクを必要とする。 本研究では,背景を区別することなく,横断的・時間的不整合を解消する統合時空間深度アライメントフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 14.151508266012463
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we address the challenging problem of 4D reconstruction from sparse-view videos. This setup usually relies on monocular depth estimation to provide priors for the reconstruction model. A key challenge arises from limited cross-view overlap and temporal variation, making monocular depth predictions inconsistent across views and time. Existing methods align spatial and temporal dimensions in separate stages, requiring foreground segmentation masks while failing to leverage temporal cues for cross-view alignment. Contrary to these methods, we propose a unified spatial-temporal depth alignment framework that jointly resolves cross-view and cross-time inconsistencies without distinguishing foreground/background. Our method represents depth maps across views and time as a set of spatio-temporal neural fields. This representation not only yields fast convergence, but also captures spatio-temporal correlation among depth maps implicitly, without dependence on external segmentation/tracking models. We also propose a multi-view depth-order loss while leveraging the classic scale-and-shift-invariant loss to further improve the final depth quality. The aligned depths initialize and supervise Gaussian splatting models for 4D reconstruction. Experiments on Ego-Exo4D and EgoHuman demonstrate that our improved depth alignment substantially benefits dynamic Gaussian-splatting-based reconstruction methods for novel-time/view synthesis and geometry accuracy/consistency.
• Abstract（参考訳）: 本稿では,スパースビュー映像からの4次元再構成の課題に対処する。 この設定は通常、再構成モデルの事前を提供するために単眼深度推定に依存する。 重要な課題は、クロスビューのオーバーラップと時間的変動の制限によって発生し、ビューと時間の間で単眼の深度予測が矛盾する。 既存の手法では、空間的次元と時間的次元を別段に整列し、前景のセグメンテーションマスクを必要とする一方で、時間的手がかりをクロスビューアライメントに活用できない。 これらの手法とは対照的に,前景・背景を区別することなく,横断的・横断的不整合を共同で解消する統合時空間深度アライメントフレームワークを提案する。 提案手法は,時間とビューを横断する深度マップを時空間の時空間的ニューラルネットワークの集合として表現する。 この表現は、高速収束をもたらすだけでなく、外部セグメンテーション/追跡モデルに依存することなく、奥行きマップ間の時空間相関を暗黙的に捉えている。 また,古典的なスケール・アンド・シフト・不変の損失を活用して,最終的な深度品質をさらに向上する多視点深度秩序損失を提案する。 配向深度は4次元再構成のためのガウススプラッティングモデルの初期化と監督を行う。 Ego-Exo4D と EgoHuman の実験により、改良された深度アライメントは、新しい時間/ビュー合成と幾何精度/整合性のための動的ガウス平滑化に基づく再構成法に大きく貢献することを示した。

関連論文リスト

• Ground4D: Spatially-Grounded Feedforward 4D Reconstruction for Unstructured Off-Road Scenes [15.758026389335669]
  Ground4Dは、ポーズなしオフロード再構成のための空間的に接地された4Dフィードフォワードフレームワークである。 ORAD-3DとRELLIS-3Dの実験では、グラウンド4Dは復元品質において既存のフィードフォワード法よりも一貫して優れていた。
  論文  参考訳（メタデータ） (2026-05-06T02:58:47Z)
• Face Anything: 4D Face Reconstruction from Any Image Sequence [49.395407357499074]
  そこで本研究では,正準顔点予測に基づく高忠実度4次元顔再構成の統一手法を提案する。 深度と標準座標を共同で予測することにより,正確な深度推定,時間的に安定な再構築,密度の高い3次元形状,頑健な顔点追跡が可能となる。
  論文  参考訳（メタデータ） (2026-04-21T17:22:39Z)
• Stitch4D: Sparse Multi-Location 4D Urban Reconstruction via Spatio-Temporal Interpolation [5.878115656035432]
  スパース観測における空間被覆の欠如を明示的に補償する統合された4次元再構成フレームワークを提案する。 最適化前の中間カバレッジを復元することにより、Stitch4Dは幾何学的崩壊を防止し、コヒーレントな幾何学と滑らかなシーンダイナミクスを再構築する。 U-S4D実験の結果,Stitch4Dは代表的4次元再構成ベースラインを超越し,視覚的品質が向上した。
  論文  参考訳（メタデータ） (2026-04-09T07:45:51Z)
• \textit{4DSurf}: High-Fidelity Dynamic Scene Surface Reconstruction [53.82595920033838]
  本稿では,ガウススプラッティング(GS)を用いた動的シーン表面再構成の問題に対処する。 汎用動的表面再構成のための新しい統一フレームワークである textit4DSurf' を提案する。 本手法は,シャンファー距離で49%,19%の最先端表面再構成法より優れる。
  論文  参考訳（メタデータ） (2026-03-30T06:09:37Z)
• Seurat: From Moving Points to Depth [66.65189052568209]
  本研究では,2次元軌跡の空間的関係と時間的変化を調べ,相対的な深度を推定する手法を提案する。 提案手法は,様々な領域にわたる時間的スムーズかつ高精度な深度予測を実現する。
  論文  参考訳（メタデータ） (2025-04-20T17:37:02Z)
• DiST-4D: Disentangled Spatiotemporal Diffusion with Metric Depth for 4D Driving Scene Generation [50.01520547454224]
  現在の生成モデルは、時空間外挿と空間新規ビュー合成(NVS)を同時にサポートする4次元駆動シーンの合成に苦慮している 本研究では,2つの拡散過程に分散するDiST-4Dを提案する。DST-Tは過去の観測結果から直接,将来の距離深度と多視点RGBシーケンスを予測し,DST-Sは,既存の視点でのみ空間的NVSを訓練し,サイクル整合性を実現する。 実験により、DiST-4Dは時間的予測とNVSタスクの両方において最先端のパフォーマンスを達成し、同時に計画関連評価において競合性能を提供することが示された。
  論文  参考訳（メタデータ） (2025-03-19T13:49:48Z)
• Motion2VecSets: 4D Latent Vector Set Diffusion for Non-rigid Shape Reconstruction and Tracking [52.393359791978035]
  Motion2VecSetsは点雲列からの動的表面再構成のための4次元拡散モデルである。 グローバルな潜在符号の代わりに、潜在集合で4Dダイナミクスをパラメータ化する。 時間的コヒーレントな物体追跡のために、変形潜在集合を同期的に認知し、複数のフレーム間で情報を交換する。
  論文  参考訳（メタデータ） (2024-01-12T15:05:08Z)
• FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
  本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。 本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
  論文  参考訳（メタデータ） (2023-08-10T17:55:02Z)
• Learning non-rigid surface reconstruction from spatio-temporal image patches [0.0]
  ビデオシーケンスから変形可能な物体の高密度時間深度マップを再構成する手法を提案する。 映像の非時間的パッチで深度推定をローカルに行い、それらを組み合わせることで全形状のフル深度映像を復元する。 本手法をKinectデータとKinectデータの両方で検証し,従来の非剛体構造のような他の手法に比べて再構成誤差が有意に低いことを実験的に観察した。
  論文  参考訳（メタデータ） (2020-06-18T20:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。