論文の概要: SyncTrack4D: Cross-Video Motion Alignment and Video Synchronization for Multi-Video 4D Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2512.04315v1
• Date: Wed, 03 Dec 2025 23:05:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-05 21:11:45.920039
• Title: SyncTrack4D: Cross-Video Motion Alignment and Video Synchronization for Multi-Video 4D Gaussian Splatting
• Title（参考訳）: SyncTrack4D:マルチビデオ4Dガウス撮影のためのクロスビデオモーションアライメントとビデオ同期
• Authors: Yonghan Lee, Tsung-Wei Huang, Shiv Gehlot, Jaehoon Choi, Guan-Ming Su, Dinesh Manocha,
• Abstract要約: 実世界の非同期ビデオ集合を扱うために, マルチビデオ4Dガウススプラッティング (4DGS) 方式を提案する。 SyncTrack4Dは、4DGSの同時同期と4DGS再構成のためのキューとして動的シーンの高密度な4Dトラック表現を直接活用する。 我々はPanoptic Studio と SyncNeRF Blender に対するアプローチを評価し,0.26 フレーム以下の平均時間誤差でサブフレーム同期精度を示し,高忠実度 4D 再構成は26.3 PSNR スコアに達した。
• 参考スコア（独自算出の注目度）: 50.69165364520998
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modeling dynamic 3D scenes is challenging due to their high-dimensional nature, which requires aggregating information from multiple views to reconstruct time-evolving 3D geometry and motion. We present a novel multi-video 4D Gaussian Splatting (4DGS) approach designed to handle real-world, unsynchronized video sets. Our approach, SyncTrack4D, directly leverages dense 4D track representation of dynamic scene parts as cues for simultaneous cross-video synchronization and 4DGS reconstruction. We first compute dense per-video 4D feature tracks and cross-video track correspondences by Fused Gromov-Wasserstein optimal transport approach. Next, we perform global frame-level temporal alignment to maximize overlapping motion of matched 4D tracks. Finally, we achieve sub-frame synchronization through our multi-video 4D Gaussian splatting built upon a motion-spline scaffold representation. The final output is a synchronized 4DGS representation with dense, explicit 3D trajectories, and temporal offsets for each video. We evaluate our approach on the Panoptic Studio and SyncNeRF Blender, demonstrating sub-frame synchronization accuracy with an average temporal error below 0.26 frames, and high-fidelity 4D reconstruction reaching 26.3 PSNR scores on the Panoptic Studio dataset. To the best of our knowledge, our work is the first general 4D Gaussian Splatting approach for unsynchronized video sets, without assuming the existence of predefined scene objects or prior models.
• Abstract（参考訳）: 動的3Dシーンのモデリングは,複数のビューからの情報を集約して時間的進化する3D形状と動きを再構築する必要があるという,高次元の性質のために困難である。 実世界の非同期ビデオ集合を扱うために, マルチビデオ4Dガウススプラッティング (4DGS) 方式を提案する。 SyncTrack4Dは、4DGSの同時同期と4DGS再構成のためのキューとして動的シーンの高密度な4Dトラック表現を直接活用する。 我々はまず,Fused Gromov-Wasserstein 最適輸送手法を用いて,ビデオ毎の高密度4D特徴トラックとクロスビデオトラック対応を計算した。 次に、一致した4Dトラックの重なり合う動きを最大化するために、グローバルフレームレベルの時間アライメントを実行する。 最後に,モーションスプラインの足場表現上に構築したマルチビデオ4Dガウススプラッティングにより,サブフレーム同期を実現する。 最終的な出力は、濃密で明示的な3Dトラジェクトリと、各ビデオの時間オフセットを備えた、同期された4DGS表現である。 我々は,Panoptic Studio と SyncNeRF Blender に対するアプローチを評価し,Panoptic Studio データセットにおいて,平均時間誤差が 0.26 フレーム未満のサブフレーム同期精度を示し,高忠実度 4D 再構成を26.3 PSNR のスコアに到達した。 我々の知る限り、我々の研究は、事前に定義されたシーンオブジェクトや先行モデルの存在を前提とせずに、非同期ビデオセットに対する最初の一般4Dガウススプラッティング手法である。

関連論文リスト

• Joint 3D Geometry Reconstruction and Motion Generation for 4D Synthesis from a Single Image [88.71287865590273]
  そこでTrajScene-60Kについて紹介する。 拡散型4次元シーン軌道生成装置(4D-STraG)を提案する。 次に、4Dポイントトラック表現から任意のカメラトラジェクトリでビデオをレンダリングする4Dビュー合成モジュール(4D-Vi)を提案する。
  論文  参考訳（メタデータ） (2025-12-04T17:59:10Z)
• SyncMV4D: Synchronized Multi-view Joint Diffusion of Appearance and Motion for Hand-Object Interaction Synthesis [47.61773799705708]
  同期多視点HOIビデオと4Dモーションを共同生成する最初のモデルであるSyncMV4Dを紹介する。 本手法は,視覚リアリズム,運動可視性,多視点整合性において,最先端の代替手段よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2025-11-24T17:14:19Z)
• Diff4Splat: Controllable 4D Scene Generation with Latent Dynamic Reconstruction Models [79.06910348413861]
  Diff4Splatは、単一の画像から制御可能で明示的な4Dシーンを合成するフィードフォワード方式である。 単一の入力画像、カメラ軌跡、オプションのテキストプロンプトが与えられた場合、Diff4Splatは外見、幾何学、動きを符号化する変形可能な3Dガウス場を直接予測する。
  論文  参考訳（メタデータ） (2025-11-01T11:16:25Z)
• ShapeGen4D: Towards High Quality 4D Shape Generation from Videos [85.45517487721257]
  ビデオからエンドツーエンドに1つの動的3次元表現を合成する,ネイティブなビデオから4次元の形状生成フレームワークを提案する。 本手法は,フレームごとの最適化を行なわずに,非剛性運動,体積変化,および位相遷移を正確にキャプチャする。
  論文  参考訳（メタデータ） (2025-10-07T17:58:11Z)
• In-2-4D: Inbetweening from Two Single-View Images to 4D Generation [63.68181731564576]
  Inbetween-2-4Dという,2枚のシングルビュー画像を補間する4次元(つまり3D + モーション)の生成問題を提案する。 テキストや1つの画像のみからの映像/4D生成とは対照的に、補間タスクはより正確なモーション制御を利用して生成をよりよく制約することができる。
  論文  参考訳（メタデータ） (2025-04-11T09:01:09Z)
• Deblur4DGS: 4D Gaussian Splatting from Blurry Monocular Video [55.704264233274294]
  ぼやけたモノクロ映像から高品質な4Dモデルを再構成するためのDeblur4DGSを提案する。 我々は露光時間内の連続的動的表現を露光時間推定に変換する。 Deblur4DGSは、新規なビュー合成以外にも、複数の視点からぼやけたビデオを改善するために応用できる。
  論文  参考訳（メタデータ） (2024-12-09T12:02:11Z)
• Consistent4D: Consistent 360{\deg} Dynamic Object Generation from Monocular Video [15.621374353364468]
  Consistent4Dは、モノクロビデオから4D動的オブジェクトを生成するための新しいアプローチである。 我々は、360度ダイナミックオブジェクト再構成を4次元生成問題として、退屈なマルチビューデータ収集とカメラキャリブレーションの必要性を排除した。
  論文  参考訳（メタデータ） (2023-11-06T03:26:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。