論文の概要: 4D Reconstruction from Sparse Dynamic Cameras
- arxiv url: http://arxiv.org/abs/2606.04593v1
- Date: Wed, 03 Jun 2026 08:31:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-04 20:44:18.630673
- Title: 4D Reconstruction from Sparse Dynamic Cameras
- Title(参考訳): スパースダイナミックカメラによる4次元再構成
- Authors: Kazuki Ozeki, Shun Kenney, Yuto Shibata, Eisuke Takeuchi, Takuya Narihira, Kazumi Fukuda, Ryosuke Sawata, Yuki Mitsufuji, Yoshimitsu Aoki,
- Abstract要約: 我々は、少数のカメラが同じ被写体を撮影する、スパース・ダイナミック・カメラ・セットアップ(sparse dynamic camera set)という別の実用的な方法に焦点を当てている。
このセットアップは多視点制約を導入し、スポーツ、コンサート、テレビ番組などの実世界のビデオ制作に実用的であり続けている。
LetCamsGoは、3台の独立して動くカメラと1台の固定カメラによって記録された4つの異なる環境に5つのシーケンスが並んだ、新しい現実世界のビデオデータセットである。
- 参考スコア(独自算出の注目度): 32.72043828725801
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although dynamic 3D (i.e., 4D) reconstruction from a monocular dynamic camera has recently advanced, it remains fundamentally limited by depth ambiguity. In this paper, we focus on an alternative practical way, i.e., sparse dynamic camera setup, where a handful of independently moving cameras capture the same subjects. While keeping capture costs low, this setup introduces multi-view constraints and remains practical for real-world video production such as sports, concerts, and TV shows. Despite its potential, our experiments show that naive extensions of existing monocular or dense-fixed camera-based methods are insufficient since they fail to resolve the complex spatiotemporal inconsistencies across views and time. To fill this gap, we propose a simple yet effective 3D track initialization method designed to ensure spatiotemporal consistency by integrating inter-camera feature matching with intra-camera point tracking. Additionally, we incorporate a noise-robust depth-ordering regularization loss and a spatiotemporally diverse batch sampling strategy to enhance optimization stability and cross-view generalization. Furthermore, to address the lack of standardized benchmarks for this task, we introduce LetCamsGo, a new real-world video dataset with 5 sequences across 4 diverse environments, recorded by three independently moving cameras and one fixed camera. Comprehensive benchmarking on LetCamsGo demonstrated that our proposed framework improves 4D reconstruction quality in dynamic regions compared with baselines, paving the way for a low-cost 4D reconstruction paradigm in the wild.
- Abstract(参考訳): モノクラーダイナミックカメラからの動的3D(すなわち4D)再構成は近年進歩しているが、奥行きのあいまいさによって基本的に制限されている。
本稿では,少数の独立して動くカメラが同じ被写体を撮影する,スパースダイナミックカメラの代替的実践方法に焦点を当てる。
撮影コストは低いが、この設定は多視点制約を導入し、スポーツ、コンサート、テレビ番組などの現実的なビデオ制作に実用的である。
その可能性にもかかわらず、ビューとタイムの複雑な時空間的不整合の解決に失敗するため、既存の単眼的または高密度固定型カメラベースの方法の拡張は不十分であることを示す。
このギャップを埋めるために、カメラ間特徴マッチングとカメラ内点追跡を統合することで、時空間整合性を確保するためのシンプルで効果的な3Dトラック初期化手法を提案する。
さらに、ノイズロスト深度順応型正規化損失と時空間的に多彩なバッチサンプリング戦略を取り入れ、最適化安定性とクロスビュー一般化を向上する。
さらに、このタスクの標準化されたベンチマークの欠如に対処するため、3台の独立して動くカメラと1台の固定カメラによって記録される4つの異なる環境にまたがる5つのシーケンスを持つ、新しい現実世界のビデオデータセットであるLetCamsGoを紹介します。
LetCamsGoの総合的なベンチマークにより,提案するフレームワークは,ベースラインと比較して動的領域の4次元再構成品質を向上し,低コストな4次元再構築パラダイムの実現に道を開いた。
関連論文リスト
- SparseCam4D: Spatio-Temporally Consistent 4D Reconstruction from Sparse Cameras [13.258108161849727]
高品質のダイナミックシーンは、通常、密集配列や数百台の同期カメラを必要とする。
本稿では, 豊富で一貫性のない生成観察を生かした, スパースカメラ動的再構成フレームワークを提案する。
我々は、スパースとアンキャリブレーションされたカメラ入力から4次元再構成を可能にする完全なパイプラインを開発する。
論文 参考訳(メタデータ) (2026-03-27T14:44:52Z) - Dynamic Gaussian Scene Reconstruction from Unsynchronized Videos [31.54046494140498]
マルチビュー映像再構成はコンピュータビジョンにおいて重要な役割を担い、映画製作、バーチャルリアリティー、モーション分析に応用できる。
同期のないマルチビュービデオから高品質な4DGS再構成を実現するための新しい時間的アライメント戦略を提案する。
論文 参考訳(メタデータ) (2025-11-14T11:20:43Z) - C4D: 4D Made from 3D through Dual Correspondences [77.04731692213663]
時間的対応を利用して既存の3次元再構成を4Dに拡張するフレームワークであるC4Dを紹介する。
C4Dは、短期光学フローと長期点追跡の2種類の対応をキャプチャする。
我々は、追加の移動情報を提供する動的認識ポイントトラッカーを訓練する。
論文 参考訳(メタデータ) (2025-10-16T17:59:06Z) - GaVS: 3D-Grounded Video Stabilization via Temporally-Consistent Local Reconstruction and Rendering [54.489285024494855]
ビデオの安定化は、元のユーザの動きの意図を保ちながら、望ましくないシャキネスを除去するので、ビデオ処理に欠かせない。
既存のアプローチは、運用するドメインによって、ユーザエクスペリエンスを低下させるいくつかの問題に悩まされます。
ビデオの安定化を時間的に一貫性のある局所的再構成とレンダリングのパラダイムとして再構成する,新しい3Dグラウンドアプローチである textbfGaVS を紹介する。
論文 参考訳(メタデータ) (2025-06-30T15:24:27Z) - Dyn-HaMR: Recovering 4D Interacting Hand Motion from a Dynamic Camera [49.82535393220003]
Dyn-HaMRは、野生のダイナミックカメラで撮影されたモノクロビデオから4Dグローバルハンドモーションを再構築する最初のアプローチである。
提案手法は,4次元メッシュ・リカバリにおいて最先端の手法を著しく上回ることを示す。
これにより、動くカメラでモノクロビデオから手の動きを復元するための新しいベンチマークが確立される。
論文 参考訳(メタデータ) (2024-12-17T12:43:10Z) - DRSM: efficient neural 4d decomposition for dynamic reconstruction in
stationary monocular cameras [21.07910546072467]
モノクロカメラにおける動的シーンの4次元分解問題に対処するための新しい枠組みを提案する。
本フレームワークでは,分解された静的・動的特徴面を用いて4次元シーンを表現し,高密度光線キャスティングによる動的領域の学習を強調する。
論文 参考訳(メタデータ) (2024-02-01T16:38:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。