論文の概要: 4D Human-Scene Reconstruction from Low-Overlap Captures
- arxiv url: http://arxiv.org/abs/2607.09125v1
- Date: Fri, 10 Jul 2026 06:30:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-13 14:47:12.799573
- Title: 4D Human-Scene Reconstruction from Low-Overlap Captures
- Title（参考訳）: 低オーバーラップ映像からの4次元人間シーン再構成
- Abstract要約: 現実のシナリオでは、少数のローオーバーラップカメラのみが使用でき、出力品質を低下させる。
近年の4D再構成手法は低オーバーラップな設定に重点を置いているが、観測されていない地域では目立った成果物が生み出されている。
StudioReconは、背景と人間の切り離しによって、疎外で低オーバーラップのカメラから4Dの人間のシーンを再構築するパイプラインである。
- 参考スコア（独自算出の注目度）: 32.94451563162227
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Existing volumetric capture of dynamic human performance achieves high fidelity with dense camera arrays. However, in real-world scenarios, only a handful of low-overlap cameras are available, which degrades the output quality and leaves large areas unobserved. Recent 4D reconstruction methods have focused on low-overlap settings, yet they still produce noticeable artifacts in under-observed regions. Video diffusion models have emerged as another option, but they show geometrically inconsistent results for humans. To address these limitations, we propose StudioRecon, a pipeline that reconstructs 4D human scenes from sparse, low-overlap cameras by decoupling background and humans. We densify background supervision by synthesizing hundreds of camera-controlled novel views with a video diffusion model. We also robustly initialize deformable Gaussian humans with cross-view identity association and triangulated multi-view keypoint fitting. Finally, our recursive enhancement module with motion-adaptive consistency injection harmonizes the composed output, thereby further avoiding remaining artifacts. We achieve state-of-the-art novel view synthesis across four real-world datasets and demonstrate applications such as novel trajectory rendering and human replacement.
- Abstract（参考訳）: 既存のダイナミックヒューマンパフォーマンスのボリュームキャプチャは、高密度カメラアレイによる高忠実度を実現する。
しかし、現実のシナリオでは、少数のローオーバーラップカメラのみが利用可能であり、出力品質を低下させ、大きな領域を監視できないままにしている。
近年の4D再構成手法は低オーバーラップな設定に重点を置いているが、観測されていない地域では目立った成果物が生み出されている。
ビデオ拡散モデルは別の選択肢として現れたが、幾何学的に不整合性を示す。
これらの制約に対処するために,背景と人間を疎結合にすることで,低解像度の低オーバーラップカメラから4次元の人間のシーンを再構築するパイプラインであるStudioReconを提案する。
我々は、ビデオ拡散モデルを用いて、何百ものカメラ制御された新しいビューを合成することにより、背景監視を強化した。
また,変形可能なガウス人に対して,クロスビュー・アイデンティティ・アソシエーションと三角多視点キーポイント・フィッティングを強く初期化する。
最後に、動作適応整合注入による再帰的拡張モジュールは、合成された出力を調和させ、残余のアーティファクトをさらに回避する。
実世界の4つのデータセットにまたがる最先端の新規ビュー合成を実現し、新規な軌跡描画や人間の置換といった応用を実証する。
関連論文リスト
- GUSH3R: Everyone Everywhere All at Once as Gaussians [30.884035795245946]
GUSH3R(Gaussian-Unified Scene Human 3D Reconstruction)は,オンライン動的ヒューマンシーン再構築のためのフィードフォワードフレームワークである。
単眼の人間シーン映像から, ダイナミックな人間(すべて)と静的なシーン(どこでも)を1回の前方通過で再構成する。
単眼のヒトシーンデータセットを用いた実験により,本手法が競争力のある新規な合成品質を実現することを示す。
論文 参考訳（メタデータ） (2026-07-06T15:53:09Z) - 4D Reconstruction from Sparse Dynamic Cameras [32.72043828725801]
我々は、少数のカメラが同じ被写体を撮影する、スパース・ダイナミック・カメラ・セットアップ(sparse dynamic camera set)という別の実用的な方法に焦点を当てている。
このセットアップは多視点制約を導入し、スポーツ、コンサート、テレビ番組などの実世界のビデオ制作に実用的であり続けている。
LetCamsGoは、3台の独立して動くカメラと1台の固定カメラによって記録された4つの異なる環境に5つのシーケンスが並んだ、新しい現実世界のビデオデータセットである。
論文 参考訳（メタデータ） (2026-06-03T08:31:43Z) - Syn4D: A Multiview Synthetic 4D Dataset [92.50132053229817]
モノクロビデオからの動的シーンの3D再構成と追跡は、コンピュータビジョンにおいて重要な課題である。
この制限に対処するために、マルチビュー合成動的シーンであるSyn4Dを紹介する。
Syn4Dの主な特徴は、任意のピクセルを3Dに切り離すことである。
論文 参考訳（メタデータ） (2026-05-06T17:59:55Z) - Reshoot-Anything: A Self-Supervised Model for In-the-Wild Video Reshooting [3.1328424544428852]
インターネット規模のモノクロビデオを活用するためのフレームワークを構築した。
私たちのコアコントリビューションは、ソースビデオ、幾何アンカー、ターゲットビデオからなる擬似多視点トレーニング三脚の生成です。
提案する拡散変圧器は4Dポイントクラウド誘導アンカーを用いて,最先端の時間的整合性を実現する。
論文 参考訳（メタデータ） (2026-04-23T15:32:56Z) - 4C4D: 4 Camera 4D Gaussian Splatting [56.926598190499156]
本稿では,4台のポータブルカメラで撮影した映像から4Dダイナミックなシーンを復元する課題に取り組む。
我々は,高忠実度4Dガウシアン・スプラッティングを実現する新しいフレームワークであるtextbf4C4Dを提案する。
論文 参考訳（メタデータ） (2026-04-05T11:09:23Z) - SparseCam4D: Spatio-Temporally Consistent 4D Reconstruction from Sparse Cameras [13.258108161849727]
高品質のダイナミックシーンは、通常、密集配列や数百台の同期カメラを必要とする。
本稿では, 豊富で一貫性のない生成観察を生かした, スパースカメラ動的再構成フレームワークを提案する。
我々は、スパースとアンキャリブレーションされたカメラ入力から4次元再構成を可能にする完全なパイプラインを開発する。
論文 参考訳（メタデータ） (2026-03-27T14:44:52Z) - LaVR: Scene Latent Conditioned Generative Video Trajectory Re-Rendering using Large 4D Reconstruction Models [52.656349227001925]
モノクロビデオが与えられた場合、ビデオの再レンダリングの目的は、新しいカメラの軌跡からシーンのビューを生成することである。
既存の方法は2つの異なる課題に直面している。
大規模な4次元再構成モデルの潜在空間に埋め込まれた暗黙的幾何学的知識を用いて,これらの課題に対処することを提案する。
論文 参考訳（メタデータ） (2026-01-21T05:46:03Z) - Diffuman4D: 4D Consistent Human View Synthesis from Sparse-View Videos with Spatio-Temporal Diffusion Models [83.76517697509156]
本稿では、疎視映像を入力として高忠実度視点合成の課題に対処する。
本研究では, 4次元拡散モデルの視時整合性を高めるために, 反復的スライディング・デノナイジング法を提案する。
提案手法は,高品質で一貫したノベルビュー映像を合成し,既存の手法を大幅に上回っている。
論文 参考訳（メタデータ） (2025-07-17T17:59:17Z) - UAV4D: Dynamic Neural Rendering of Human-Centric UAV Imagery using Gaussian Splatting [54.883935964137706]
UAV4Dは,UAVが捉えたダイナミックな現実世界のシーンに対して,フォトリアリスティックなレンダリングを可能にするフレームワークである。
我々は3次元基礎モデルと人間のメッシュ再構築モデルを組み合わせて、シーン背景と人間の両方を再構築する。
以上の結果から,新しい視点合成法に対するアプローチの利点が示され,1.5dBPSNRの改善と視覚的シャープネスの向上が達成された。
論文 参考訳（メタデータ） (2025-06-05T13:21:09Z) - Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。
我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。
そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
論文 参考訳（メタデータ） (2022-04-22T03:17:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。