論文の概要: Crowd4D: Scene-Aware Monocular 4D Crowd Reconstruction

• arxiv url: http://arxiv.org/abs/2607.19517v1
• Date: Tue, 21 Jul 2026 19:03:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-23 18:51:37.907803
• Title: Crowd4D: Scene-Aware Monocular 4D Crowd Reconstruction
• Title（参考訳）: Crowd4D:Scene-Aware Monocular 4D Crowdの再構築
• Abstract要約: Crowd4Dは、大規模ビデオシーンのためのシーン対応の4D群衆再構築フレームワークである。 シーン幾何学を取り入れ、多段階最適化戦略により画像空間とシーン空間の整合性を確保する。 Crowd4Dは既存の手法を一貫して上回り、複雑で大規模な現実世界のシーンで堅牢なモノラルな4D群衆再構築を可能にする。
• 参考スコア（独自算出の注目度）: 51.95664695509705
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recovering scene-consistent 4D crowd motion from monocular video in large-scale scenes remains challenging due to severe depth ambiguity and complex scene geometry. Existing monocular crowd reconstruction methods typically rely on single-plane assumptions, leading to unreliable metric scale and spatial drift under complex terrain. We propose Crowd4D, the first scene-aware 4D crowd reconstruction framework that jointly optimizes the crowd and scene from a monocular RGB video in large-scale scenes. Crowd4D explicitly incorporates scene geometry and ensures consistency across image and scene spaces via a multi-stage optimization strategy. A key bottleneck of this task lies in accurate human-scene alignment, particularly in scale and position. However, human and scene reconstructions are typically decoupled. To address this, we introduce the Human-Scene Interaction Proxy, abbreviated as HSIP, as an intermediate representation derived from Scene Interaction Point Clouds and a Scene Interaction Surface, abbreviated as SIPC and SIS. These representations encode explicit scene-aware geometric priors and redefine the optimization space for large-scale monocular 4D crowd reconstruction. To further improve temporal stability under occlusions, we introduce Crowd Structural Coherence Regularization, abbreviated as CSCR, which leverages HSIP-based spatial priors to impose soft temporal consistency on pairwise relative displacements and directions within local crowd neighborhoods. Extensive experiments demonstrate that Crowd4D consistently outperforms existing state-of-the-art methods and enables robust monocular 4D crowd reconstruction in complex, large-scale real-world scenes.
• Abstract（参考訳）: 大規模シーンにおけるモノクロ映像からのシーン一貫性のある4次元群衆の動きの復元は、深度あいまいさと複雑なシーン形状のため、依然として困難である。 既存の単眼の群集再構成法は、通常は単平面の仮定に依存しており、複雑な地形下での信頼性の低い計量スケールと空間的ドリフトをもたらす。 大規模シーンにおけるモノラルなRGBビデオから観客とシーンを協調的に最適化する,最初のシーン対応4Dクラウド再構築フレームワークであるCrowd4Dを提案する。 Crowd4Dは、シーン幾何学を明示的に取り入れ、マルチステージ最適化戦略を通じて、画像とシーン空間間の一貫性を保証する。 このタスクの重要なボトルネックは、特に規模と位置において、正確な人間シーンのアライメントにある。 しかし、人間とシーンの復元は通常、切り離されている。 そこで本研究では,Scene Interaction Point CloudsとScene Interaction Surfaceの中間表現として,HSIPと略されるHuman-Scene Interaction Proxyを紹介した。 これらの表現は、明示的なシーン認識の幾何学的先行を符号化し、大規模モノクロ4D群衆再構成のための最適化空間を再定義する。 閉鎖下での時間的安定性をさらに向上するために, HSIPに基づく空間的先行性を利用して, 局所的な群集地区内の相対的変位や方向に対してソフトな時間的一貫性を付与する, CSCR(Crowd Structure Coherence Regularization)を導入する。 大規模な実験では、Crowd4Dは既存の最先端の手法を一貫して上回り、複雑で大規模な現実世界のシーンで堅牢なモノラルな4D群衆の再構築を可能にしている。

関連論文リスト

• IGGT4D: Streaming 4D Instance-Grounded Geometry Transformer [64.5765465030666]
  オンライン4Dシーン理解のためのストリーミングインスタンスグラウンド幾何変換器IGGT4Dを提案する。 IGGT4Dは、ビデオフレームを逐次処理し、因果時空間モデリングを通じて歴史的コンテキストを再利用し、カメラモーション、幾何学、オブジェクトアイデンティティの統一表現を漸進的に更新する。 3次元再構成、ポーズ推定、例空間追跡、オープンボキャブラリセグメンテーションの実験は、IGGT4Dが既存のストリーミングベースラインより優れていることを示した。
  論文  参考訳（メタデータ） (2026-07-21T16:00:01Z)
• Stitch4D: Sparse Multi-Location 4D Urban Reconstruction via Spatio-Temporal Interpolation [5.878115656035432]
  スパース観測における空間被覆の欠如を明示的に補償する統合された4次元再構成フレームワークを提案する。 最適化前の中間カバレッジを復元することにより、Stitch4Dは幾何学的崩壊を防止し、コヒーレントな幾何学と滑らかなシーンダイナミクスを再構築する。 U-S4D実験の結果,Stitch4Dは代表的4次元再構成ベースラインを超越し,視覚的品質が向上した。
  論文  参考訳（メタデータ） (2026-04-09T07:45:51Z)
• 4D Driving Scene Generation With Stereo Forcing [62.47705572424127]
  現在の生成モデルは、時間外挿と空間的新規ビュー合成(NVS)をシーンごとの最適化なしで同時にサポートする動的4D駆動シーンの合成に苦慮している。 PhiGenesisは、幾何学的・時間的整合性を持った映像生成技術を拡張する4次元シーン生成のための統合フレームワークである。
  論文  参考訳（メタデータ） (2025-09-24T15:37:17Z)
• Dream4D: Lifting Camera-Controlled I2V towards Spatiotemporally Consistent 4D Generation [3.1852855132066673]
  現在のアプローチは、複雑なシーンダイナミクスを処理しながら、ビューの一貫性を維持するのに苦労することが多い。 このフレームワークは、リッチな時間的先行ビデオ拡散モデルと、再構成モデルの幾何学的認識の両方を活用する最初のものである。 これは4D生成を著しく促進し、既存の方法よりも高い品質(mPSNR、mSSIMなど)を示す。
  論文  参考訳（メタデータ） (2025-08-11T08:55:47Z)
• Free4D: Tuning-free 4D Scene Generation with Spatial-Temporal Consistency [49.875459658889355]
  Free4Dは、単一の画像から4Dシーンを生成するためのチューニング不要のフレームワークである。 我々の重要な洞察は、一貫した4次元シーン表現のために、事前訓練された基礎モデルを蒸留することである。 結果の4D表現はリアルタイムで制御可能なレンダリングを可能にする。
  論文  参考訳（メタデータ） (2025-03-26T17:59:44Z)
• DiST-4D: Disentangled Spatiotemporal Diffusion with Metric Depth for 4D Driving Scene Generation [50.01520547454224]
  現在の生成モデルは、時空間外挿と空間新規ビュー合成(NVS)を同時にサポートする4次元駆動シーンの合成に苦慮している 本研究では,2つの拡散過程に分散するDiST-4Dを提案する。DST-Tは過去の観測結果から直接,将来の距離深度と多視点RGBシーケンスを予測し,DST-Sは,既存の視点でのみ空間的NVSを訓練し,サイクル整合性を実現する。 実験により、DiST-4Dは時間的予測とNVSタスクの両方において最先端のパフォーマンスを達成し、同時に計画関連評価において競合性能を提供することが示された。
  論文  参考訳（メタデータ） (2025-03-19T13:49:48Z)
• 4D Gaussian Splatting: Modeling Dynamic Scenes with Native 4D Primitives [115.67081491747943]
  動的3Dシーン表現と新しいビュー合成はAR/VRおよびメタバースアプリケーションの実現に不可欠である。 我々は,その基礎となる4次元体積を近似として,時間変化の異なる3次元シーンの再構成を再構成する。 ストレージのボトルネックに対処するため、メモリフットプリントを効果的に削減するいくつかのコンパクトなバリエーションを導出する。
  論文  参考訳（メタデータ） (2024-12-30T05:30:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。