論文の概要: DyCrowd: Towards Dynamic Crowd Reconstruction from a Large-scene Video
- arxiv url: http://arxiv.org/abs/2508.12644v1
- Date: Mon, 18 Aug 2025 06:09:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-19 14:49:10.985037
- Title: DyCrowd: Towards Dynamic Crowd Reconstruction from a Large-scene Video
- Title(参考訳): DyCrowd: 大規模なビデオから動的に群衆を再構築する
- Authors: Hao Wen, Hongbo Kang, Jian Ma, Jing Huang, Yuanwang Yang, Haozhe Lin, Yu-Kun Lai, Kun Li,
- Abstract要約: 都市監視や群集分析などの応用において,大規模シーンにおける群集の3次元動的再構築がますます重要になっている。
本研究では,大規模映像からの数百人のポーズ,位置,リズム動作を一貫した3次元再構成する枠組みを提案する。
実験により,大規模な動的群集再構築作業において,提案手法が最先端の性能を達成することを示す。
- 参考スコア(独自算出の注目度): 39.23308196170323
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D reconstruction of dynamic crowds in large scenes has become increasingly important for applications such as city surveillance and crowd analysis. However, current works attempt to reconstruct 3D crowds from a static image, causing a lack of temporal consistency and inability to alleviate the typical impact caused by occlusions. In this paper, we propose DyCrowd, the first framework for spatio-temporally consistent 3D reconstruction of hundreds of individuals' poses, positions and shapes from a large-scene video. We design a coarse-to-fine group-guided motion optimization strategy for occlusion-robust crowd reconstruction in large scenes. To address temporal instability and severe occlusions, we further incorporate a VAE (Variational Autoencoder)-based human motion prior along with a segment-level group-guided optimization. The core of our strategy leverages collective crowd behavior to address long-term dynamic occlusions. By jointly optimizing the motion sequences of individuals with similar motion segments and combining this with the proposed Asynchronous Motion Consistency (AMC) loss, we enable high-quality unoccluded motion segments to guide the motion recovery of occluded ones, ensuring robust and plausible motion recovery even in the presence of temporal desynchronization and rhythmic inconsistencies. Additionally, in order to fill the gap of no existing well-annotated large-scene video dataset, we contribute a virtual benchmark dataset, VirtualCrowd, for evaluating dynamic crowd reconstruction from large-scene videos. Experimental results demonstrate that the proposed method achieves state-of-the-art performance in the large-scene dynamic crowd reconstruction task. The code and dataset will be available for research purposes.
- Abstract(参考訳): 大規模空間における動的群集の3次元再構築は,都市監視や群集分析などの応用においてますます重要になっている。
しかし、現在の研究は静的な画像から3Dの群集を再構築しようとしており、時間的一貫性が欠如し、閉塞による典型的な影響を緩和できない。
本稿では,大規模な映像から数百人の人物のポーズ,位置,形状を時空間的に一貫した3次元再構成する最初のフレームワークであるDyCrowdを提案する。
そこで我々は,大画面での群集再建のための粗大な群集誘導動作最適化戦略を設計した。
時間的不安定性と重度の閉塞に対処するため,VAEに基づく人間の動作と,セグメントレベルのグループ誘導最適化を併用する。
我々の戦略の核心は、群集の行動を利用して、長期的ダイナミック・オクルージョンに対処する。
類似した動作セグメントを持つ個体の動作シーケンスを最適化し、提案した非同期動作一貫性(AMC)損失と組み合わせることで、時間的非同期化やリズム的不整合の存在下においても、高品質な非閉塞運動セグメントを誘導し、閉塞した個体の動作回復を誘導することができる。
さらに,既存の大画面ビデオデータセットのギャップを埋めるため,大画面ビデオからの動的群衆再構築を評価するために,仮想ベンチマークデータセットであるVirtualCrowdをコントリビュートする。
実験により,大規模な動的群集再構築作業において,提案手法が最先端の性能を達成することを示す。
コードとデータセットは研究目的で利用できる。
関連論文リスト
- 3D Gaussian Splatting against Moving Objects for High-Fidelity Street Scene Reconstruction [1.2603104712715607]
本稿では,ダイナミックストリートシーン再構築のための新しい3次元ガウス点分布法を提案する。
提案手法では,高忠実度な静的シーンを保存しながらオブジェクトの移動を除去する。
実験により, 大規模動的環境における再現性の向上, レンダリング性能の向上, 適応性の向上が示された。
論文 参考訳(メタデータ) (2025-03-15T05:41:59Z) - EvolvingGS: High-Fidelity Streamable Volumetric Video via Evolving 3D Gaussian Representation [14.402479944396665]
EvolvingGSは、まずターゲットフレームに合わせるためにガウスモデルを変形させ、最小点加算/減算で洗練する2段階戦略である。
漸進的に進化する表現の柔軟性のため,本手法はフレーム単位と時間単位の品質指標の両方で既存手法より優れている。
我々の手法は、特に複雑な人間のパフォーマンスを持つ拡張シーケンスにおいて、動的シーン再構成の最先端性を著しく向上させる。
論文 参考訳(メタデータ) (2025-03-07T06:01:07Z) - Event-boosted Deformable 3D Gaussians for Dynamic Scene Reconstruction [50.873820265165975]
本稿では,高時間分解能連続運動データと動的シーン再構成のための変形可能な3D-GSを併用したイベントカメラについて紹介する。
本稿では、3次元再構成としきい値モデリングの両方を大幅に改善する相互強化プロセスを作成するGS-Thresholdジョイントモデリング戦略を提案する。
提案手法は,合成および実世界の動的シーンを用いた最初のイベント包摂型4Dベンチマークであり,その上で最先端の性能を実現する。
論文 参考訳(メタデータ) (2024-11-25T08:23:38Z) - Adaptive and Temporally Consistent Gaussian Surfels for Multi-view Dynamic Reconstruction [3.9363268745580426]
AT-GSは、フレーム単位のインクリメンタル最適化により、多視点ビデオから高品質な動的曲面を再構成する新しい手法である。
連続するフレーム間の曲率写像の整合性を確保することにより、動的表面における時間的ジッタリングを低減する。
本手法は動的表面再構成の精度と時間的コヒーレンスを向上し,高忠実度空間時間新奇なビュー合成を実現する。
論文 参考訳(メタデータ) (2024-11-10T21:30:16Z) - Shape of Motion: 4D Reconstruction from a Single Video [51.04575075620677]
本稿では,全列長3D動作を特徴とする汎用動的シーンを再構築する手法を提案する。
シーン動作をコンパクトなSE3モーションベースで表現することで,3次元動作の低次元構造を利用する。
本手法は,3D/2Dの長距離動き推定と動的シーンにおける新しいビュー合成の両面において,最先端の性能を実現する。
論文 参考訳(メタデータ) (2024-07-18T17:59:08Z) - EgoGaussian: Dynamic Scene Understanding from Egocentric Video with 3D Gaussian Splatting [95.44545809256473]
エゴガウスアン(EgoGaussian)は、3Dシーンを同時に再構築し、RGBエゴセントリックな入力のみから3Dオブジェクトの動きを動的に追跡する手法である。
動的オブジェクトと背景再構築の品質の両面で,最先端技術と比較して大きな改善が見られた。
論文 参考訳(メタデータ) (2024-06-28T10:39:36Z) - Learning to Segment Rigid Motions from Two Frames [72.14906744113125]
本研究では, 運動場から独立物体の動きを復元する幾何学的解析により, モジュラーネットワークを提案する。
2つの連続フレームを入力とし、背景のセグメンテーションマスクと複数の剛体移動オブジェクトを予測し、3次元の剛体変換によってパラメータ化する。
本手法はkittiおよびsintelにおける剛体運動セグメンテーションの最先端性能を実現する。
論文 参考訳(メタデータ) (2021-01-11T04:20:30Z) - Spatiotemporal Bundle Adjustment for Dynamic 3D Human Reconstruction in
the Wild [49.672487902268706]
本稿では,カメラの時間的アライメントと3次元点三角測量を共同で推定する枠組みを提案する。
複数の無同期・無同期ビデオカメラで捉えたイベントにおいて、人間の身体の3次元運動軌跡を再構成する。
論文 参考訳(メタデータ) (2020-07-24T23:50:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。