論文の概要: Crowd3D++: Robust Monocular Crowd Reconstruction with Upright Space
- arxiv url: http://arxiv.org/abs/2411.06232v1
- Date: Sat, 09 Nov 2024 16:49:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-12 14:09:26.724309
- Title: Crowd3D++: Robust Monocular Crowd Reconstruction with Upright Space
- Title（参考訳）: Crowd3D++: 直立スペースによるロバストなモノクロの群衆再構築
- Authors: Jing Huang, Hao Wen, Tianyi Zhou, Haozhe Lin, Yu-Kun Lai, Kun Li,
- Abstract要約: 本研究の目的は、カメラパラメータが不明な1枚の画像から、何百人もの人の3Dポーズ、形状、位置を再構築することである。
Crowd3Dは、複雑な3D人物位置決めを、堅牢なカメラと地上推定で2Dピクセル位置決めに変換するために提案されている。
Crowd3D++は、カメラパラメータの影響を排除し、提案した正準アップライト空間と接地認識正規化変換による収穫操作を行う。
- 参考スコア（独自算出の注目度）: 55.77397543011443
- License:
- Abstract: This paper aims to reconstruct hundreds of people's 3D poses, shapes, and locations from a single image with unknown camera parameters. Due to the small and highly varying 2D human scales, depth ambiguity, and perspective distortion, no existing methods can achieve globally consistent reconstruction and accurate reprojection. To address these challenges, we first propose Crowd3D, which leverages a new concept, Human-scene Virtual Interaction Point (HVIP), to convert the complex 3D human localization into 2D-pixel localization with robust camera and ground estimation to achieve globally consistent reconstruction. To achieve stable generalization on different camera FoVs without test-time optimization, we propose an extended version, Crowd3D++, which eliminates the influence of camera parameters and the cropping operation by the proposed canonical upright space and ground-aware normalization transform. In the defined upright space, Crowd3D++ also designs an HVIPNet to regress 2D HVIP and infer the depths. Besides, we contribute two benchmark datasets, LargeCrowd and SyntheticCrowd, for evaluating crowd reconstruction in large scenes. The source code and data will be made publicly available after acceptance.
- Abstract（参考訳）: 本研究の目的は、カメラパラメータが不明な1枚の画像から、何百人もの人の3Dポーズ、形状、位置を再構築することである。
小型で高度に変化する2次元の人間のスケール、深さのあいまいさ、視点の歪みのため、既存の方法では、一貫した再構築と正確な再投影が達成できない。
これらの課題に対処するために,我々はまず,Human-scene Virtual Interaction Point (HVIP) という新しい概念を活用するCrowd3Dを提案する。
テスト時間最適化なしでカメラFoVの安定な一般化を実現するため,提案した正準アップライト空間と接地認識正規化変換によるカメラパラメータの影響と収穫操作を排除した拡張版Crowd3D++を提案する。
定義されたアップライト空間では、Crowd3D++は2D HVIPを回帰して深さを推測するHVIPNetも設計している。
さらに,大画面での群集復元を評価するために,2つのベンチマークデータセットであるLargeCrowdとSyntheticCrowdをコントリビュートした。
ソースコードとデータは受理後に公開される。
関連論文リスト
- DUSt3R: Geometric 3D Vision Made Easy [8.471330244002564]
Dense and Unconstrained Stereo 3D Reconstruction of arbitrary image collections。
本定式化は単眼および両眼の再建症例を円滑に統一することを示す。
私たちの定式化はシーンの3Dモデルと深度情報を直接提供しますが、興味深いことに、シームレスに回復できます。
論文 参考訳（メタデータ） (2023-12-21T18:52:14Z) - R3D3: Dense 3D Reconstruction of Dynamic Scenes from Multiple Cameras [106.52409577316389]
R3D3は高密度3次元再構成とエゴモーション推定のためのマルチカメラシステムである。
提案手法は,複数のカメラからの時空間情報と単眼深度補正を利用する。
この設計により、困難で動的な屋外環境の密集した一貫した3次元再構成が可能になる。
論文 参考訳（メタデータ） (2023-08-28T17:13:49Z) - SHERF: Generalizable Human NeRF from a Single Image [59.10589479808622]
SHERFは、単一の入力画像からアニマタブルな3D人間を復元するための、最初の一般化可能なヒトNeRFモデルである。
本稿では,情報符号化を容易にするために,グローバル,ポイントレベル,ピクセルアライン機能など3D対応の階層的特徴バンクを提案する。
論文 参考訳（メタデータ） (2023-03-22T17:59:12Z) - Crowd3D: Towards Hundreds of People Reconstruction from a Single Image [57.58149031283827]
我々は,1つの大画面画像から数百人のグローバルな一貫性を持つ人々の3Dポーズ,形状,位置を再構築する最初のフレームワークであるCrowd3Dを提案する。
多数の人やさまざまな人体サイズに対応するため,適応型人間中心収穫方式を設計する。
論文 参考訳（メタデータ） (2023-01-23T11:45:27Z) - Scene-Aware 3D Multi-Human Motion Capture from a Single Camera [83.06768487435818]
静止カメラで記録された1枚のRGBビデオから、シーン内の複数の人間の3次元位置を推定し、その身体形状と調音を推定する問題を考察する。
コンピュータビジョンの最近の進歩を,2次元の人体関節,関節角度,正規化不均等マップ,人間のセグメンテーションマスクなど,様々なモダリティのための大規模事前訓練モデルを用いて活用している。
特に,2次元の関節と関節角度を用いた正規化不均等予測から,シーン深度とユニークな人格尺度を推定する。
論文 参考訳（メタデータ） (2023-01-12T18:01:28Z) - Multi-View Multi-Person 3D Pose Estimation with Plane Sweep Stereo [71.59494156155309]
既存のマルチビュー3Dポーズ推定手法は、複数のカメラビューからグループ2Dポーズ検出に対するクロスビュー対応を明確に確立する。
平面スイープステレオに基づくマルチビュー3Dポーズ推定手法を提案し、クロスビュー融合と3Dポーズ再構築を1ショットで共同で解決します。
論文 参考訳（メタデータ） (2021-04-06T03:49:35Z) - SMAP: Single-Shot Multi-Person Absolute 3D Pose Estimation [46.85865451812981]
本稿では,まず,この2.5D表現に基づいて,まず2.5D表現の集合を回帰し,さらに深部認識部分関連アルゴリズムを用いて3D絶対ポーズを再構成するシステムを提案する。
このような単発ボトムアップ方式により、システムは人物間の深度関係をよりよく学習し、推論し、3Dと2Dの両方のポーズ推定を改善することができる。
論文 参考訳（メタデータ） (2020-08-26T09:56:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。