論文の概要: Reconstructing People, Places, and Cameras

• arxiv url: http://arxiv.org/abs/2412.17806v1
• Date: Mon, 23 Dec 2024 18:58:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:57:42.649221
• Title: Reconstructing People, Places, and Cameras
• Title（参考訳）: 人・場所・カメラの再構築
• Authors: Lea Müller, Hongsuk Choi, Anthony Zhang, Brent Yi, Jitendra Malik, Angjoo Kanazawa,
• Abstract要約: Humans and Structure from Motion (HSfM) は、メカニカルワールド座標系において、複数の人メッシュ、シーンポイント雲、カメラパラメータを共同で再構築する手法である。 以上の結果から,SfMパイプラインに人体データを組み込むことで,カメラのポーズ推定が改善された。
• 参考スコア（独自算出の注目度）: 57.81696692335401
• License:
• Abstract: We present "Humans and Structure from Motion" (HSfM), a method for jointly reconstructing multiple human meshes, scene point clouds, and camera parameters in a metric world coordinate system from a sparse set of uncalibrated multi-view images featuring people. Our approach combines data-driven scene reconstruction with the traditional Structure-from-Motion (SfM) framework to achieve more accurate scene reconstruction and camera estimation, while simultaneously recovering human meshes. In contrast to existing scene reconstruction and SfM methods that lack metric scale information, our method estimates approximate metric scale by leveraging a human statistical model. Furthermore, it reconstructs multiple human meshes within the same world coordinate system alongside the scene point cloud, effectively capturing spatial relationships among individuals and their positions in the environment. We initialize the reconstruction of humans, scenes, and cameras using robust foundational models and jointly optimize these elements. This joint optimization synergistically improves the accuracy of each component. We compare our method to existing approaches on two challenging benchmarks, EgoHumans and EgoExo4D, demonstrating significant improvements in human localization accuracy within the world coordinate frame (reducing error from 3.51m to 1.04m in EgoHumans and from 2.9m to 0.56m in EgoExo4D). Notably, our results show that incorporating human data into the SfM pipeline improves camera pose estimation (e.g., increasing RRA@15 by 20.3% on EgoHumans). Additionally, qualitative results show that our approach improves overall scene reconstruction quality. Our code is available at: muelea.github.io/hsfm.
• Abstract（参考訳）: 本研究では,複数の人メッシュ,シーンポイント雲,カメラパラメータを協調的に再構成する手法であるHumans and Structure from Motion (HSfM)を提案する。 提案手法は,データ駆動型シーン再構築と従来のSfM(Structure-from-Motion)フレームワークを組み合わせることで,より正確なシーン再構築とカメラ推定を実現し,同時に人間のメッシュを復元する。 実測スケール情報を持たない既存のシーン再構成やSfM法とは対照的に,本手法は人間の統計モデルを用いて近似距離スケールを推定する。 さらに、同一世界座標系内の複数のメッシュをシーンポイント雲と共に再構成し、個人と環境における位置の空間的関係を効果的に捉える。 我々は、堅牢な基礎モデルを用いて、人間、シーン、カメラの再構築を初期化し、これらの要素を共同で最適化する。 この共同最適化は、各コンポーネントの精度を相乗的に向上させる。 我々はEgoHumansとEgoExo4Dという2つの挑戦的ベンチマークの既存の手法と比較し、世界座標フレーム内の人間の位置決め精度を大幅に改善した(EgoHumansでは3.51mから1.04m、EgoExo4Dでは2.9mから0.56m)。 SfMパイプラインに人体データを組み込むことで、カメラのポーズ推定が向上する(例えば、EgoHumansではRRA@15が20.3%増加する)。 さらに, 定性的な結果から, 本手法が全体の景観復元の質を向上させることが示唆された。 私たちのコードは、muelea.github.io/hsfmで利用可能です。

関連論文リスト

• Crowd3D++: Robust Monocular Crowd Reconstruction with Upright Space [55.77397543011443]
  本研究の目的は、カメラパラメータが不明な1枚の画像から、何百人もの人の3Dポーズ、形状、位置を再構築することである。 Crowd3Dは、複雑な3D人物位置決めを、堅牢なカメラと地上推定で2Dピクセル位置決めに変換するために提案されている。 Crowd3D++は、カメラパラメータの影響を排除し、提案した正準アップライト空間と接地認識正規化変換による収穫操作を行う。
  論文  参考訳（メタデータ） (2024-11-09T16:49:59Z)
• WHAC: World-grounded Humans and Cameras [37.877565981937586]
  我々は,表現的パラメトリック人間モデル(SMPL-X)と対応するカメラのポーズを共同で再現することを目指している。 WHACと呼ばれる新しいフレームワークを導入し、世界規模で表現された人間のポーズと形状の推定を容易にする。 我々は、正確に注釈付けされた人間とカメラを含む新しい合成データセットWHAC-A-Moleを提案する。
  論文  参考訳（メタデータ） (2024-03-19T17:58:02Z)
• MUC: Mixture of Uncalibrated Cameras for Robust 3D Human Body Reconstruction [12.942635715952525]
  複数のカメラは、人物の包括的なマルチビュービデオカバレッジを提供することができる。 以前の研究では、複数の視点の下で自己排除によって生じる課題を見落としていた。 複数のカメラビューから3次元人体を再構築する手法を提案する。
  論文  参考訳（メタデータ） (2024-03-08T05:03:25Z)
• Crowd3D: Towards Hundreds of People Reconstruction from a Single Image [57.58149031283827]
  我々は,1つの大画面画像から数百人のグローバルな一貫性を持つ人々の3Dポーズ,形状,位置を再構築する最初のフレームワークであるCrowd3Dを提案する。 多数の人やさまざまな人体サイズに対応するため,適応型人間中心収穫方式を設計する。
  論文  参考訳（メタデータ） (2023-01-23T11:45:27Z)
• Scene-Aware 3D Multi-Human Motion Capture from a Single Camera [83.06768487435818]
  静止カメラで記録された1枚のRGBビデオから、シーン内の複数の人間の3次元位置を推定し、その身体形状と調音を推定する問題を考察する。 コンピュータビジョンの最近の進歩を,2次元の人体関節,関節角度,正規化不均等マップ,人間のセグメンテーションマスクなど,様々なモダリティのための大規模事前訓練モデルを用いて活用している。 特に,2次元の関節と関節角度を用いた正規化不均等予測から,シーン深度とユニークな人格尺度を推定する。
  論文  参考訳（メタデータ） (2023-01-12T18:01:28Z)
• Embodied Scene-aware Human Pose Estimation [25.094152307452]
  シーン認識型人間のポーズ推定手法を提案する。 本手法は, シミュレーション環境下でのグローバルな3次元人間のポーズを再現し, 因果関係の1段階である。
  論文  参考訳（メタデータ） (2022-06-18T03:50:19Z)
• GLAMR: Global Occlusion-Aware Human Mesh Recovery with Dynamic Cameras [99.07219478953982]
  ダイナミックカメラで記録したモノクロビデオから3次元グローバルなヒューマンメッシュリカバリのためのアプローチを提案する。 われわれはまず,視覚的動作に基づいて隠蔽されたヒトの身体運動を自己回帰的に埋め込む,深部再生運動充填装置を提案する。 従来の研究とは対照的に,我々の手法はダイナミックカメラを用いても,一貫したグローバル座標で人間のメッシュを再構築する。
  論文  参考訳（メタデータ） (2021-12-02T18:59:54Z)
• Deep3DPose: Realtime Reconstruction of Arbitrarily Posed Human Bodies from Single RGB Images [5.775625085664381]
  本研究では,3次元人間のポーズを正確に再構築し,単一画像から詳細な3次元フルボディ幾何モデルをリアルタイムに構築する手法を提案する。 このアプローチの鍵となるアイデアは、単一のイメージを使用して5つの出力を同時に予測する、新しいエンドツーエンドのマルチタスクディープラーニングフレームワークである。 本研究では,3次元人体フロンティアを進化させ,定量的評価と最先端手法との比較により,単一画像からの再構築を図っている。
  論文  参考訳（メタデータ） (2021-06-22T04:26:11Z)
• THUNDR: Transformer-based 3D HUmaN Reconstruction with Markers [67.8628917474705]
  THUNDRは、人の3Dポーズと形状を再構築するトランスフォーマーベースのディープニューラルネットワーク手法である。 完全教師付きモデルと自己教師型モデルの両方に対して,Human3.6Mと3DPWの最先端結果を示す。 野生で収集された難易度の高い人間のポーズに対して, 非常に堅固な3次元再構成性能を観察した。
  論文  参考訳（メタデータ） (2021-06-17T09:09:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。