論文の概要: EgoHDM: An Online Egocentric-Inertial Human Motion Capture, Localization, and Dense Mapping System

• arxiv url: http://arxiv.org/abs/2409.00343v2
• Date: Thu, 5 Sep 2024 11:58:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 15:23:54.186125
• Title: EgoHDM: An Online Egocentric-Inertial Human Motion Capture, Localization, and Dense Mapping System
• Title（参考訳）: EgoHDM: オンラインEgocentric-Inertial Human Motion Capture, Localization, Dense Mapping System
• Authors: Bonan Liu, Handi Yin, Manuel Kaufmann, Jinhao He, Sammy Christen, Jie Song, Pan Hui,
• Abstract要約: EgoHDMはオンライン・エゴセントリック・慣性人体モーションキャプチャー(モキャップ)、ローカライゼーション、高密度マッピングシステムである。 本システムは6つの慣性測定ユニット(IMU)とコモディティヘッドマウントRGBカメラを使用する。
• 参考スコア（独自算出の注目度）: 11.89252820871709
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present EgoHDM, an online egocentric-inertial human motion capture (mocap), localization, and dense mapping system. Our system uses 6 inertial measurement units (IMUs) and a commodity head-mounted RGB camera. EgoHDM is the first human mocap system that offers dense scene mapping in near real-time. Further, it is fast and robust to initialize and fully closes the loop between physically plausible map-aware global human motion estimation and mocap-aware 3D scene reconstruction. Our key idea is integrating camera localization and mapping information with inertial human motion capture bidirectionally in our system. To achieve this, we design a tightly coupled mocap-aware dense bundle adjustment and physics-based body pose correction module leveraging a local body-centric elevation map. The latter introduces a novel terrain-aware contact PD controller, which enables characters to physically contact the given local elevation map thereby reducing human floating or penetration. We demonstrate the performance of our system on established synthetic and real-world benchmarks. The results show that our method reduces human localization, camera pose, and mapping accuracy error by 41%, 71%, 46%, respectively, compared to the state of the art. Our qualitative evaluations on newly captured data further demonstrate that EgoHDM can cover challenging scenarios in non-flat terrain including stepping over stairs and outdoor scenes in the wild.
• Abstract（参考訳）: EgoHDMはオンライン・エゴセントリック・慣性人体モーションキャプチャー(モキャップ)、ローカライゼーション、高密度マッピングシステムである。 本システムは6つの慣性測定ユニット(IMU)とコモディティヘッドマウントRGBカメラを使用する。 EgoHDMは、ほぼリアルタイムで密集したシーンマッピングを提供する最初の人間のモキャップシステムである。 さらに、物理的に可視な地図対応のグローバルな人間の動き推定と、モカプ対応の3Dシーン再構成の間のループを初期化し、完全に閉じることが高速で堅牢である。 我々のキーとなるアイデアは、カメラのローカライゼーションとマッピング情報と慣性人間のモーションキャプチャを双方向に統合することである。 これを実現するために,局所的な体中心標高マップを利用した密結合型モカプ対応高密度バンドル調整および物理ベースの体ポーズ補正モジュールを設計した。 後者は、新しい地形対応接触PDコントローラを導入し、キャラクタが与えられた局所標高マップに物理的に接触することで、人間の浮動や浸透を減らすことができる。 構築された総合的および実世界のベンチマークにおいて,本システムの性能を実証する。 その結果,本手法は,最先端技術と比較して,人体位置推定,カメラポーズ,マッピング精度の誤差を41%,71%,46%削減することがわかった。 新たに取得したデータに対する定性的な評価は、エゴHDMが階段を踏むことや野生の屋外シーンなど、平らでない地形の難易度をカバーできることを示している。

関連論文リスト

• Reconstructing People, Places, and Cameras [57.81696692335401]
  Humans and Structure from Motion (HSfM) は、メカニカルワールド座標系において、複数の人メッシュ、シーンポイント雲、カメラパラメータを共同で再構築する手法である。 以上の結果から,SfMパイプラインに人体データを組み込むことで,カメラのポーズ推定が改善された。
  論文  参考訳（メタデータ） (2024-12-23T18:58:34Z)
• Dyn-HaMR: Recovering 4D Interacting Hand Motion from a Dynamic Camera [49.82535393220003]
  Dyn-HaMRは、野生のダイナミックカメラで撮影されたモノクロビデオから4Dグローバルハンドモーションを再構築する最初のアプローチである。 提案手法は,4次元メッシュ・リカバリにおいて最先端の手法を著しく上回ることを示す。 これにより、動くカメラでモノクロビデオから手の動きを復元するための新しいベンチマークが確立される。
  論文  参考訳（メタデータ） (2024-12-17T12:43:10Z)
• Motion Diffusion-Guided 3D Global HMR from a Dynamic Camera [3.6948631725065355]
  拡散最適化を用いた新しい3次元大域HMR法DiffOptを提案する。 我々の重要な洞察は、動き拡散モデル(MDM)のような人間の動き生成の最近の進歩は、コヒーレントな人間の動きの強い先行を含むことである。 我々はDiffOptをGlobal 3D Human Pose and Shape in the Wildの電磁データベースからビデオシーケンスで検証した。
  論文  参考訳（メタデータ） (2024-11-15T21:09:40Z)
• EgoLocate: Real-time Motion Capture, Localization, and Mapping with Sparse Body-mounted Sensors [74.1275051763006]
  本研究では,人間のモーションキャプチャ(モキャップ),ローカライゼーション,マッピングを,スパースボディ搭載センサからリアルタイムに行うシステムを開発した。 我々の技術は2つの分野の最先端技術と比較して,我々の技術によって大きく改善されている。
  論文  参考訳（メタデータ） (2023-05-02T16:56:53Z)
• Scene-aware Egocentric 3D Human Pose Estimation [72.57527706631964]
  頭部に1台の魚眼カメラを装着したエゴセントリックな3Dポーズ推定は、仮想現実や拡張現実における多くの応用により、近年注目を集めている。 既存の方法はまだ、人間の体が非常に隠蔽されている、あるいはシーンと密接な相互作用がある、挑戦的なポーズに苦慮している。 本研究では,シーン制約による自己中心型ポーズの予測を導くシーン認識型自己中心型ポーズ推定手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T21:35:39Z)
• Egocentric Activity Recognition and Localization on a 3D Map [94.30708825896727]
  我々は,エゴセントリックなビデオから既知の3Dマップ上で,モバイルユーザの行動を共同で認識し,位置決めする問題に対処する。 本モデルでは,環境の階層的容積表現(HVR)とエゴセントリックなビデオの入力を取得し,その3次元動作位置を潜在変数として推定し,その潜在的な位置を囲む映像および文脈的手がかりに基づいて動作を認識する。
  論文  参考訳（メタデータ） (2021-05-20T06:58:15Z)
• Human POSEitioning System (HPS): 3D Human Pose Estimation and Self-localization in Large Scenes from Body-Mounted Sensors [71.29186299435423]
  HPS(Human POSEitioning System)は、周囲の環境の3Dスキャンで登録された人間の完全な3Dポーズを回復する手法です。 最適化に基づく統合は2つの利点を生かし、結果としてドリフトのないポーズの精度が得られることを示す。 hpsは、人間が外部カメラに直接視線を向けなくてもシーンと対話できるvr/arアプリケーションとして使用できる。
  論文  参考訳（メタデータ） (2021-03-31T17:58:31Z)
• 4D Human Body Capture from Egocentric Video via 3D Scene Grounding [38.3169520384642]
  本稿では,モノクラーエゴセントリックビデオから2人称3D人体メッシュの時系列を再構築する新しい課題を紹介する。 エゴセントリックなビデオのユニークな視点と迅速なカメラの動きは、人間の身体を捉えるための技術的な障壁を増す。
  論文  参考訳（メタデータ） (2020-11-26T15:17:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。