論文の概要: EgoHDM: An Online Egocentric-Inertial Human Motion Capture, Localization, and Dense Mapping System

• arxiv url: http://arxiv.org/abs/2409.00343v1
• Date: Thu, 5 Sep 2024 11:58:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 15:23:54.188633
• Title: EgoHDM: An Online Egocentric-Inertial Human Motion Capture, Localization, and Dense Mapping System
• Title（参考訳）: EgoHDM: オンラインEgocentric-Inertial Human Motion Capture, Localization, Dense Mapping System
• Authors: Bonan Liu, Handi Yin, Manuel Kaufmann, Jinhao He, Sammy Christen, Jie Song, Pan Hui,
• Abstract要約: EgoHDMはオンライン・エゴセントリック・慣性人体モーションキャプチャー(モキャップ)、ローカライゼーション、高密度マッピングシステムである。 本システムは6つの慣性測定ユニット(IMU)とコモディティヘッドマウントRGBカメラを使用する。
• 参考スコア（独自算出の注目度）: 11.89252820871709
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present EgoHDM, an online egocentric-inertial human motion capture (mocap), localization, and dense mapping system. Our system uses 6 inertial measurement units (IMUs) and a commodity head-mounted RGB camera. EgoHDM is the first human mocap system that offers dense scene mapping in near real-time. Further, it is fast and robust to initialize and fully closes the loop between physically plausible map-aware global human motion estimation and mocap-aware 3D scene reconstruction. Our key idea is integrating camera localization and mapping information with inertial human motion capture bidirectionally in our system. To achieve this, we design a tightly coupled mocap-aware dense bundle adjustment and physics-based body pose correction module leveraging a local body-centric elevation map. The latter introduces a novel terrain-aware contact PD controller, which enables characters to physically contact the given local elevation map thereby reducing human floating or penetration. We demonstrate the performance of our system on established synthetic and real-world benchmarks. The results show that our method reduces human localization, camera pose, and mapping accuracy error by 41%, 71%, 46%, respectively, compared to the state of the art. Our qualitative evaluations on newly captured data further demonstrate that EgoHDM can cover challenging scenarios in non-flat terrain including stepping over stairs and outdoor scenes in the wild.
• Abstract（参考訳）: EgoHDMはオンライン・エゴセントリック・慣性人体モーションキャプチャー(モキャップ)、ローカライゼーション、高密度マッピングシステムである。 本システムは6つの慣性測定ユニット(IMU)とコモディティヘッドマウントRGBカメラを使用する。 EgoHDMは、ほぼリアルタイムで密集したシーンマッピングを提供する最初の人間のモキャップシステムである。 さらに、物理的に可視な地図対応のグローバルな人間の動き推定と、モカプ対応の3Dシーン再構成の間のループを初期化し、完全に閉じることが高速で堅牢である。 我々のキーとなるアイデアは、カメラのローカライゼーションとマッピング情報と慣性人間のモーションキャプチャを双方向に統合することである。 これを実現するために,局所的な体中心標高マップを利用した密結合型モカプ対応高密度バンドル調整および物理ベースの体ポーズ補正モジュールを設計した。 後者は、新しい地形対応接触PDコントローラを導入し、キャラクタが与えられた局所標高マップに物理的に接触することで、人間の浮動や浸透を減らすことができる。 構築された総合的および実世界のベンチマークにおいて,本システムの性能を実証する。 その結果,本手法は,最先端技術と比較して,人体位置推定,カメラポーズ,マッピング精度の誤差を41%,71%,46%削減することがわかった。 新たに取得したデータに対する定性的な評価は、エゴHDMが階段を踏むことや野生の屋外シーンなど、平らでない地形の難易度をカバーできることを示している。

関連論文リスト

• Motion Diffusion-Guided 3D Global HMR from a Dynamic Camera [3.6948631725065355]
  拡散最適化を用いた新しい3次元大域HMR法DiffOptを提案する。 我々の重要な洞察は、動き拡散モデル(MDM)のような人間の動き生成の最近の進歩は、コヒーレントな人間の動きの強い先行を含むことである。 我々はDiffOptをGlobal 3D Human Pose and Shape in the Wildの電磁データベースからビデオシーケンスで検証した。
  論文  参考訳（メタデータ） (2024-11-15T21:09:40Z)
• EgoLocate: Real-time Motion Capture, Localization, and Mapping with Sparse Body-mounted Sensors [74.1275051763006]
  本研究では,人間のモーションキャプチャ(モキャップ),ローカライゼーション,マッピングを,スパースボディ搭載センサからリアルタイムに行うシステムを開発した。 我々の技術は2つの分野の最先端技術と比較して,我々の技術によって大きく改善されている。
  論文  参考訳（メタデータ） (2023-05-02T16:56:53Z)
• Scene-aware Egocentric 3D Human Pose Estimation [72.57527706631964]
  頭部に1台の魚眼カメラを装着したエゴセントリックな3Dポーズ推定は、仮想現実や拡張現実における多くの応用により、近年注目を集めている。 既存の方法はまだ、人間の体が非常に隠蔽されている、あるいはシーンと密接な相互作用がある、挑戦的なポーズに苦慮している。 本研究では,シーン制約による自己中心型ポーズの予測を導くシーン認識型自己中心型ポーズ推定手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T21:35:39Z)
• GLAMR: Global Occlusion-Aware Human Mesh Recovery with Dynamic Cameras [99.07219478953982]
  ダイナミックカメラで記録したモノクロビデオから3次元グローバルなヒューマンメッシュリカバリのためのアプローチを提案する。 われわれはまず,視覚的動作に基づいて隠蔽されたヒトの身体運動を自己回帰的に埋め込む,深部再生運動充填装置を提案する。 従来の研究とは対照的に,我々の手法はダイナミックカメラを用いても,一貫したグローバル座標で人間のメッシュを再構築する。
  論文  参考訳（メタデータ） (2021-12-02T18:59:54Z)
• Egocentric Activity Recognition and Localization on a 3D Map [94.30708825896727]
  我々は,エゴセントリックなビデオから既知の3Dマップ上で,モバイルユーザの行動を共同で認識し,位置決めする問題に対処する。 本モデルでは,環境の階層的容積表現(HVR)とエゴセントリックなビデオの入力を取得し,その3次元動作位置を潜在変数として推定し,その潜在的な位置を囲む映像および文脈的手がかりに基づいて動作を認識する。
  論文  参考訳（メタデータ） (2021-05-20T06:58:15Z)
• Human POSEitioning System (HPS): 3D Human Pose Estimation and Self-localization in Large Scenes from Body-Mounted Sensors [71.29186299435423]
  HPS(Human POSEitioning System)は、周囲の環境の3Dスキャンで登録された人間の完全な3Dポーズを回復する手法です。 最適化に基づく統合は2つの利点を生かし、結果としてドリフトのないポーズの精度が得られることを示す。 hpsは、人間が外部カメラに直接視線を向けなくてもシーンと対話できるvr/arアプリケーションとして使用できる。
  論文  参考訳（メタデータ） (2021-03-31T17:58:31Z)
• 4D Human Body Capture from Egocentric Video via 3D Scene Grounding [38.3169520384642]
  本稿では,モノクラーエゴセントリックビデオから2人称3D人体メッシュの時系列を再構築する新しい課題を紹介する。 エゴセントリックなビデオのユニークな視点と迅速なカメラの動きは、人間の身体を捉えるための技術的な障壁を増す。
  論文  参考訳（メタデータ） (2020-11-26T15:17:16Z)
• SelfPose: 3D Egocentric Pose Estimation from a Headset Mounted Camera [97.0162841635425]
  頭部装着型VR装置の縁に設置した下向きの魚眼カメラから撮影した単眼画像から,エゴセントリックな3Dボディポーズ推定法を提案する。 この特異な視点は、厳密な自己閉塞と視点歪みを伴う、独特の視覚的な外観のイメージに繋がる。 本稿では,2次元予測の不確実性を考慮した新しいマルチブランチデコーダを用いたエンコーダデコーダアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-11-02T16:18:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。