論文の概要: Human POSEitioning System (HPS): 3D Human Pose Estimation and
Self-localization in Large Scenes from Body-Mounted Sensors
- arxiv url: http://arxiv.org/abs/2103.17265v1
- Date: Wed, 31 Mar 2021 17:58:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-01 14:28:14.128367
- Title: Human POSEitioning System (HPS): 3D Human Pose Estimation and
Self-localization in Large Scenes from Body-Mounted Sensors
- Title（参考訳）: human poseitioning system (hps) - 身体搭載センサを用いた大規模シーンにおける3次元人物ポーズ推定と自己局所化
- Authors: Vladimir Guzov, Aymen Mir, Torsten Sattler, Gerard Pons-Moll
- Abstract要約: HPS(Human POSEitioning System)は、周囲の環境の3Dスキャンで登録された人間の完全な3Dポーズを回復する手法です。
最適化に基づく統合は2つの利点を生かし、結果としてドリフトのないポーズの精度が得られることを示す。
hpsは、人間が外部カメラに直接視線を向けなくてもシーンと対話できるvr/arアプリケーションとして使用できる。
- 参考スコア（独自算出の注目度）: 71.29186299435423
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce (HPS) Human POSEitioning System, a method to recover the full 3D
pose of a human registered with a 3D scan of the surrounding environment using
wearable sensors. Using IMUs attached at the body limbs and a head mounted
camera looking outwards, HPS fuses camera based self-localization with
IMU-based human body tracking. The former provides drift-free but noisy
position and orientation estimates while the latter is accurate in the
short-term but subject to drift over longer periods of time. We show that our
optimization-based integration exploits the benefits of the two, resulting in
pose accuracy free of drift. Furthermore, we integrate 3D scene constraints
into our optimization, such as foot contact with the ground, resulting in
physically plausible motion. HPS complements more common third-person-based 3D
pose estimation methods. It allows capturing larger recording volumes and
longer periods of motion, and could be used for VR/AR applications where humans
interact with the scene without requiring direct line of sight with an external
camera, or to train agents that navigate and interact with the environment
based on first-person visual input, like real humans. With HPS, we recorded a
dataset of humans interacting with large 3D scenes (300-1000 sq.m) consisting
of 7 subjects and more than 3 hours of diverse motion. The dataset, code and
video will be available on the project page:
http://virtualhumans.mpi-inf.mpg.de/hps/ .
- Abstract（参考訳）: HPS(Human POSEitioning System)は、ウェアラブルセンサを用いて、周囲環境の3Dスキャンで登録された人間の完全な3Dポーズを復元する手法である。
手足に装着されたIMUと、外を向いているヘッドマウントカメラを使って、HPSはカメラベースの自己ローカライゼーションとIMUベースの人体追跡を融合する。
前者はドリフトフリーだがノイズの多い位置と方向推定を提供し、後者は短期的には正確だが長い時間をかけてドリフトされる。
最適化に基づく統合は2つの利点を生かし、結果としてドリフトのないポーズの精度が得られることを示す。
さらに,地上との足の接触などの3Dシーンの制約を最適化に組み込むことにより,物理的に妥当な動作を実現する。
HPSはより一般的な3Dポーズ推定法を補完する。
それは、より大きな記録ボリュームと長時間のモーションをキャプチャでき、人間が外部カメラと直接視線をいじることなくシーンと対話するVR/ARアプリケーションや、本物の人間のような一対一の視覚入力に基づいて環境と対話するエージェントの訓練に使用できる。
HPSでは、7人の被験者と3時間以上の多様な動きからなる大きな3Dシーン(300-1000 sq.m)と相互作用する人間のデータセットを記録した。
データセット、コード、ビデオはプロジェクトのページで入手できる。
関連論文リスト
- Exploring 3D Human Pose Estimation and Forecasting from the Robot's Perspective: The HARPER Dataset [52.22758311559]
本研究では,ユーザとスポット間のダイアドインタラクションにおける3次元ポーズ推定と予測のための新しいデータセットであるHARPERを紹介する。
キーノーベルティは、ロボットの視点、すなわちロボットのセンサーが捉えたデータに焦点を当てることである。
HARPERの基盤となるシナリオには15のアクションが含まれており、そのうち10つはロボットとユーザの間の物理的接触を含んでいる。
論文 参考訳（メタデータ） (2024-03-21T14:53:50Z) - WHAM: Reconstructing World-grounded Humans with Accurate 3D Motion [43.95997922499137]
WHAM(World-grounded Humans with Accurate Motion)は、ビデオから世界座標系で3次元の人間の動きを再構成する。
SLAM法から推定されるカメラ角速度と人間の動きを用いて、身体のグローバルな軌跡を推定する。
複数のWildベンチマークで、既存の3Dモーションリカバリ手法よりも優れています。
論文 参考訳（メタデータ） (2023-12-12T18:57:46Z) - TRACE: 5D Temporal Regression of Avatars with Dynamic Cameras in 3D
Environments [106.80978555346958]
現在の方法では、地球上の座標で動く人間を確実に推定することはできない。
TRACEは、ダイナミックカメラからグローバル座標における3D人間の共同回収と追跡を行う最初の1段階の手法である。
トラッキングとHPSベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-06-05T13:00:44Z) - Scene-Aware 3D Multi-Human Motion Capture from a Single Camera [83.06768487435818]
静止カメラで記録された1枚のRGBビデオから、シーン内の複数の人間の3次元位置を推定し、その身体形状と調音を推定する問題を考察する。
コンピュータビジョンの最近の進歩を,2次元の人体関節,関節角度,正規化不均等マップ,人間のセグメンテーションマスクなど,様々なモダリティのための大規模事前訓練モデルを用いて活用している。
特に,2次元の関節と関節角度を用いた正規化不均等予測から,シーン深度とユニークな人格尺度を推定する。
論文 参考訳（メタデータ） (2023-01-12T18:01:28Z) - Embodied Scene-aware Human Pose Estimation [25.094152307452]
シーン認識型人間のポーズ推定手法を提案する。
本手法は, シミュレーション環境下でのグローバルな3次元人間のポーズを再現し, 因果関係の1段階である。
論文 参考訳（メタデータ） (2022-06-18T03:50:19Z) - Human-Aware Object Placement for Visual Environment Reconstruction [63.14733166375534]
我々は,モノクラーRGBビデオからシーンの3次元再構成を改善するために,人間とシーンのインタラクションを活用することができることを示す。
私たちのキーとなるアイデアは、人がシーンを移動してそれと対話するにつれて、複数の入力イメージにまたがってHSIを蓄積する、ということです。
シーン再構成は,初期3次元の人物のポーズと形状推定の精度向上に有効であることを示す。
論文 参考訳（メタデータ） (2022-03-07T18:59:02Z) - Learning Motion Priors for 4D Human Body Capture in 3D Scenes [81.54377747405812]
LEMO: LEMO: LEARING Human Motion priors for 4D human body capture。
提案手法では, 連続して復元されたポーズによって現れるジッタを減少させる新規な動きを事前に導入する。
また, 接触摩擦項と, 物体ごとの自己監督訓練により得られる接触認識運動充填剤を設計した。
パイプラインでは、高品質な4D人体撮影、スムーズな動きの再構築、身体とシーンの相互作用を実演しています。
論文 参考訳（メタデータ） (2021-08-23T20:47:09Z) - AnimePose: Multi-person 3D pose estimation and animation [9.323689681059504]
動作中の人間の3Dアニメーションは、人体全体に複数のモーショントラッカーを配置して、すべての手足の動きを追跡するため、非常に難しい。
これは時間がかかり、運動センサー付きエキソスケルトンボディスーツの着用が不快になる可能性がある。
深層学習を用いた2次元映像から複数の人物の3次元アニメーションを生成する方法を提案する。
論文 参考訳（メタデータ） (2020-02-06T11:11:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。