論文の概要: LiDAR-aid Inertial Poser: Large-scale Human Motion Capture by Sparse
Inertial and LiDAR Sensors
- arxiv url: http://arxiv.org/abs/2205.15410v2
- Date: Fri, 7 Apr 2023 18:04:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-11 23:52:37.845607
- Title: LiDAR-aid Inertial Poser: Large-scale Human Motion Capture by Sparse
Inertial and LiDAR Sensors
- Title(参考訳): LiDAR補助慣性電位:疎慣性・LiDARセンサによる大規模人体運動キャプチャー
- Authors: Yiming Ren, Chengfeng Zhao, Yannan He, Peishan Cong, Han Liang, Jingyi
Yu, Lan Xu, Yuexin Ma
- Abstract要約: 本研究では,大規模なシナリオにおいて,高精度な局所的なポーズとグローバルな軌跡を持つ3次元人間の動きを捉えるためのマルチセンサ融合法を提案する。
我々は,2段階のポーズ推定器を粗大な方法で設計し,そこでは点雲が粗大な体形状を提供し,IMU測定は局所的な動作を最適化する。
我々は,LiDAR-IMUマルチモーダルモキャップデータセット(LIPD)を長期シナリオで収集する。
- 参考スコア(独自算出の注目度): 38.60837840737258
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a multi-sensor fusion method for capturing challenging 3D human
motions with accurate consecutive local poses and global trajectories in
large-scale scenarios, only using single LiDAR and 4 IMUs, which are set up
conveniently and worn lightly. Specifically, to fully utilize the global
geometry information captured by LiDAR and local dynamic motions captured by
IMUs, we design a two-stage pose estimator in a coarse-to-fine manner, where
point clouds provide the coarse body shape and IMU measurements optimize the
local actions. Furthermore, considering the translation deviation caused by the
view-dependent partial point cloud, we propose a pose-guided translation
corrector. It predicts the offset between captured points and the real root
locations, which makes the consecutive movements and trajectories more precise
and natural. Moreover, we collect a LiDAR-IMU multi-modal mocap dataset, LIPD,
with diverse human actions in long-range scenarios. Extensive quantitative and
qualitative experiments on LIPD and other open datasets all demonstrate the
capability of our approach for compelling motion capture in large-scale
scenarios, which outperforms other methods by an obvious margin. We will
release our code and captured dataset to stimulate future research.
- Abstract(参考訳): そこで本研究では,LDARと4IMUのみを用いて,高精度な局所的ポーズとグローバルな軌跡を持つ3次元人間の動作を,簡便かつ軽量に設定したマルチセンサ融合法を提案する。
具体的には、LiDARが捉えたグローバルジオメトリ情報とIMUが捉えた局所運動をフル活用するために、2段階のポーズ推定器を粗大な方法で設計し、点雲が粗大な体形を提供し、IMUが局所的な動作を最適化する。
さらに,視点依存部分点雲による翻訳偏差を考慮し,ポーズ案内翻訳補正器を提案する。
捕獲された点と実際の根の位置のずれを予測し、連続した動きと軌道をより正確に自然なものにする。
さらに,LiDAR-IMUマルチモーダルモキャップデータセット(LIPD)を長期シナリオで収集する。
LIPDや他のオープンデータセットに関する大規模な定量的および定性的な実験は、大規模シナリオにおける魅力的なモーションキャプチャーに対する我々のアプローチの能力を示している。
コードとキャプチャデータセットを公開して、将来の研究を刺激します。
関連論文リスト
- LiveHPS: LiDAR-based Scene-level Human Pose and Shape Estimation in Free
Environment [59.320414108383055]
シーンレベルの人間のポーズと形状推定のための単一LiDARに基づく新しいアプローチであるLiveHPSを提案する。
多様な人間のポーズを伴う様々なシナリオで収集される巨大な人間の動きデータセットFreeMotionを提案する。
論文 参考訳(メタデータ) (2024-02-27T03:08:44Z) - OccNeRF: Self-Supervised Multi-Camera Occupancy Prediction with Neural
Radiance Fields [80.35807140179736]
自己監督型マルチカメラ占有率予測のためのOccNeRF法を提案する。
我々は、再構成された占有領域をパラメータ化し、サンプリング戦略を再編成する。
意味的占有予測のために,事前学習した開語彙2Dセグメンテーションモデルの出力をフィルタリングし,プロンプトを洗練するためのいくつかの戦略を設計する。
論文 参考訳(メタデータ) (2023-12-14T18:58:52Z) - Realistic Full-Body Tracking from Sparse Observations via Joint-Level
Modeling [13.284947022380404]
頭部と手の3つの追跡信号だけで、正確でスムーズな全身運動を得ることができる2段階のフレームワークを提案する。
本フレームワークは,第1段階の関節レベル特徴を明示的にモデル化し,第2段階の関節レベル相関を捉えるために,空間的および時間的トランスフォーマーブロックの交互化に時間的トークンとして利用する。
AMASSモーションデータセットと実捕集データに関する広範な実験により,提案手法は既存の手法と比較して,より正確で滑らかな動きを実現することができることを示す。
論文 参考訳(メタデータ) (2023-08-17T08:27:55Z) - Weakly Supervised 3D Multi-person Pose Estimation for Large-scale Scenes
based on Monocular Camera and Single LiDAR [41.39277657279448]
大規模シーンにおける3次元多人数ポーズ推定のためのモノクロカメラとLiDARによる単一手法を提案する。
具体的には,画像や点クラウドを含むマルチモーダル入力データを活用するための効果的な融合戦略を設計する。
本手法は, 点雲の固有な幾何学的制約を自己監督のために利用し, 画像上の2次元キーポイントを弱監督のために利用する。
論文 参考訳(メタデータ) (2022-11-30T12:50:40Z) - LiCamGait: Gait Recognition in the Wild by Using LiDAR and Camera
Multi-modal Visual Sensors [49.66924720835016]
我々は、LiDARを利用して、より堅牢で正確な歩行認識のために、ビュー依存カメラと光感受性カメラの制限を緩和する最初の試みを行っている。
効率的なマルチモーダル特徴融合戦略を用いたLiDARカメラを用いた歩行認識手法を提案する。
論文 参考訳(メタデータ) (2022-11-22T16:05:58Z) - Transformer Inertial Poser: Attention-based Real-time Human Motion
Reconstruction from Sparse IMUs [79.72586714047199]
本研究では,6つのIMUセンサからリアルタイムに全体動作を再構築する,注意に基づく深層学習手法を提案する。
提案手法は, 実装が簡単で, 小型でありながら, 定量的かつ質的に新しい結果が得られる。
論文 参考訳(メタデータ) (2022-03-29T16:24:52Z) - LiDARCap: Long-range Marker-less 3D Human Motion Capture with LiDAR
Point Clouds [58.402752909624716]
既存のモーションキャプチャデータセットはほとんどが短距離であり、まだ長距離アプリケーションのニーズに合わない。
我々は,この制限を克服するために,LiDARがより長い範囲で捉えた新しい人間のモーションキャプチャーデータセットLiDARHuman26Mを提案する。
我々のデータセットには、IMUシステムによって取得された人間の動きと同期RGB画像も含まれている。
論文 参考訳(メタデータ) (2022-03-28T12:52:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。