論文の概要: LiveHPS: LiDAR-based Scene-level Human Pose and Shape Estimation in Free
Environment
- arxiv url: http://arxiv.org/abs/2402.17171v1
- Date: Tue, 27 Feb 2024 03:08:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 17:50:08.610968
- Title: LiveHPS: LiDAR-based Scene-level Human Pose and Shape Estimation in Free
Environment
- Title(参考訳): LiveHPS:LiDARに基づくシーンレベルの人間詩と自由環境における形状推定
- Authors: Yiming Ren, Xiao Han, Chengfeng Zhao, Jingya Wang, Lan Xu, Jingyi Yu,
Yuexin Ma
- Abstract要約: シーンレベルの人間のポーズと形状推定のための単一LiDARに基づく新しいアプローチであるLiveHPSを提案する。
多様な人間のポーズを伴う様々なシナリオで収集される巨大な人間の動きデータセットFreeMotionを提案する。
- 参考スコア(独自算出の注目度): 59.320414108383055
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: For human-centric large-scale scenes, fine-grained modeling for 3D human
global pose and shape is significant for scene understanding and can benefit
many real-world applications. In this paper, we present LiveHPS, a novel
single-LiDAR-based approach for scene-level human pose and shape estimation
without any limitation of light conditions and wearable devices. In particular,
we design a distillation mechanism to mitigate the distribution-varying effect
of LiDAR point clouds and exploit the temporal-spatial geometric and dynamic
information existing in consecutive frames to solve the occlusion and noise
disturbance. LiveHPS, with its efficient configuration and high-quality output,
is well-suited for real-world applications. Moreover, we propose a huge human
motion dataset, named FreeMotion, which is collected in various scenarios with
diverse human poses, shapes and translations. It consists of multi-modal and
multi-view acquisition data from calibrated and synchronized LiDARs, cameras,
and IMUs. Extensive experiments on our new dataset and other public datasets
demonstrate the SOTA performance and robustness of our approach. We will
release our code and dataset soon.
- Abstract(参考訳): 人間中心の大規模シーンでは、人間の3次元グローバルポーズと形状のきめ細かいモデリングがシーン理解にとって重要であり、多くの現実世界のアプリケーションに役立てることができる。
本稿では,光条件やウェアラブル機器の制限なしにシーンレベルの人間のポーズや形状を推定するための,単一LiDARに基づく新しいアプローチLiveHPSを提案する。
特に,LiDAR点雲の分布変化効果を緩和する蒸留機構を設計し,連続するフレームに存在する時空間幾何学的・動的情報を活用し,閉塞・騒音障害を解消する。
LiveHPSは効率的な構成と高品質な出力を持ち、現実世界のアプリケーションに適している。
さらに,人間のポーズ,形状,翻訳を多種多様なシナリオで収集する,FreeMotionという巨大な人間の動作データセットを提案する。
マルチモーダルおよびマルチビューのデータからなり、キャリブレーションおよび同期lidar、カメラ、およびimusから取得する。
新しいデータセットや他の公開データセットに関する広範囲な実験は、我々のアプローチのsotaパフォーマンスと堅牢性を示しています。
間もなくコードとデータセットをリリースします。
関連論文リスト
- Scaling Up Dynamic Human-Scene Interaction Modeling [60.21472701182632]
TRUMANSは、現在利用可能な最も包括的なモーションキャプチャーHSIデータセットである。
人体全体の動きや部分レベルの物体の動きを複雑に捉えます。
本研究では,任意の長さのHSI配列を効率的に生成する拡散型自己回帰モデルを提案する。
論文 参考訳(メタデータ) (2024-03-13T15:45:04Z) - Multi-Modal Dataset Acquisition for Photometrically Challenging Object [56.30027922063559]
本稿では,3次元視覚タスクにおける現在のデータセットの限界について,精度,サイズ,リアリズム,および光度に挑戦する対象に対する適切な画像モダリティの観点から検討する。
既存の3次元認識と6次元オブジェクトポーズデータセットを強化する新しいアノテーションと取得パイプラインを提案する。
論文 参考訳(メタデータ) (2023-08-21T10:38:32Z) - WOMD-LiDAR: Raw Sensor Dataset Benchmark for Motion Forecasting [38.95768804529958]
動作予測タスクのための大規模で高品質な多種多様なLiDARデータを用いて,Open Motionデータセットを拡張した。
新しいデータセットWOMD-LiDARは10万枚以上のシーンで構成され、それぞれ20秒にまたがる。
実験の結果,LiDARデータは動き予測タスクの改善をもたらすことがわかった。
論文 参考訳(メタデータ) (2023-04-07T20:23:15Z) - Progressive Multi-view Human Mesh Recovery with Self-Supervision [68.60019434498703]
既存のソリューションは通常、新しい設定への一般化性能の低下に悩まされる。
マルチビューヒューマンメッシュリカバリのためのシミュレーションに基づく新しいトレーニングパイプラインを提案する。
論文 参考訳(メタデータ) (2022-12-10T06:28:29Z) - Weakly Supervised 3D Multi-person Pose Estimation for Large-scale Scenes
based on Monocular Camera and Single LiDAR [41.39277657279448]
大規模シーンにおける3次元多人数ポーズ推定のためのモノクロカメラとLiDARによる単一手法を提案する。
具体的には,画像や点クラウドを含むマルチモーダル入力データを活用するための効果的な融合戦略を設計する。
本手法は, 点雲の固有な幾何学的制約を自己監督のために利用し, 画像上の2次元キーポイントを弱監督のために利用する。
論文 参考訳(メタデータ) (2022-11-30T12:50:40Z) - LiDAR-aid Inertial Poser: Large-scale Human Motion Capture by Sparse
Inertial and LiDAR Sensors [38.60837840737258]
本研究では,大規模なシナリオにおいて,高精度な局所的なポーズとグローバルな軌跡を持つ3次元人間の動きを捉えるためのマルチセンサ融合法を提案する。
我々は,2段階のポーズ推定器を粗大な方法で設計し,そこでは点雲が粗大な体形状を提供し,IMU測定は局所的な動作を最適化する。
我々は,LiDAR-IMUマルチモーダルモキャップデータセット(LIPD)を長期シナリオで収集する。
論文 参考訳(メタデータ) (2022-05-30T20:15:11Z) - Transformer Inertial Poser: Attention-based Real-time Human Motion
Reconstruction from Sparse IMUs [79.72586714047199]
本研究では,6つのIMUセンサからリアルタイムに全体動作を再構築する,注意に基づく深層学習手法を提案する。
提案手法は, 実装が簡単で, 小型でありながら, 定量的かつ質的に新しい結果が得られる。
論文 参考訳(メタデータ) (2022-03-29T16:24:52Z) - HSPACE: Synthetic Parametric Humans Animated in Complex Environments [67.8628917474705]
我々は、複雑な屋内および屋外環境に置かれたアニメーション人間による大規模な写真リアルデータセット、Human-SPACEを構築した。
年齢、性別、比率、民族性の異なる数百の個人と数百の動きとシーンを組み合わせて、100万フレームを超える最初のデータセットを生成します。
アセットは大規模に自動生成され、既存のリアルタイムレンダリングやゲームエンジンと互換性がある。
論文 参考訳(メタデータ) (2021-12-23T22:27:55Z) - Scalable Scene Flow from Point Clouds in the Real World [30.437100097997245]
オープンデータセットに基づくシーンフローの大規模ベンチマークを新たに導入します。
実際のLiDARデータの量に基づいて、これまでの作業がバウンドされているかを示す。
フルポイントクラウド上でリアルタイム推論を提供するモデルアーキテクチャFastFlow3Dを紹介します。
論文 参考訳(メタデータ) (2021-03-01T20:56:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。