論文の概要: LiveHPS: LiDAR-based Scene-level Human Pose and Shape Estimation in Free Environment

• arxiv url: http://arxiv.org/abs/2402.17171v1
• Date: Tue, 27 Feb 2024 03:08:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 17:50:08.610968
• Title: LiveHPS: LiDAR-based Scene-level Human Pose and Shape Estimation in Free Environment
• Title（参考訳）: LiveHPS:LiDARに基づくシーンレベルの人間詩と自由環境における形状推定
• Authors: Yiming Ren, Xiao Han, Chengfeng Zhao, Jingya Wang, Lan Xu, Jingyi Yu, Yuexin Ma
• Abstract要約: シーンレベルの人間のポーズと形状推定のための単一LiDARに基づく新しいアプローチであるLiveHPSを提案する。 多様な人間のポーズを伴う様々なシナリオで収集される巨大な人間の動きデータセットFreeMotionを提案する。
• 参考スコア（独自算出の注目度）: 59.320414108383055
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For human-centric large-scale scenes, fine-grained modeling for 3D human global pose and shape is significant for scene understanding and can benefit many real-world applications. In this paper, we present LiveHPS, a novel single-LiDAR-based approach for scene-level human pose and shape estimation without any limitation of light conditions and wearable devices. In particular, we design a distillation mechanism to mitigate the distribution-varying effect of LiDAR point clouds and exploit the temporal-spatial geometric and dynamic information existing in consecutive frames to solve the occlusion and noise disturbance. LiveHPS, with its efficient configuration and high-quality output, is well-suited for real-world applications. Moreover, we propose a huge human motion dataset, named FreeMotion, which is collected in various scenarios with diverse human poses, shapes and translations. It consists of multi-modal and multi-view acquisition data from calibrated and synchronized LiDARs, cameras, and IMUs. Extensive experiments on our new dataset and other public datasets demonstrate the SOTA performance and robustness of our approach. We will release our code and dataset soon.
• Abstract（参考訳）: 人間中心の大規模シーンでは、人間の3次元グローバルポーズと形状のきめ細かいモデリングがシーン理解にとって重要であり、多くの現実世界のアプリケーションに役立てることができる。 本稿では,光条件やウェアラブル機器の制限なしにシーンレベルの人間のポーズや形状を推定するための,単一LiDARに基づく新しいアプローチLiveHPSを提案する。 特に,LiDAR点雲の分布変化効果を緩和する蒸留機構を設計し,連続するフレームに存在する時空間幾何学的・動的情報を活用し,閉塞・騒音障害を解消する。 LiveHPSは効率的な構成と高品質な出力を持ち、現実世界のアプリケーションに適している。 さらに,人間のポーズ,形状,翻訳を多種多様なシナリオで収集する,FreeMotionという巨大な人間の動作データセットを提案する。 マルチモーダルおよびマルチビューのデータからなり、キャリブレーションおよび同期lidar、カメラ、およびimusから取得する。 新しいデータセットや他の公開データセットに関する広範囲な実験は、我々のアプローチのsotaパフォーマンスと堅牢性を示しています。 間もなくコードとデータセットをリリースします。

関連論文リスト

• Multi-Resolution Generative Modeling of Human Motion from Limited Data [3.5229503563299915]
  限られたトレーニングシーケンスから人間の動きを合成することを学ぶ生成モデルを提案する。 このモデルは、骨格の畳み込み層とマルチスケールアーキテクチャを統合することで、人間の動きパターンを順応的にキャプチャする。
  論文  参考訳（メタデータ） (2024-11-25T15:36:29Z)
• DeBaRA: Denoising-Based 3D Room Arrangement Generation [22.96293773013579]
  有界環境における正確で制御可能で柔軟なアレンジメント生成に適したスコアベースモデルであるDeBaRAを紹介する。 本研究では,オブジェクトの空間特性に着目して,シーン合成や完了,再配置など,複数のダウンストリームアプリケーションを実行するために,単一トレーニングされたDeBaRAモデルをテスト時に活用できることを実証する。
  論文  参考訳（メタデータ） (2024-09-26T23:18:25Z)
• LiveHPS++: Robust and Coherent Motion Capture in Dynamic Free Environment [17.832694508927407]
  単一LiDARシステムに基づく革新的で効果的なソリューションであるLiveHPS++を紹介する。 3つのモジュールを巧妙に設計し,人間の動作から動的・運動学的特徴を学習することができる。 提案手法は,様々なデータセットにまたがって既存の最先端手法を大幅に超えることが証明されている。
  論文  参考訳（メタデータ） (2024-07-13T10:04:45Z)
• Gear-NeRF: Free-Viewpoint Rendering and Tracking with Motion-aware Spatio-Temporal Sampling [70.34875558830241]
  本研究では,シーンをレンダリングする動的領域の階層化モデリングを可能にする意味的セマンティックギアに基づく,時間的(4D)埋め込みの学習方法を提案する。 同時に、ほぼ無償で、当社のトラッキングアプローチは、既存のNeRFベースのメソッドでまだ達成されていない機能である、自由視点(free-view of interest)を可能にします。
  論文  参考訳（メタデータ） (2024-06-06T03:37:39Z)
• Scaling Up Dynamic Human-Scene Interaction Modeling [58.032368564071895]
  TRUMANSは、現在利用可能な最も包括的なモーションキャプチャーHSIデータセットである。 人体全体の動きや部分レベルの物体の動きを複雑に捉えます。 本研究では,任意の長さのHSI配列を効率的に生成する拡散型自己回帰モデルを提案する。
  論文  参考訳（メタデータ） (2024-03-13T15:45:04Z)
• WOMD-LiDAR: Raw Sensor Dataset Benchmark for Motion Forecasting [38.95768804529958]
  動作予測タスクのための大規模で高品質な多種多様なLiDARデータを用いて,Open Motionデータセットを拡張した。 新しいデータセットWOMD-LiDARは10万枚以上のシーンで構成され、それぞれ20秒にまたがる。 実験の結果,LiDARデータは動き予測タスクの改善をもたらすことがわかった。
  論文  参考訳（メタデータ） (2023-04-07T20:23:15Z)
• Progressive Multi-view Human Mesh Recovery with Self-Supervision [68.60019434498703]
  既存のソリューションは通常、新しい設定への一般化性能の低下に悩まされる。 マルチビューヒューマンメッシュリカバリのためのシミュレーションに基づく新しいトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2022-12-10T06:28:29Z)
• LiDAR-aid Inertial Poser: Large-scale Human Motion Capture by Sparse Inertial and LiDAR Sensors [38.60837840737258]
  本研究では,大規模なシナリオにおいて,高精度な局所的なポーズとグローバルな軌跡を持つ3次元人間の動きを捉えるためのマルチセンサ融合法を提案する。 我々は,2段階のポーズ推定器を粗大な方法で設計し,そこでは点雲が粗大な体形状を提供し,IMU測定は局所的な動作を最適化する。 我々は,LiDAR-IMUマルチモーダルモキャップデータセット(LIPD)を長期シナリオで収集する。
  論文  参考訳（メタデータ） (2022-05-30T20:15:11Z)
• Transformer Inertial Poser: Attention-based Real-time Human Motion Reconstruction from Sparse IMUs [79.72586714047199]
  本研究では,6つのIMUセンサからリアルタイムに全体動作を再構築する,注意に基づく深層学習手法を提案する。 提案手法は, 実装が簡単で, 小型でありながら, 定量的かつ質的に新しい結果が得られる。
  論文  参考訳（メタデータ） (2022-03-29T16:24:52Z)
• HSPACE: Synthetic Parametric Humans Animated in Complex Environments [67.8628917474705]
  我々は、複雑な屋内および屋外環境に置かれたアニメーション人間による大規模な写真リアルデータセット、Human-SPACEを構築した。 年齢、性別、比率、民族性の異なる数百の個人と数百の動きとシーンを組み合わせて、100万フレームを超える最初のデータセットを生成します。 アセットは大規模に自動生成され、既存のリアルタイムレンダリングやゲームエンジンと互換性がある。
  論文  参考訳（メタデータ） (2021-12-23T22:27:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。