論文の概要: SLOPER4D: A Scene-Aware Dataset for Global 4D Human Pose Estimation in Urban Environments

• arxiv url: http://arxiv.org/abs/2303.09095v2
• Date: Sat, 18 Mar 2023 13:44:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-21 11:40:52.639307
• Title: SLOPER4D: A Scene-Aware Dataset for Global 4D Human Pose Estimation in Urban Environments
• Title（参考訳）: SLOPER4D:都市環境におけるグローバル4次元人文推定のためのシーンアウェアデータセット
• Authors: Yudi Dai (1), Yitai Lin (1), Xiping Lin (2), Chenglu Wen (1), Lan Xu (2), Hongwei Yi (3), Siqi Shen (1), Yuexin Ma (2), Cheng Wang (1) ((1) Xiamen University, China, (2) ShanghaiTech University, China, (3) Max Planck Institute for Intelligent Systems, Germany)
• Abstract要約: SLOPER4Dは,大都市環境下で収集された新たなシーン認識データセットである。 我々は,エゴセントリックな視点から,10の多様な都市シーンにおける12人の被験者の活動を記録している。 SLOPER4Dは15個の人間の動きで構成され、それぞれが200メートル以上の軌道長を持つ。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present SLOPER4D, a novel scene-aware dataset collected in large urban environments to facilitate the research of global human pose estimation (GHPE) with human-scene interaction in the wild. Employing a head-mounted device integrated with a LiDAR and camera, we record 12 human subjects' activities over 10 diverse urban scenes from an egocentric view. Frame-wise annotations for 2D key points, 3D pose parameters, and global translations are provided, together with reconstructed scene point clouds. To obtain accurate 3D ground truth in such large dynamic scenes, we propose a joint optimization method to fit local SMPL meshes to the scene and fine-tune the camera calibration during dynamic motions frame by frame, resulting in plausible and scene-natural 3D human poses. Eventually, SLOPER4D consists of 15 sequences of human motions, each of which has a trajectory length of more than 200 meters (up to 1,300 meters) and covers an area of more than 2,000 $m^2$ (up to 13,000 $m^2$), including more than 100K LiDAR frames, 300k video frames, and 500K IMU-based motion frames. With SLOPER4D, we provide a detailed and thorough analysis of two critical tasks, including camera-based 3D HPE and LiDAR-based 3D HPE in urban environments, and benchmark a new task, GHPE. The in-depth analysis demonstrates SLOPER4D poses significant challenges to existing methods and produces great research opportunities. The dataset and code are released at \url{http://www.lidarhumanmotion.net/sloper4d/}
• Abstract（参考訳）: SLOPER4Dは、大都市環境下で収集され、地球規模の人間のポーズ推定(GHPE)と野生における人間とシーンの相互作用の研究を容易にする。 LiDARとカメラを統合したヘッドマウントデバイスを用いて、エゴセントリックな視点から10の都市シーンで12人の被験者の活動を記録する。 2Dキーポイント、3Dポーズパラメータ、グローバル翻訳のためのフレームワイドアノテーションと、再構成されたシーンポイントクラウドを提供する。 このような大きなダイナミックシーンにおいて正確な3Dグラウンド真理を得るために,局所的なSMPLメッシュをシーンに適合させ,フレームごとのダイナミックモーションフレーム中のカメラキャリブレーションを微調整する共同最適化手法を提案する。 最終的に、SLOPER4Dは15の人間の動きで構成され、それぞれ200メートル以上(最大1,300メートル)の軌道長を持ち、100K以上のLiDARフレーム、300kのビデオフレーム、500K IMUベースのモーションフレームを含む2,000ドルm^2$(最大13,000ドルm^2$)の領域をカバーする。 SLOPER4Dでは、都市環境におけるカメラベースの3D HPEとLiDARベースの3D HPEを含む2つの重要なタスクの詳細な分析と、新しいタスクであるGHPEのベンチマークを行う。 詳細な分析は、SLOPER4Dが既存の手法に重大な課題をもたらし、大きな研究機会を生み出していることを示している。 データセットとコードは \url{http://www.lidarhumanmotion.net/sloper4d/} でリリースされる。

関連論文リスト

• HiSC4D: Human-centered interaction and 4D Scene Capture in Large-scale Space Using Wearable IMUs and LiDAR [43.43745311617461]
  我々は,Human-centered Interactionと4D Scene Capture法であるHiSC4Dを紹介する。 ボディマウントのIMUとヘッドマウントのLiDARを利用することで、HiSC4Dは非拘束空間における自我中心の人間の動きを捉えることができる。 4つの大きなシーン(200〜5000ドル)に8つのシーケンスを含むデータセットを提示し、正確な4次元動作の36kフレームを提供する。
  論文  参考訳（メタデータ） (2024-09-06T16:43:04Z)
• Habitat Synthetic Scenes Dataset (HSSD-200): An Analysis of 3D Scene Scale and Realism Tradeoffs for ObjectGoal Navigation [70.82403156865057]
  本研究では,合成3次元シーン・データセット・スケールとリアリズムが,オブジェクトの探索とナビゲートを行う具体的エージェントの訓練作業に与える影響について検討する。 我々の実験によると、我々の小規模データセットで訓練されたエージェントは、はるかに大きなデータセットで訓練されたエージェントと一致するか、より優れています。
  論文  参考訳（メタデータ） (2023-06-20T05:07:23Z)
• TRACE: 5D Temporal Regression of Avatars with Dynamic Cameras in 3D Environments [106.80978555346958]
  現在の方法では、地球上の座標で動く人間を確実に推定することはできない。 TRACEは、ダイナミックカメラからグローバル座標における3D人間の共同回収と追跡を行う最初の1段階の手法である。 トラッキングとHPSベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-06-05T13:00:44Z)
• CIRCLE: Capture In Rich Contextual Environments [69.97976304918149]
  そこで我々は,アクターが仮想世界において知覚し,操作する新たな動き獲得システムを提案する。 9つのシーンにわたる5人の被験者から10時間のフルボディ到達動作を含むデータセットであるCIRCLEを提示する。 このデータセットを用いて、シーン情報に基づいて人間の動きを生成するモデルを訓練する。
  論文  参考訳（メタデータ） (2023-03-31T09:18:12Z)
• Scene-Aware 3D Multi-Human Motion Capture from a Single Camera [83.06768487435818]
  静止カメラで記録された1枚のRGBビデオから、シーン内の複数の人間の3次元位置を推定し、その身体形状と調音を推定する問題を考察する。 コンピュータビジョンの最近の進歩を,2次元の人体関節,関節角度,正規化不均等マップ,人間のセグメンテーションマスクなど,様々なモダリティのための大規模事前訓練モデルを用いて活用している。 特に,2次元の関節と関節角度を用いた正規化不均等予測から,シーン深度とユニークな人格尺度を推定する。
  論文  参考訳（メタデータ） (2023-01-12T18:01:28Z)
• Embodied Scene-aware Human Pose Estimation [25.094152307452]
  シーン認識型人間のポーズ推定手法を提案する。 本手法は, シミュレーション環境下でのグローバルな3次元人間のポーズを再現し, 因果関係の1段階である。
  論文  参考訳（メタデータ） (2022-06-18T03:50:19Z)
• HSC4D: Human-centered 4D Scene Capture in Large-scale Indoor-outdoor Space Using Wearable IMUs and LiDAR [51.9200422793806]
  ボディマウントのIMUとLiDARのみを使用することで、HSC4Dは外部機器の制約なしに空間自由となり、マップ無しで事前に構築された地図を作成できる。 人間と環境の関係も研究され、対話をより現実的なものにしている。
  論文  参考訳（メタデータ） (2022-03-17T10:05:55Z)
• Human POSEitioning System (HPS): 3D Human Pose Estimation and Self-localization in Large Scenes from Body-Mounted Sensors [71.29186299435423]
  HPS(Human POSEitioning System)は、周囲の環境の3Dスキャンで登録された人間の完全な3Dポーズを回復する手法です。 最適化に基づく統合は2つの利点を生かし、結果としてドリフトのないポーズの精度が得られることを示す。 hpsは、人間が外部カメラに直接視線を向けなくてもシーンと対話できるvr/arアプリケーションとして使用できる。
  論文  参考訳（メタデータ） (2021-03-31T17:58:31Z)
• Synergetic Reconstruction from 2D Pose and 3D Motion for Wide-Space Multi-Person Video Motion Capture in the Wild [3.0015034534260665]
  マルチカメラの精度と滑らかさを考慮したマーカーレスモーションキャプチャ手法を提案する。 提案手法は,各人物の3Dポーズを予測し,マルチカメラ画像のバウンディングボックスを決定する。 提案手法を,様々なデータセットと実スポーツフィールドを用いて評価した。
  論文  参考訳（メタデータ） (2020-01-16T02:14:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。