論文の概要: EgoBody: Human Body Shape, Motion and Social Interactions from Head-Mounted Devices

• arxiv url: http://arxiv.org/abs/2112.07642v1
• Date: Tue, 14 Dec 2021 18:41:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-15 14:39:48.358483
• Title: EgoBody: Human Body Shape, Motion and Social Interactions from Head-Mounted Devices
• Title（参考訳）: EgoBody:ヘッドマウントデバイスによる人体形状、運動、社会的相互作用
• Authors: Siwei Zhang, Qianli Ma, Yan Zhang, Zhiyin Qian, Marc Pollefeys, Federica Bogo, Siyu Tang
• Abstract要約: EgoBodyは複雑な3Dシーンにおけるソーシャルインタラクションのための新しい大規模データセットである。 私たちはMicrosoft HoloLens2ヘッドセットを使って、RGB、奥行き、視線、頭と手のトラッキングなど、リッチなエゴセントリックなデータストリームを記録しています。 正確な3Dグラウンドトルースを得るため、マルチKinectリグでヘッドセットを校正し、多視点RGB-Dフレームに表現力のあるSMPL-Xボディーメッシュを適合させる。
• 参考スコア（独自算出の注目度）: 76.50816193153098
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding social interactions from first-person views is crucial for many applications, ranging from assistive robotics to AR/VR. A first step for reasoning about interactions is to understand human pose and shape. However, research in this area is currently hindered by the lack of data. Existing datasets are limited in terms of either size, annotations, ground-truth capture modalities or the diversity of interactions. We address this shortcoming by proposing EgoBody, a novel large-scale dataset for social interactions in complex 3D scenes. We employ Microsoft HoloLens2 headsets to record rich egocentric data streams (including RGB, depth, eye gaze, head and hand tracking). To obtain accurate 3D ground-truth, we calibrate the headset with a multi-Kinect rig and fit expressive SMPL-X body meshes to multi-view RGB-D frames, reconstructing 3D human poses and shapes relative to the scene. We collect 68 sequences, spanning diverse sociological interaction categories, and propose the first benchmark for 3D full-body pose and shape estimation from egocentric views. Our dataset and code will be available for research at https://sanweiliti.github.io/egobody/egobody.html.
• Abstract（参考訳）: 一人称視点から社会的相互作用を理解することは、補助ロボットからAR/VRまで、多くのアプリケーションにとって不可欠である。 相互作用について推論する最初のステップは、人間のポーズと形を理解することです。 しかし、現在この分野の研究はデータ不足によって妨げられている。 既存のデータセットはサイズ、アノテーション、基底キャプチャモード、あるいはインタラクションの多様性のいずれにおいても制限されている。 複雑な3Dシーンにおけるソーシャルインタラクションのための,新たな大規模データセットであるEgoBodyを提案することで,この問題に対処する。 私たちはMicrosoft HoloLens2ヘッドセットを使って、リッチなエゴセントリックなデータストリーム(RGB、奥行き、視線、頭と手の追跡など)を記録しています。 正確な3Dグラウンドトラスを得るため,マルチKinectリグを用いてヘッドセットをキャリブレーションし,多視点RGB-Dフレームに表現力のあるSMPL-Xボディーメッシュを適合させ,シーンに対する人間のポーズや形状を再構成する。 68のシーケンスを収集し, 多様な社会学的相互作用カテゴリにまたがり, エゴセントリックな視点から3dフルボディポーズと形状推定のための最初のベンチマークを提案する。 私たちのデータセットとコードは、https://sanweiliti.github.io/egobody/egobody.htmlで研究できます。

関連論文リスト

• 3D Human Pose Perception from Egocentric Stereo Videos [67.9563319914377]
  我々は,エゴセントリックな立体3次元ポーズ推定を改善するためのトランスフォーマーベースの新しいフレームワークを提案する。 本手法は, しゃがんだり座ったりといった困難なシナリオにおいても, 人間のポーズを正確に推定することができる。 私たちはUnrealEgo2、UnrealEgo-RW、およびトレーニングされたモデルをプロジェクトページでリリースします。
  論文  参考訳（メタデータ） (2023-12-30T21:21:54Z)
• DECO: Dense Estimation of 3D Human-Scene Contact In The Wild [54.44345845842109]
  SMPL体上の接触を推定するために、身体部分駆動とシーンコンテキスト駆動の両方の注意を用いた新しい3D接触検出器を訓練する。 すべてのベンチマークで既存のSOTAメソッドよりも大幅に優れています。 また、DECが自然画像における多様で挑戦的な現実世界の人間のインタラクションによく当てはまることを定性的に示す。
  論文  参考訳（メタデータ） (2023-09-26T21:21:07Z)
• Full-Body Articulated Human-Object Interaction [61.01135739641217]
  CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。 CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。 HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
  論文  参考訳（メタデータ） (2022-12-20T19:50:54Z)
• Ego-Body Pose Estimation via Ego-Head Pose Estimation [22.08240141115053]
  エゴセントリックなビデオシーケンスから3次元の人間の動きを推定することは、人間の行動理解において重要な役割を担い、VR/ARに様々な応用がある。 Ego-Head Pose Estimation (EgoEgo) と呼ばれる新しい手法を提案する。 この頭と体のポーズのゆがみは、ペア化されたエゴセントリックなビデオと3D人間の動きでデータセットをトレーニングする必要をなくす。
  論文  参考訳（メタデータ） (2022-12-09T02:25:20Z)
• FLEX: Full-Body Grasping Without Full-Body Grasps [24.10724524386518]
  我々は,日常の物体を把握し,人間の手と全身を仮想的に生成するタスクに対処する。 既存の方法では、オブジェクトと対話する人間の3Dデータセットを収集し、このデータに基づいてトレーニングすることで、この問題に対処する。 フルボディのポーズとハンドグルーピングの両方の存在を活用し、3次元幾何学的制約を用いて構成し、フルボディのグルーピングを得る。
  論文  参考訳（メタデータ） (2022-11-21T23:12:54Z)
• BEHAVE: Dataset and Method for Tracking Human Object Interactions [105.77368488612704]
  マルチビューのRGBDフレームとそれに対応する3D SMPLとオブジェクトをアノテートしたアノテートコンタクトに適合させる。 このデータを用いて、自然環境における人間と物体を、容易に使用可能なマルチカメラで共同で追跡できるモデルを学ぶ。
  論文  参考訳（メタデータ） (2022-04-14T13:21:19Z)
• D3D-HOI: Dynamic 3D Human-Object Interactions from Videos [49.38319295373466]
  本稿では,D3D-HOIについて紹介する。D3D-HOIは3次元オブジェクトのポーズ,形状,動きを,人間と物体の相互作用の時,地上の真理アノテーションを付加したモノクロビデオのデータセットである。 我々のデータセットは、様々な現実世界のシーンとカメラの視点から捉えた、いくつかの共通したオブジェクトで構成されている。 我々は、推定された3次元人間のポーズを利用して、物体の空間的レイアウトとダイナミクスをより正確に推定する。
  論文  参考訳（メタデータ） (2021-08-19T00:49:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。