論文の概要: EgoPoser: Robust Real-Time Ego-Body Pose Estimation in Large Scenes
- arxiv url: http://arxiv.org/abs/2308.06493v2
- Date: Thu, 17 Aug 2023 14:50:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-21 22:06:13.518609
- Title: EgoPoser: Robust Real-Time Ego-Body Pose Estimation in Large Scenes
- Title(参考訳): egoposer: 大きなシーンでロバストなリアルタイム ego-body ポーズ推定
- Authors: Jiaxi Jiang, Paul Streli, Manuel Meier, Christian Holz
- Abstract要約: ヘッドポーズとハンドポーズだけでのフルボディのエゴ位置推定は、ヘッドセットベースのプラットフォーム上でのアバター表現を効果的に活用するための研究の活発な領域となっている。
本稿では,ヘッドセットを用いたエゴ位置推定のための入力表現を再考し,新しい動作分解法を導入することで,これらの制約を克服するEgoPoserを提案する。
実験の結果,EgoPoserは600fps以上の高速な推論速度を維持しながら,定性的かつ定量的に最先端の手法より優れていることがわかった。
- 参考スコア(独自算出の注目度): 32.54969563469422
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Full-body ego-pose estimation from head and hand poses alone has become an
active area of research to power articulate avatar representation on
headset-based platforms. However, existing methods over-rely on the confines of
the motion-capture spaces in which datasets were recorded, while simultaneously
assuming continuous capture of joint motions and uniform body dimensions. In
this paper, we propose EgoPoser, which overcomes these limitations by 1)
rethinking the input representation for headset-based ego-pose estimation and
introducing a novel motion decomposition method that predicts full-body pose
independent of global positions, 2) robustly modeling body pose from
intermittent hand position and orientation tracking only when inside a
headset's field of view, and 3) generalizing across various body sizes for
different users. Our experiments show that EgoPoser outperforms
state-of-the-art methods both qualitatively and quantitatively, while
maintaining a high inference speed of over 600 fps. EgoPoser establishes a
robust baseline for future work, where full-body pose estimation needs no
longer rely on outside-in capture and can scale to large-scene environments.
- Abstract(参考訳): 頭と手のポーズだけでの全身のエゴポス推定は、ヘッドセットベースのプラットフォーム上でアバター表現を明瞭に表現する研究の活発な分野となっている。
しかし、既存の手法は、データセットが記録されたモーションキャプチャ空間の閉じ込めを過度に考慮し、同時に関節運動と一様体次元の連続的な捕獲を仮定する。
本稿では,これらの制限を克服するEgoPoserを提案する。
1)ヘッドセットを用いたエゴポーズ推定のための入力表現の再検討と,グローバルな位置に依存しない全身姿勢を予測する新しい動き分解法の導入
2)ヘッドセットの視野内でのみ、間欠的な手の位置と方向追跡から体ポーズを頑健にモデル化し、
3) 異なるユーザに対して,様々なボディサイズを一般化する。
実験の結果,egoposerは600fps以上の高い推定速度を維持しつつ,定性的かつ定量的に最先端の手法を上回ることがわかった。
egoposerは、フルボディのポーズ推定がもはや外部からのキャプチャに依存しず、大規模な環境にスケールできるような、将来の作業のための堅牢なベースラインを確立する。
関連論文リスト
- 3D Human Pose Perception from Egocentric Stereo Videos [74.23741075104166]
我々は,エゴセントリックな立体3次元ポーズ推定を改善するためのトランスフォーマーベースの新しいフレームワークを提案する。
本手法は, しゃがんだり座ったりといった困難なシナリオにおいても, 人間のポーズを正確に推定することができる。
私たちはUnrealEgo2、UnrealEgo-RW、およびトレーニングされたモデルをプロジェクトページでリリースします。
論文 参考訳(メタデータ) (2023-12-30T21:21:54Z) - EgoHumans: An Egocentric 3D Multi-Human Benchmark [37.375846688453514]
EgoHumansは、エゴセントリックな人間の3Dポーズ推定と追跡の最先端化を図るために、新しいマルチビューマルチヒューマンビデオベンチマークである。
本研究では,エゴセントリックなマルチヒューマン・ベンチマークを構築するために,新しい3Dキャプチャ・セットアップを提案する。
コンシューマグレードのウェアラブルカメラ搭載メガネを、エゴセントリックな視点に活用することで、テニス、フェンシング、バレーボールなどのダイナミックな活動を捉えることができます。
論文 参考訳(メタデータ) (2023-05-25T21:37:36Z) - Ego-Body Pose Estimation via Ego-Head Pose Estimation [22.08240141115053]
エゴセントリックなビデオシーケンスから3次元の人間の動きを推定することは、人間の行動理解において重要な役割を担い、VR/ARに様々な応用がある。
Ego-Head Pose Estimation (EgoEgo) と呼ばれる新しい手法を提案する。
この頭と体のポーズのゆがみは、ペア化されたエゴセントリックなビデオと3D人間の動きでデータセットをトレーニングする必要をなくす。
論文 参考訳(メタデータ) (2022-12-09T02:25:20Z) - UnrealEgo: A New Dataset for Robust Egocentric 3D Human Motion Capture [70.59984501516084]
UnrealEgoは、エゴセントリックな3Dポーズ推定のための、新しい大規模博物学データセットである。
これは、2台の魚眼カメラを備えた高度な眼鏡のコンセプトに基づいており、制約のない環境で使用することができる。
本稿では,ステレオ入力のための2次元キーポイント推定モジュールを考案し,人間のポーズ推定を改善するための簡易かつ効果的なベンチマーク手法を提案する。
論文 参考訳(メタデータ) (2022-08-02T17:59:54Z) - Estimating Egocentric 3D Human Pose in the Wild with External Weak
Supervision [72.36132924512299]
本稿では,大規模な自己中心型データセットでトレーニング可能な,新たな自己中心型ポーズ推定手法を提案する。
本研究では,事前学習された外部視点のポーズ推定モデルにより抽出された高品質な特徴を用いて,エゴセントリックな特徴を監督する新しい学習戦略を提案する。
実験により,本手法は,1つの画像から正確な3Dポーズを予測し,定量的,定性的に,最先端の手法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2022-01-20T00:45:13Z) - EgoBody: Human Body Shape, Motion and Social Interactions from
Head-Mounted Devices [76.50816193153098]
EgoBodyは複雑な3Dシーンにおけるソーシャルインタラクションのための新しい大規模データセットである。
私たちはMicrosoft HoloLens2ヘッドセットを使って、RGB、奥行き、視線、頭と手のトラッキングなど、リッチなエゴセントリックなデータストリームを記録しています。
正確な3Dグラウンドトルースを得るため、マルチKinectリグでヘッドセットを校正し、多視点RGB-Dフレームに表現力のあるSMPL-Xボディーメッシュを適合させる。
論文 参考訳(メタデータ) (2021-12-14T18:41:28Z) - Estimating Egocentric 3D Human Pose in Global Space [70.7272154474722]
本稿では,魚眼カメラを用いた自己中心型3次元体姿勢推定法を提案する。
提案手法は, 定量的, 定性的に, 最先端の手法より優れている。
論文 参考訳(メタデータ) (2021-04-27T20:01:57Z) - SelfPose: 3D Egocentric Pose Estimation from a Headset Mounted Camera [97.0162841635425]
頭部装着型VR装置の縁に設置した下向きの魚眼カメラから撮影した単眼画像から,エゴセントリックな3Dボディポーズ推定法を提案する。
この特異な視点は、厳密な自己閉塞と視点歪みを伴う、独特の視覚的な外観のイメージに繋がる。
本稿では,2次元予測の不確実性を考慮した新しいマルチブランチデコーダを用いたエンコーダデコーダアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-11-02T16:18:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。