論文の概要: EgoPoser: Robust Real-Time Ego-Body Pose Estimation in Large Scenes
- arxiv url: http://arxiv.org/abs/2308.06493v2
- Date: Thu, 17 Aug 2023 14:50:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-21 22:06:13.518609
- Title: EgoPoser: Robust Real-Time Ego-Body Pose Estimation in Large Scenes
- Title（参考訳）: egoposer: 大きなシーンでロバストなリアルタイム ego-body ポーズ推定
- Authors: Jiaxi Jiang, Paul Streli, Manuel Meier, Christian Holz
- Abstract要約: ヘッドポーズとハンドポーズだけでのフルボディのエゴ位置推定は、ヘッドセットベースのプラットフォーム上でのアバター表現を効果的に活用するための研究の活発な領域となっている。
本稿では,ヘッドセットを用いたエゴ位置推定のための入力表現を再考し,新しい動作分解法を導入することで,これらの制約を克服するEgoPoserを提案する。
実験の結果,EgoPoserは600fps以上の高速な推論速度を維持しながら,定性的かつ定量的に最先端の手法より優れていることがわかった。
- 参考スコア（独自算出の注目度）: 32.54969563469422
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Full-body ego-pose estimation from head and hand poses alone has become an
active area of research to power articulate avatar representation on
headset-based platforms. However, existing methods over-rely on the confines of
the motion-capture spaces in which datasets were recorded, while simultaneously
assuming continuous capture of joint motions and uniform body dimensions. In
this paper, we propose EgoPoser, which overcomes these limitations by 1)
rethinking the input representation for headset-based ego-pose estimation and
introducing a novel motion decomposition method that predicts full-body pose
independent of global positions, 2) robustly modeling body pose from
intermittent hand position and orientation tracking only when inside a
headset's field of view, and 3) generalizing across various body sizes for
different users. Our experiments show that EgoPoser outperforms
state-of-the-art methods both qualitatively and quantitatively, while
maintaining a high inference speed of over 600 fps. EgoPoser establishes a
robust baseline for future work, where full-body pose estimation needs no
longer rely on outside-in capture and can scale to large-scene environments.
- Abstract（参考訳）: 頭と手のポーズだけでの全身のエゴポス推定は、ヘッドセットベースのプラットフォーム上でアバター表現を明瞭に表現する研究の活発な分野となっている。
しかし、既存の手法は、データセットが記録されたモーションキャプチャ空間の閉じ込めを過度に考慮し、同時に関節運動と一様体次元の連続的な捕獲を仮定する。
本稿では,これらの制限を克服するEgoPoserを提案する。
1)ヘッドセットを用いたエゴポーズ推定のための入力表現の再検討と,グローバルな位置に依存しない全身姿勢を予測する新しい動き分解法の導入
2)ヘッドセットの視野内でのみ、間欠的な手の位置と方向追跡から体ポーズを頑健にモデル化し、
3) 異なるユーザに対して,様々なボディサイズを一般化する。
実験の結果,egoposerは600fps以上の高い推定速度を維持しつつ,定性的かつ定量的に最先端の手法を上回ることがわかった。
egoposerは、フルボディのポーズ推定がもはや外部からのキャプチャに依存しず、大規模な環境にスケールできるような、将来の作業のための堅牢なベースラインを確立する。
関連論文リスト
- Estimating Ego-Body Pose from Doubly Sparse Egocentric Video Data [16.431101717478796]
エゴボディポーズ推定の現在の手法は、時間的に密度の高いセンサデータに依存している。
本研究では,問題を時間的完備化と空間的完備化に分解する2段階のアプローチを開発する。
論文 参考訳（メタデータ） (2024-11-05T23:53:19Z) - Estimating Body and Hand Motion in an Ego-sensed World [64.08911275906544]
頭部装着装置から人体の動きを推定するシステムであるEgoAlloについて述べる。
エゴセントリックなSLAMポーズとイメージのみを使用して、EgoAlloは条件付き拡散モデルからサンプリングを行い、3Dボディポーズ、高さ、手のパラメータを推定する。
論文 参考訳（メタデータ） (2024-10-04T17:59:57Z) - 3D Human Pose Perception from Egocentric Stereo Videos [67.9563319914377]
我々は,エゴセントリックな立体3次元ポーズ推定を改善するためのトランスフォーマーベースの新しいフレームワークを提案する。
本手法は, しゃがんだり座ったりといった困難なシナリオにおいても, 人間のポーズを正確に推定することができる。
私たちはUnrealEgo2、UnrealEgo-RW、およびトレーニングされたモデルをプロジェクトページでリリースします。
論文 参考訳（メタデータ） (2023-12-30T21:21:54Z) - Ego-Body Pose Estimation via Ego-Head Pose Estimation [22.08240141115053]
エゴセントリックなビデオシーケンスから3次元の人間の動きを推定することは、人間の行動理解において重要な役割を担い、VR/ARに様々な応用がある。
Ego-Head Pose Estimation (EgoEgo) と呼ばれる新しい手法を提案する。
この頭と体のポーズのゆがみは、ペア化されたエゴセントリックなビデオと3D人間の動きでデータセットをトレーニングする必要をなくす。
論文 参考訳（メタデータ） (2022-12-09T02:25:20Z) - A Spatio-Temporal Multilayer Perceptron for Gesture Recognition [70.34489104710366]
自律走行車におけるジェスチャー認識のための多層状態重み付きパーセプトロンを提案する。
提案手法の有望な性能を示すため,TCGおよびDrive&Actデータセットの評価を行った。
私たちは、そのリアルタイム能力と安定した実行を示すために、モデルを自動運転車にデプロイします。
論文 参考訳（メタデータ） (2022-04-25T08:42:47Z) - Estimating Egocentric 3D Human Pose in the Wild with External Weak
Supervision [72.36132924512299]
本稿では,大規模な自己中心型データセットでトレーニング可能な,新たな自己中心型ポーズ推定手法を提案する。
本研究では,事前学習された外部視点のポーズ推定モデルにより抽出された高品質な特徴を用いて,エゴセントリックな特徴を監督する新しい学習戦略を提案する。
実験により,本手法は,1つの画像から正確な3Dポーズを予測し,定量的,定性的に,最先端の手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2022-01-20T00:45:13Z) - Estimating Egocentric 3D Human Pose in Global Space [70.7272154474722]
本稿では,魚眼カメラを用いた自己中心型3次元体姿勢推定法を提案する。
提案手法は, 定量的, 定性的に, 最先端の手法より優れている。
論文 参考訳（メタデータ） (2021-04-27T20:01:57Z) - SelfPose: 3D Egocentric Pose Estimation from a Headset Mounted Camera [97.0162841635425]
頭部装着型VR装置の縁に設置した下向きの魚眼カメラから撮影した単眼画像から,エゴセントリックな3Dボディポーズ推定法を提案する。
この特異な視点は、厳密な自己閉塞と視点歪みを伴う、独特の視覚的な外観のイメージに繋がる。
本稿では,2次元予測の不確実性を考慮した新しいマルチブランチデコーダを用いたエンコーダデコーダアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-11-02T16:18:06Z) - Deep Reinforcement Learning for Active Human Pose Estimation [35.229529080763925]
完全トレーニング可能な深層強化学習型アクティブポーズ推定アーキテクチャであるPose-DRLを紹介する。
提案モデルでは,強い多視点ベースラインと比較して,より正確なポーズ推定を行う視点を選択することを学習している。
論文 参考訳（メタデータ） (2020-01-07T13:35:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。