論文の概要: EgoPoser: Robust Real-Time Egocentric Pose Estimation from Sparse and Intermittent Observations Everywhere
- arxiv url: http://arxiv.org/abs/2308.06493v3
- Date: Fri, 6 Sep 2024 11:28:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-09 21:08:19.020429
- Title: EgoPoser: Robust Real-Time Egocentric Pose Estimation from Sparse and Intermittent Observations Everywhere
- Title（参考訳）: EgoPoser: スパースと間欠的な観測から各地におけるロバストリアルタイムEgocentric Poseの推定
- Authors: Jiaxi Jiang, Paul Streli, Manuel Meier, Christian Holz,
- Abstract要約: EgoPoserは、ヘッドセットの視野内でのみ、間欠的な手の位置と方向追跡から体ポーズを頑健にモデル化する。
本研究では,グローバルな位置から独立して全身のポーズを予測する新しいグローバルな動き分解手法を提案する。
本研究では,本手法を実験的に評価し,定性的に,定量的に,最先端の手法よりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 29.795731025552957
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Full-body egocentric pose estimation from head and hand poses alone has become an active area of research to power articulate avatar representations on headset-based platforms. However, existing methods over-rely on the indoor motion-capture spaces in which datasets were recorded, while simultaneously assuming continuous joint motion capture and uniform body dimensions. We propose EgoPoser to overcome these limitations with four main contributions. 1) EgoPoser robustly models body pose from intermittent hand position and orientation tracking only when inside a headset's field of view. 2) We rethink input representations for headset-based ego-pose estimation and introduce a novel global motion decomposition method that predicts full-body pose independent of global positions. 3) We enhance pose estimation by capturing longer motion time series through an efficient SlowFast module design that maintains computational efficiency. 4) EgoPoser generalizes across various body shapes for different users. We experimentally evaluate our method and show that it outperforms state-of-the-art methods both qualitatively and quantitatively while maintaining a high inference speed of over 600fps. EgoPoser establishes a robust baseline for future work where full-body pose estimation no longer needs to rely on outside-in capture and can scale to large-scale and unseen environments.
- Abstract（参考訳）: 頭と手のポーズだけでのフルボディの自我中心のポーズ推定は、ヘッドセットベースのプラットフォーム上でのアバター表現を力づけるための研究の活発な領域となっている。
しかし、既存の手法は、データセットが記録された屋内のモーションキャプチャー空間を過度に上回り、同時に連続的な関節運動キャプチャーと一様体次元を仮定する。
EgoPoserは4つの主要なコントリビューションでこれらの制限を克服する。
1) EgoPoserは、ヘッドセットの視野内でのみ、間欠的な手の位置と方向追跡から体ポーズを頑健にモデル化する。
2)ヘッドセットを用いたエゴ位置推定のための入力表現を再考し,グローバルな位置に依存しない全身のポーズを予測する新しいグローバルな動き分解手法を提案する。
3)より高速なSlowFastモジュール設計により,より長い動きの時系列をキャプチャすることでポーズ推定を強化し,計算効率を向上する。
4) EgoPoserは様々なユーザー向けに様々なボディ形状を一般化する。
提案手法を実験的に評価し,600fps以上の高速な推論速度を維持しながら,定性的かつ定量的に最先端の手法より優れていることを示す。
EgoPoserは、フルボディのポーズ推定がもはや外部からのキャプチャに頼る必要がなく、大規模で目に見えない環境にスケールできる、将来の作業のための堅牢なベースラインを確立する。
関連論文リスト
- Estimating Ego-Body Pose from Doubly Sparse Egocentric Video Data [16.431101717478796]
エゴボディポーズ推定の現在の手法は、時間的に密度の高いセンサデータに依存している。
本研究では,問題を時間的完備化と空間的完備化に分解する2段階のアプローチを開発する。
論文 参考訳（メタデータ） (2024-11-05T23:53:19Z) - Estimating Body and Hand Motion in an Ego-sensed World [64.08911275906544]
頭部装着装置から人体の動きを推定するシステムであるEgoAlloについて述べる。
エゴセントリックなSLAMポーズとイメージのみを使用して、EgoAlloは条件付き拡散モデルからサンプリングを行い、3Dボディポーズ、高さ、手のパラメータを推定する。
論文 参考訳（メタデータ） (2024-10-04T17:59:57Z) - 3D Human Pose Perception from Egocentric Stereo Videos [67.9563319914377]
我々は,エゴセントリックな立体3次元ポーズ推定を改善するためのトランスフォーマーベースの新しいフレームワークを提案する。
本手法は, しゃがんだり座ったりといった困難なシナリオにおいても, 人間のポーズを正確に推定することができる。
私たちはUnrealEgo2、UnrealEgo-RW、およびトレーニングされたモデルをプロジェクトページでリリースします。
論文 参考訳（メタデータ） (2023-12-30T21:21:54Z) - Ego-Body Pose Estimation via Ego-Head Pose Estimation [22.08240141115053]
エゴセントリックなビデオシーケンスから3次元の人間の動きを推定することは、人間の行動理解において重要な役割を担い、VR/ARに様々な応用がある。
Ego-Head Pose Estimation (EgoEgo) と呼ばれる新しい手法を提案する。
この頭と体のポーズのゆがみは、ペア化されたエゴセントリックなビデオと3D人間の動きでデータセットをトレーニングする必要をなくす。
論文 参考訳（メタデータ） (2022-12-09T02:25:20Z) - A Spatio-Temporal Multilayer Perceptron for Gesture Recognition [70.34489104710366]
自律走行車におけるジェスチャー認識のための多層状態重み付きパーセプトロンを提案する。
提案手法の有望な性能を示すため,TCGおよびDrive&Actデータセットの評価を行った。
私たちは、そのリアルタイム能力と安定した実行を示すために、モデルを自動運転車にデプロイします。
論文 参考訳（メタデータ） (2022-04-25T08:42:47Z) - Estimating Egocentric 3D Human Pose in the Wild with External Weak
Supervision [72.36132924512299]
本稿では,大規模な自己中心型データセットでトレーニング可能な,新たな自己中心型ポーズ推定手法を提案する。
本研究では,事前学習された外部視点のポーズ推定モデルにより抽出された高品質な特徴を用いて,エゴセントリックな特徴を監督する新しい学習戦略を提案する。
実験により,本手法は,1つの画像から正確な3Dポーズを予測し,定量的,定性的に,最先端の手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2022-01-20T00:45:13Z) - Estimating Egocentric 3D Human Pose in Global Space [70.7272154474722]
本稿では,魚眼カメラを用いた自己中心型3次元体姿勢推定法を提案する。
提案手法は, 定量的, 定性的に, 最先端の手法より優れている。
論文 参考訳（メタデータ） (2021-04-27T20:01:57Z) - SelfPose: 3D Egocentric Pose Estimation from a Headset Mounted Camera [97.0162841635425]
頭部装着型VR装置の縁に設置した下向きの魚眼カメラから撮影した単眼画像から,エゴセントリックな3Dボディポーズ推定法を提案する。
この特異な視点は、厳密な自己閉塞と視点歪みを伴う、独特の視覚的な外観のイメージに繋がる。
本稿では,2次元予測の不確実性を考慮した新しいマルチブランチデコーダを用いたエンコーダデコーダアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-11-02T16:18:06Z) - Deep Reinforcement Learning for Active Human Pose Estimation [35.229529080763925]
完全トレーニング可能な深層強化学習型アクティブポーズ推定アーキテクチャであるPose-DRLを紹介する。
提案モデルでは,強い多視点ベースラインと比較して,より正確なポーズ推定を行う視点を選択することを学習している。
論文 参考訳（メタデータ） (2020-01-07T13:35:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。