論文の概要: Estimating Body and Hand Motion in an Ego-sensed World

• arxiv url: http://arxiv.org/abs/2410.03665v1
• Date: Thu, 17 Oct 2024 20:51:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 20:48:16.561860
• Title: Estimating Body and Hand Motion in an Ego-sensed World
• Title（参考訳）: エゴ感の世界における身体と手の動きの推定
• Authors: Brent Yi, Vickie Ye, Maya Zheng, Lea Müller, Georgios Pavlakos, Yi Ma, Jitendra Malik, Angjoo Kanazawa,
• Abstract要約: 頭部装着装置から人体の動きを推定するシステムであるEgoAlloについて述べる。 エゴセントリックなSLAMポーズとイメージのみを使用して、EgoAlloは条件付き拡散モデルからサンプリングを行い、3Dボディポーズ、高さ、手のパラメータを推定する。
• 参考スコア（独自算出の注目度）: 64.08911275906544
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present EgoAllo, a system for human motion estimation from a head-mounted device. Using only egocentric SLAM poses and images, EgoAllo guides sampling from a conditional diffusion model to estimate 3D body pose, height, and hand parameters that capture the wearer's actions in the allocentric coordinate frame of the scene. To achieve this, our key insight is in representation: we propose spatial and temporal invariance criteria for improving model performance, from which we derive a head motion conditioning parameterization that improves estimation by up to 18%. We also show how the bodies estimated by our system can improve the hands: the resulting kinematic and temporal constraints result in over 40% lower hand estimation errors compared to noisy monocular estimates. Project page: https://egoallo.github.io/
• Abstract（参考訳）: 頭部装着装置から人体の動きを推定するシステムであるEgoAlloについて述べる。 エゴセントリックなSLAMポーズとイメージのみを使用して、EgoAlloは条件付き拡散モデルからサンプリングし、3Dボディポーズ、高さ、手のパラメータを推定し、シーンのアロセント座標フレームにおける着用者のアクションをキャプチャする。 そこで我々は,モデル性能を改善するための空間的および時間的不変性基準を提案し,最大18%の見積もりを改善する頭部運動条件パラメータ化を導出する。 また,本システムにより推定された身体が手首を改良できることを示す。運動的および時間的制約の結果,ノイズ単分子推定よりも40%以上の手指推定誤差が生じる。 プロジェクトページ: https://egoallo.github.io/

関連論文リスト

• Estimating Ego-Body Pose from Doubly Sparse Egocentric Video Data [16.431101717478796]
  エゴボディポーズ推定の現在の手法は、時間的に密度の高いセンサデータに依存している。 本研究では,問題を時間的完備化と空間的完備化に分解する2段階のアプローチを開発する。
  論文  参考訳（メタデータ） (2024-11-05T23:53:19Z)
• 3D Human Pose Perception from Egocentric Stereo Videos [67.9563319914377]
  我々は,エゴセントリックな立体3次元ポーズ推定を改善するためのトランスフォーマーベースの新しいフレームワークを提案する。 本手法は, しゃがんだり座ったりといった困難なシナリオにおいても, 人間のポーズを正確に推定することができる。 私たちはUnrealEgo2、UnrealEgo-RW、およびトレーニングされたモデルをプロジェクトページでリリースします。
  論文  参考訳（メタデータ） (2023-12-30T21:21:54Z)
• HMP: Hand Motion Priors for Pose and Shape Estimation from Video [52.39020275278984]
  我々は,多種多様な高品質の手の動きを特徴とするAMASSデータセットに基づいて,手動に特有な生成動作を開発する。 頑健な動きの統合は、特に隠蔽されたシナリオにおいて、パフォーマンスを著しく向上させる。 HO3DおよびDexYCBデータセットの質的および定量的評価により,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-12-27T22:35:33Z)
• Egocentric Whole-Body Motion Capture with FisheyeViT and Diffusion-Based Motion Refinement [65.08165593201437]
  本研究では,人体と手の動きを同時に推定する単一魚眼カメラを用いて,自我中心型全体モーションキャプチャーを探索する。 この課題は、高品質なデータセットの欠如、魚眼カメラの歪み、人間の身体の自己閉塞など、重大な課題を提起する。 そこで本研究では,魚眼画像の特徴を3次元人体ポーズ予測のための3次元熱マップ表現に変換した魚眼画像の特徴を抽出する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-28T07:13:47Z)
• EgoPoser: Robust Real-Time Egocentric Pose Estimation from Sparse and Intermittent Observations Everywhere [29.795731025552957]
  EgoPoserは、ヘッドセットの視野内でのみ、間欠的な手の位置と方向追跡から体ポーズを頑健にモデル化する。 本研究では,グローバルな位置から独立して全身のポーズを予測する新しいグローバルな動き分解手法を提案する。 本研究では,本手法を実験的に評価し,定性的に,定量的に,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-12T07:46:50Z)
• Ego-Body Pose Estimation via Ego-Head Pose Estimation [22.08240141115053]
  エゴセントリックなビデオシーケンスから3次元の人間の動きを推定することは、人間の行動理解において重要な役割を担い、VR/ARに様々な応用がある。 Ego-Head Pose Estimation (EgoEgo) と呼ばれる新しい手法を提案する。 この頭と体のポーズのゆがみは、ペア化されたエゴセントリックなビデオと3D人間の動きでデータセットをトレーニングする必要をなくす。
  論文  参考訳（メタデータ） (2022-12-09T02:25:20Z)
• Building Spatio-temporal Transformers for Egocentric 3D Pose Estimation [9.569752078386006]
  過去のフレームからの情報を活用して、自己注意に基づく3D推定手順であるEgo-STANをガイドします。 具体的には、セマンティックにリッチな畳み込みニューラルネットワークに基づく特徴マップに付随する時間変換モデルを構築する。 我々は,xR-EgoPoseデータセットにおいて,Ego-STANの優れた性能を示す。
  論文  参考訳（メタデータ） (2022-06-09T22:33:27Z)
• Estimating Egocentric 3D Human Pose in the Wild with External Weak Supervision [72.36132924512299]
  本稿では,大規模な自己中心型データセットでトレーニング可能な,新たな自己中心型ポーズ推定手法を提案する。 本研究では,事前学習された外部視点のポーズ推定モデルにより抽出された高品質な特徴を用いて,エゴセントリックな特徴を監督する新しい学習戦略を提案する。 実験により,本手法は,1つの画像から正確な3Dポーズを予測し,定量的,定性的に,最先端の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-01-20T00:45:13Z)
• SelfPose: 3D Egocentric Pose Estimation from a Headset Mounted Camera [97.0162841635425]
  頭部装着型VR装置の縁に設置した下向きの魚眼カメラから撮影した単眼画像から,エゴセントリックな3Dボディポーズ推定法を提案する。 この特異な視点は、厳密な自己閉塞と視点歪みを伴う、独特の視覚的な外観のイメージに繋がる。 本稿では,2次元予測の不確実性を考慮した新しいマルチブランチデコーダを用いたエンコーダデコーダアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-11-02T16:18:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。