論文の概要: Estimating Ego-Body Pose from Doubly Sparse Egocentric Video Data

• arxiv url: http://arxiv.org/abs/2411.03561v1
• Date: Tue, 05 Nov 2024 23:53:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:23:33.497333
• Title: Estimating Ego-Body Pose from Doubly Sparse Egocentric Video Data
• Title（参考訳）: Ego-Body Pose の2重疎中心映像データからの推定
• Authors: Seunggeun Chi, Pin-Hao Huang, Enna Sachdeva, Hengbo Ma, Karthik Ramani, Kwonjoon Lee,
• Abstract要約: エゴボディポーズ推定の現在の手法は、時間的に密度の高いセンサデータに依存している。 本研究では,問題を時間的完備化と空間的完備化に分解する2段階のアプローチを開発する。
• 参考スコア（独自算出の注目度）: 16.431101717478796
• License:
• Abstract: We study the problem of estimating the body movements of a camera wearer from egocentric videos. Current methods for ego-body pose estimation rely on temporally dense sensor data, such as IMU measurements from spatially sparse body parts like the head and hands. However, we propose that even temporally sparse observations, such as hand poses captured intermittently from egocentric videos during natural or periodic hand movements, can effectively constrain overall body motion. Naively applying diffusion models to generate full-body pose from head pose and sparse hand pose leads to suboptimal results. To overcome this, we develop a two-stage approach that decomposes the problem into temporal completion and spatial completion. First, our method employs masked autoencoders to impute hand trajectories by leveraging the spatiotemporal correlations between the head pose sequence and intermittent hand poses, providing uncertainty estimates. Subsequently, we employ conditional diffusion models to generate plausible full-body motions based on these temporally dense trajectories of the head and hands, guided by the uncertainty estimates from the imputation. The effectiveness of our method was rigorously tested and validated through comprehensive experiments conducted on various HMD setup with AMASS and Ego-Exo4D datasets.
• Abstract（参考訳）: 本研究では,エゴセントリックビデオからカメラ装着者の身体の動きを推定する問題について検討する。 エゴボディのポーズ推定の現在の方法は、頭や手のような空間的に疎い身体部分からのIMU測定のような、時間的に密度の高いセンサーデータに依存している。 しかし,自然あるいは周期的な手の動きにおいて,自我中心の映像から間欠的に捉えた手ポーズのような時間的に疎らな観察であっても,全身の動きを効果的に抑制できる可能性が示唆された。 頭部ポーズとスパースポーズからフルボディポーズを生成するための拡散モデルの適用は、最適以下の結果をもたらす。 そこで我々は,問題を時間的完備化と空間的完備化に分解する2段階の手法を開発した。 まず,マスク付きオートエンコーダを用いて頭部ポーズシーケンスと間欠的ポーズの時空間的相関を利用して,不確実性を推定する。 次に, 実測値からの不確かさを導いた頭部・手の時間的に密度の高い軌跡に基づいて, プラウシブルフルボディ運動を生成するために, 条件付き拡散モデルを用いた。 AMASSおよびEgo-Exo4Dデータセットを用いた各種HMDセットアップによる総合的な実験により,本手法の有効性を厳密に検証し,検証した。

関連論文リスト

• Estimating Body and Hand Motion in an Ego-sensed World [64.08911275906544]
  頭部装着装置から人体の動きを推定するシステムであるEgoAlloについて述べる。 エゴセントリックなSLAMポーズとイメージのみを使用して、EgoAlloは条件付き拡散モデルからサンプリングを行い、3Dボディポーズ、高さ、手のパラメータを推定する。
  論文  参考訳（メタデータ） (2024-10-04T17:59:57Z)
• HMP: Hand Motion Priors for Pose and Shape Estimation from Video [52.39020275278984]
  我々は,多種多様な高品質の手の動きを特徴とするAMASSデータセットに基づいて,手動に特有な生成動作を開発する。 頑健な動きの統合は、特に隠蔽されたシナリオにおいて、パフォーマンスを著しく向上させる。 HO3DおよびDexYCBデータセットの質的および定量的評価により,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-12-27T22:35:33Z)
• STRIDE: Single-video based Temporally Continuous Occlusion Robust 3D Pose Estimation [27.854074900345314]
  ビデオに先立って人間の動作に適合する新しいテストタイムトレーニング(TTT)手法であるSTRIDEを提案する。 筆者らのフレームワークは,モデルに依存しない柔軟性を示し,既製の3Dポーズ推定手法を用いて,堅牢性と時間的整合性を向上させる。 我々は、Occluded Human3.6M、Human3.6M、OCMotionのような挑戦的なデータセットに関する包括的な実験を通じてSTRIDEの有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-24T11:05:10Z)
• Egocentric Whole-Body Motion Capture with FisheyeViT and Diffusion-Based Motion Refinement [65.08165593201437]
  本研究では,人体と手の動きを同時に推定する単一魚眼カメラを用いて,自我中心型全体モーションキャプチャーを探索する。 この課題は、高品質なデータセットの欠如、魚眼カメラの歪み、人間の身体の自己閉塞など、重大な課題を提起する。 そこで本研究では,魚眼画像の特徴を3次元人体ポーズ予測のための3次元熱マップ表現に変換した魚眼画像の特徴を抽出する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-28T07:13:47Z)
• EgoPoser: Robust Real-Time Egocentric Pose Estimation from Sparse and Intermittent Observations Everywhere [29.795731025552957]
  EgoPoserは、ヘッドセットの視野内でのみ、間欠的な手の位置と方向追跡から体ポーズを頑健にモデル化する。 本研究では,グローバルな位置から独立して全身のポーズを予測する新しいグローバルな動き分解手法を提案する。 本研究では,本手法を実験的に評価し,定性的に,定量的に,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-12T07:46:50Z)
• Ego-Body Pose Estimation via Ego-Head Pose Estimation [22.08240141115053]
  エゴセントリックなビデオシーケンスから3次元の人間の動きを推定することは、人間の行動理解において重要な役割を担い、VR/ARに様々な応用がある。 Ego-Head Pose Estimation (EgoEgo) と呼ばれる新しい手法を提案する。 この頭と体のポーズのゆがみは、ペア化されたエゴセントリックなビデオと3D人間の動きでデータセットをトレーニングする必要をなくす。
  論文  参考訳（メタデータ） (2022-12-09T02:25:20Z)
• Occluded Human Body Capture with Self-Supervised Spatial-Temporal Motion Prior [7.157324258813676]
  私たちは、トレーニングとテストの両方に使用できる最初の3Dクローズドモーションデータセット(OcMotion)を構築します。 次に、空間時間層は、関節レベルの相関を学習するために設計される。 実験結果から,提案手法は,映像から高精度で一貫性のある人間の動きを生成できることが示唆された。
  論文  参考訳（メタデータ） (2022-07-12T08:15:11Z)
• Estimating Egocentric 3D Human Pose in the Wild with External Weak Supervision [72.36132924512299]
  本稿では,大規模な自己中心型データセットでトレーニング可能な,新たな自己中心型ポーズ推定手法を提案する。 本研究では,事前学習された外部視点のポーズ推定モデルにより抽出された高品質な特徴を用いて,エゴセントリックな特徴を監督する新しい学習戦略を提案する。 実験により,本手法は,1つの画像から正確な3Dポーズを予測し,定量的,定性的に,最先端の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-01-20T00:45:13Z)
• Learning Dynamics via Graph Neural Networks for Human Pose Estimation and Tracking [98.91894395941766]
  ポーズ検出とは無関係なポーズダイナミクスを学習する新しいオンライン手法を提案する。 具体的には、空間的・時間的情報と視覚的情報の両方を明示的に考慮したグラフニューラルネットワーク(GNN)を通して、このダイナミクスの予測を導出する。 PoseTrack 2017とPoseTrack 2018データセットの実験では、提案手法が人間のポーズ推定とトラッキングタスクの両方において、技術の現状よりも優れた結果が得られることを示した。
  論文  参考訳（メタデータ） (2021-06-07T16:36:50Z)
• Estimating Egocentric 3D Human Pose in Global Space [70.7272154474722]
  本稿では,魚眼カメラを用いた自己中心型3次元体姿勢推定法を提案する。 提案手法は, 定量的, 定性的に, 最先端の手法より優れている。
  論文  参考訳（メタデータ） (2021-04-27T20:01:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。