論文の概要: Everybody Tracking Every Body
- arxiv url: http://arxiv.org/abs/2608.29927v1
- Date: Sun, 30 Aug 2026 17:42:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.120671
- Title: Everybody Tracking Every Body
- Title(参考訳): 全員の身体追跡
- Abstract要約: 本研究では,集中的な協調を伴う自我中心的な視点から対話する複数の人物の3次元身体ポーズ推定の問題に対処する。
この動画をVIO SLAMで処理することで、宇宙空間におけるそれぞれの自撮りカメラの高品質な追跡が可能になる。
本研究では,頭部の動きに基づくポーズ推定と遠心性ポーズ観測を融合した拡散型アプローチを提案する。
- 参考スコア(独自算出の注目度): 54.76361724681694
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We address the problem of 3D body pose estimation of multiple interacting people from their egocentric views with centralized coordination. Each individual wears a camera recording egocentric video and IMU data. Processing this video with VIO SLAM provides high-quality tracking of each egocentric camera through space. The first-person view from one individual provides third-person observations of other people, although these exocentric observations are sparse, intermittent, and of highly variable reliability as both cameras and subjects move. To integrate these synchronized data streams, we propose a diffusion-based approach that fuses estimates of pose based on head motion derived from egocentric camera motion with exocentric pose observations, conditioning on both observation content and reliability. Our model is trained on a mixture of single-person motion-capture data and multi-person video in order to learn rich priors for body motion trajectories and video observation reliability. Evaluation on challenging multi-person datasets suggests our fusion approach improves over motion-only and vision-only baselines in terms of both absolute and relative pose accuracy.
- Abstract(参考訳): 集中的な協調を伴う自我中心的な視点から複数の対話する人々の3次元身体ポーズ推定の問題に対処する。
それぞれの個人は、エゴセントリックなビデオとIMUデータを記録するカメラを着用している。
この動画をVIO SLAMで処理することで、宇宙空間におけるそれぞれの自撮りカメラの高品質な追跡が可能になる。
1人の個人からの1対1の視点は、他の人々の第三者による観察を提供するが、これらの外見中心の観察は、カメラと被写体の両方が動くにつれて、希少で断続的で、信頼性の高いものである。
これらの同期データストリームを統合するために,エゴセントリックカメラの動きから導かれる頭部の動きに基づくポーズ推定を,観察内容と信頼性の両方を条件づけた拡散型アプローチを提案する。
本モデルは,身体運動軌跡と映像観察信頼性の豊富な先行情報を学習するために,一対一のモーションキャプチャーデータと多対一の動画を混合して訓練する。
挑戦的な多人数データセットの評価は、我々の融合アプローチが絶対的および相対的ポーズ精度の両面において、動きのみのベースラインと視覚のみのベースラインよりも改善されることを示唆している。
関連論文リスト
- Hand-Aware Egocentric Motion Reconstruction with Sequence-Level Context [17.735273173582716]
本稿では,頭部軌跡と間欠的に見える手探触子を直接条件とする,最初の手認識型シーケンスレベルの拡散フレームワークHaMoSを提案する。
また, 身体形状や視野といったシーケンスレベルのコンテキストが, 正確な運動再構成に不可欠であることを示す。
論文 参考訳(メタデータ) (2025-12-22T11:26:41Z) - Estimating Ego-Body Pose from Doubly Sparse Egocentric Video Data [16.431101717478796]
エゴボディポーズ推定の現在の手法は、時間的に密度の高いセンサデータに依存している。
本研究では,問題を時間的完備化と空間的完備化に分解する2段階のアプローチを開発する。
論文 参考訳(メタデータ) (2024-11-05T23:53:19Z) - Benchmarks and Challenges in Pose Estimation for Egocentric Hand Interactions with Objects [89.95728475983263]
ロボティクス、AR/VR、アクション認識、モーション生成といったタスクにおいて、自己中心的な視点からこのようなインタラクションを理解することが重要である。
我々は、AmblyHandsとARCTICデータセットに基づいたHANDS23チャレンジを、慎重に設計されたトレーニングとテストの分割に基づいて設計する。
提案手法の結果と近年のリーダーボードのベースラインに基づいて,3Dハンド(オブジェクト)再構成タスクの徹底的な解析を行う。
論文 参考訳(メタデータ) (2024-03-25T05:12:21Z) - WHAC: World-grounded Humans and Cameras [37.877565981937586]
我々は,表現的パラメトリック人間モデル(SMPL-X)と対応するカメラのポーズを共同で再現することを目指している。
WHACと呼ばれる新しいフレームワークを導入し、世界規模で表現された人間のポーズと形状の推定を容易にする。
我々は、正確に注釈付けされた人間とカメラを含む新しい合成データセットWHAC-A-Moleを提案する。
論文 参考訳(メタデータ) (2024-03-19T17:58:02Z) - Egocentric Whole-Body Motion Capture with FisheyeViT and Diffusion-Based
Motion Refinement [65.08165593201437]
本研究では,人体と手の動きを同時に推定する単一魚眼カメラを用いて,自我中心型全体モーションキャプチャーを探索する。
この課題は、高品質なデータセットの欠如、魚眼カメラの歪み、人間の身体の自己閉塞など、重大な課題を提起する。
そこで本研究では,魚眼画像の特徴を3次元人体ポーズ予測のための3次元熱マップ表現に変換した魚眼画像の特徴を抽出する手法を提案する。
論文 参考訳(メタデータ) (2023-11-28T07:13:47Z) - Ego-Body Pose Estimation via Ego-Head Pose Estimation [22.08240141115053]
エゴセントリックなビデオシーケンスから3次元の人間の動きを推定することは、人間の行動理解において重要な役割を担い、VR/ARに様々な応用がある。
Ego-Head Pose Estimation (EgoEgo) と呼ばれる新しい手法を提案する。
この頭と体のポーズのゆがみは、ペア化されたエゴセントリックなビデオと3D人間の動きでデータセットをトレーニングする必要をなくす。
論文 参考訳(メタデータ) (2022-12-09T02:25:20Z) - Estimating Egocentric 3D Human Pose in the Wild with External Weak
Supervision [72.36132924512299]
本稿では,大規模な自己中心型データセットでトレーニング可能な,新たな自己中心型ポーズ推定手法を提案する。
本研究では,事前学習された外部視点のポーズ推定モデルにより抽出された高品質な特徴を用いて,エゴセントリックな特徴を監督する新しい学習戦略を提案する。
実験により,本手法は,1つの画像から正確な3Dポーズを予測し,定量的,定性的に,最先端の手法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2022-01-20T00:45:13Z) - Enhancing Egocentric 3D Pose Estimation with Third Person Views [37.9683439632693]
本研究では,1台のウェアラブルカメラから撮影した映像から計算した人物の3次元身振り推定を強化する新しい手法を提案する。
First2Third-Poseは、最初の視点と第三視点の両方から捉えた人間の活動を描いた2000近いビデオからなる、ペア化された新しい同期データセットである。
実験により,データセットを用いて学習した多視点埋め込み空間は,任意の単視点自我中心ビデオから識別的特徴を抽出するのに有用であることが示された。
論文 参考訳(メタデータ) (2022-01-06T11:42:01Z) - GLAMR: Global Occlusion-Aware Human Mesh Recovery with Dynamic Cameras [99.07219478953982]
ダイナミックカメラで記録したモノクロビデオから3次元グローバルなヒューマンメッシュリカバリのためのアプローチを提案する。
われわれはまず,視覚的動作に基づいて隠蔽されたヒトの身体運動を自己回帰的に埋め込む,深部再生運動充填装置を提案する。
従来の研究とは対照的に,我々の手法はダイナミックカメラを用いても,一貫したグローバル座標で人間のメッシュを再構築する。
論文 参考訳(メタデータ) (2021-12-02T18:59:54Z) - Attentive and Contrastive Learning for Joint Depth and Motion Field
Estimation [76.58256020932312]
単眼視システムからシーンの3次元構造とともにカメラの動きを推定することは複雑な作業である。
モノクロ映像からの3次元物体運動場推定のための自己教師付き学習フレームワークを提案する。
論文 参考訳(メタデータ) (2021-10-13T16:45:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。