論文の概要: EgoExoMoCap: Distributed Ego-Exo Human Motion Capture
- arxiv url: http://arxiv.org/abs/2607.15868v1
- Date: Fri, 17 Jul 2026 11:31:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-20 17:56:52.836966
- Title: EgoExoMoCap: Distributed Ego-Exo Human Motion Capture
- Title（参考訳）: EgoExoMoCap: 分散Ego-Exo人間のモーションキャプチャ
- Abstract要約: ヘッドマウントデバイス(HMD)からの人間のモーションキャプチャは、現実世界の人間のモーションとインタラクションデータを取得するスケーラブルな方法を提供する。
我々は,HMDから人間の動き推定を行うために,エゴとエクソセントリックなマルチモーダル信号を共同で利用する分散フレームワークを提案する。
私たちのアプローチであるEgoExoMoCapは、2人(もしくはそれ以上)の人と同じくらいシンプルで、それぞれがスマートグラスを着用しています。
- 参考スコア（独自算出の注目度）: 38.54314764814604
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human motion capture from head-mounted devices (HMDs) offers a scalable way to acquire real-world human motion and interaction data, which is crucial for applications in embodied AI and VR/AR. Existing approaches focus on either egocentric body tracking, estimating the motion of the subject wearing the device, or exocentric tracking, capturing the movements of people in the wearer's surroundings. So far, these two paradigms have largely been explored in isolation. In this paper, we propose a novel distributed framework that jointly leverages ego- and exocentric multi-modal signals for human motion estimation from HMDs. Unlike traditional motion capture systems requiring bulky multi-camera setups or obtrusive mocap suits, our approach, EgoExoMoCap, is as simple as two (or more) people, each wearing a pair of smart glasses. The method leverages head (plus potentially wrist) tracking signals for accurate estimation of global motion in the 3D world and combines context-aware image features based on DINOv3 to achieve robustness in the presence of noise and occlusions. Extensive experiments on two in-the-wild datasets show that our approach can robustly reconstruct motion even in challenging scenarios.
- Abstract（参考訳）: ヘッドマウントデバイス(HMD)からの人間のモーションキャプチャは、実世界の人間のモーションとインタラクションデータを取得するためのスケーラブルな方法を提供する。
既存のアプローチでは、エゴセントリックな身体追跡、デバイスを装着した被験者の動きの推定、または外心的追跡に焦点が当てられ、着用者の周囲の人々の動きを捉えている。
これまでのところ、これらの2つのパラダイムは独立して研究されてきた。
本稿では,HMDの動作推定にエゴとエクソセントリックなマルチモーダル信号を併用した分散フレームワークを提案する。
従来のモーションキャプチャシステムとは違い、EgoExoMoCapというアプローチは2人(もしくはそれ以上)がスマートグラスを着用しているのと同じくらいシンプルです。
この手法は頭部(+手首)追跡信号を利用して3次元世界におけるグローバルな動きを正確に推定し、DINOv3に基づくコンテキスト認識画像特徴を組み合わせることで、ノイズや閉塞の有無の堅牢性を実現する。
2つのアプリ内データセットに対する大規模な実験は、我々のアプローチが挑戦的なシナリオであっても、動きを頑健に再構築できることを示している。
関連論文リスト
- Towards Real-World Wearable Motion Reconstruction [68.1355376294881]
地上3Dモーションと消費者グレードのセンサを同期する大規模データセットを提案する。
第2に、利用可能なセンサの任意の部分集合から動きを再構成するベースライン生成モデルWHIPを提案する。
第三に、センサの相補性について体系的な研究を行い、異なるモードが相互に相補的な関係を定量化する。
論文 参考訳（メタデータ） (2026-07-08T11:56:02Z) - Hand-Aware Egocentric Motion Reconstruction with Sequence-Level Context [17.735273173582716]
本稿では,頭部軌跡と間欠的に見える手探触子を直接条件とする,最初の手認識型シーケンスレベルの拡散フレームワークHaMoSを提案する。
また, 身体形状や視野といったシーケンスレベルのコンテキストが, 正確な運動再構成に不可欠であることを示す。
論文 参考訳（メタデータ） (2025-12-22T11:26:41Z) - Ego4o: Egocentric Human Motion Capture and Understanding from Multi-Modal Input [62.51283548975632]
この研究は、VR/ARヘッドセット、スマートグラス、携帯電話、スマートウォッチなどの消費者向けウェアラブルデバイスを使用して、人間の動きを追跡し、理解することに焦点を当てている。
Ego4o(o for omni)は,マルチモーダルなエゴセントリックインプットから人間の動きを同時に捉え,理解するための新しいフレームワークである。
論文 参考訳（メタデータ） (2025-04-11T11:18:57Z) - EgoGaussian: Dynamic Scene Understanding from Egocentric Video with 3D Gaussian Splatting [95.44545809256473]
エゴガウスアン(EgoGaussian)は、3Dシーンを同時に再構築し、RGBエゴセントリックな入力のみから3Dオブジェクトの動きを動的に追跡する手法である。
動的オブジェクトと背景再構築の品質の両面で,最先端技術と比較して大きな改善が見られた。
論文 参考訳（メタデータ） (2024-06-28T10:39:36Z) - Mocap Everyone Everywhere: Lightweight Motion Capture With Smartwatches and a Head-Mounted Camera [10.055317239956423]
本稿では2つのスマートウォッチとヘッドマウントカメラを用いた軽量で安価なモーションキャプチャー手法を提案する。
われわれの方法は、あらゆる場所でウェアラブルのモーションキャプチャーを利用できるようにし、多様な環境で3Dのフルボディモーションキャプチャーを可能にする。
論文 参考訳（メタデータ） (2024-01-01T18:56:54Z) - 3D Human Pose Perception from Egocentric Stereo Videos [67.9563319914377]
我々は,エゴセントリックな立体3次元ポーズ推定を改善するためのトランスフォーマーベースの新しいフレームワークを提案する。
本手法は, しゃがんだり座ったりといった困難なシナリオにおいても, 人間のポーズを正確に推定することができる。
私たちはUnrealEgo2、UnrealEgo-RW、およびトレーニングされたモデルをプロジェクトページでリリースします。
論文 参考訳（メタデータ） (2023-12-30T21:21:54Z) - EgoHumans: An Egocentric 3D Multi-Human Benchmark [37.375846688453514]
EgoHumansは、エゴセントリックな人間の3Dポーズ推定と追跡の最先端化を図るために、新しいマルチビューマルチヒューマンビデオベンチマークである。
本研究では,エゴセントリックなマルチヒューマン・ベンチマークを構築するために,新しい3Dキャプチャ・セットアップを提案する。
コンシューマグレードのウェアラブルカメラ搭載メガネを、エゴセントリックな視点に活用することで、テニス、フェンシング、バレーボールなどのダイナミックな活動を捉えることができます。
論文 参考訳（メタデータ） (2023-05-25T21:37:36Z) - Ego-Body Pose Estimation via Ego-Head Pose Estimation [22.08240141115053]
エゴセントリックなビデオシーケンスから3次元の人間の動きを推定することは、人間の行動理解において重要な役割を担い、VR/ARに様々な応用がある。
Ego-Head Pose Estimation (EgoEgo) と呼ばれる新しい手法を提案する。
この頭と体のポーズのゆがみは、ペア化されたエゴセントリックなビデオと3D人間の動きでデータセットをトレーニングする必要をなくす。
論文 参考訳（メタデータ） (2022-12-09T02:25:20Z) - UnrealEgo: A New Dataset for Robust Egocentric 3D Human Motion Capture [70.59984501516084]
UnrealEgoは、エゴセントリックな3Dポーズ推定のための、新しい大規模博物学データセットである。
これは、2台の魚眼カメラを備えた高度な眼鏡のコンセプトに基づいており、制約のない環境で使用することができる。
本稿では,ステレオ入力のための2次元キーポイント推定モジュールを考案し,人間のポーズ推定を改善するための簡易かつ効果的なベンチマーク手法を提案する。
論文 参考訳（メタデータ） (2022-08-02T17:59:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。