論文の概要: EgoEV-HandPose: Egocentric 3D Hand Pose Estimation and Gesture Recognition with Stereo Event Cameras
- arxiv url: http://arxiv.org/abs/2605.12297v1
- Date: Tue, 12 May 2026 15:51:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 21:48:56.984067
- Title: EgoEV-HandPose: Egocentric 3D Hand Pose Estimation and Gesture Recognition with Stereo Event Cameras
- Title（参考訳）: EgoEV-HandPose:ステレオイベントカメラによる3Dハンドポース推定とジェスチャー認識
- Authors: Luming Wang, Hao Shi, Jiajun Zhai, Kailun Yang, Kaiwei Wang,
- Abstract要約: EgoEV-HandPoseはステレオイベントストリームからの2次元ポーズ推定とジェスチャー認識のためのエンドツーエンドフレームワークである。
EgoEVHandsは、エゴセントリックな手認識のための、最初の大規模な現実世界のステレオイベントカメラデータセットである。
- 参考スコア（独自算出の注目度）: 27.55657128726312
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Egocentric 3D hand pose estimation and gesture recognition are essential for immersive augmented/virtual reality, human-computer interaction, and robotics. However, conventional frame-based cameras suffer from motion blur and limited dynamic range, while existing event-based methods are hindered by ego-motion interference, monocular depth ambiguity, and the lack of large-scale real-world stereo datasets. To overcome these limitations, we propose EgoEV-HandPose, an end-to-end framework for joint 3D bimanual pose estimation and gesture recognition from stereo event streams. Central to our approach is KeypointBEV, a flexible stereo fusion module that lifts features into a canonical bird's-eye-view space and employs an iterative reprojection-guided refinement loop to progressively resolve depth uncertainty and enforce kinematic consistency. In addition, we introduce EgoEVHands, the first large-scale real-world stereo event-camera dataset for egocentric hand perception, containing 5,419 annotated sequences with dense 3D/2D keypoints across 38 gesture classes under varying illumination. Extensive experiments demonstrate that EgoEV-HandPose achieves state-of-the-art performance with an MPJPE of 30.54mm and 86.87% Top-1 gesture recognition accuracy, significantly outperforming RGB-based stereo and prior event-camera methods, particularly in low-light and bimanual occlusion scenarios, thereby setting a new benchmark for event-based egocentric perception. The established dataset and source code will be publicly released at https://github.com/ZJUWang01/EgoEV-HandPose.
- Abstract（参考訳）: エゴセントリックな3D手ポーズ推定とジェスチャー認識は、没入型拡張現実、人間とコンピュータの相互作用、ロボット工学に不可欠である。
しかし、従来のフレームベースのカメラは動きのぼやけやダイナミックレンジの制限に悩まされており、既存のイベントベースの手法は、エゴモーション干渉、単眼深度あいまいさ、大規模現実世界のステレオデータセットの欠如によって妨げられている。
これらの制約を克服するために,ステレオイベントストリームからの2次元ポーズ推定とジェスチャー認識のためのエンドツーエンドフレームワークであるEgoEV-HandPoseを提案する。
当社のアプローチの中心にあるのはKeypointBEVという,標準的な鳥眼視空間に特徴を持ち上げる柔軟なステレオ融合モジュールで,段階的に深度不確かさを解消し,キネマティック一貫性を強制する反復的再投射誘導改良ループを採用している。
さらにEgoEVHandsは,エゴセントリックな手認識のための,最初の大規模実世界のステレオ・イベント・カメラ・データセットであり,38のジェスチャー・クラスにおいて,高密度な3D/2Dキーポイントを持つ5,419個の注釈付きシーケンスを含む。
EgoEV-HandPoseは30.54mmのMPJPEと86.87%のTop-1ジェスチャ認識精度で最先端のパフォーマンスを達成し、特に低照度および双対オクルージョンシナリオにおいて、RGBベースのステレオおよび以前のイベントカメラ手法を大幅に上回った。
確立されたデータセットとソースコードはhttps://github.com/ZJUWang01/EgoEV-HandPoseで公開される。
関連論文リスト
- EgoForce: Forearm-Guided Camera-Space 3D Hand Pose from a Monocular Egocentric Camera [40.28396219356337]
EgoForceは、頑丈で絶対的な3Dハンドポーズを復元する、単眼の3Dハンドコンストラクションフレームワークである。
魚眼、視界、歪んだ広視野のカメラモデルを単一の統一ネットワークで運用する。
EgoForceは最先端の3D精度を実現し、カメラ空間のMPJPEを最大28%削減する。
論文 参考訳（メタデータ） (2026-05-12T17:59:56Z) - SHOW3D: Capturing Scenes of 3D Hands and Objects in the Wild [17.556955295385908]
既存のハンドオブジェクトインタラクションデータセットは、主にコントロールされたスタジオ設定でキャプチャされる。
そこで本研究では,非拘束の移動性を実現するためのマーカーレスマルチカメラシステムを提案する。
SHOW3Dは3Dアノテーションを付加した最初の大規模データセットであり、様々な現実世界環境におけるオブジェクトとのインタラクションを示す。
論文 参考訳（メタデータ） (2026-03-30T17:58:27Z) - Controllable Egocentric Video Generation via Occlusion-Aware Sparse 3D Hand Joints [87.13154261503168]
モーションコントロール可能なビデオ生成は、仮想現実と組み込みAIにおけるエゴセントリックなアプリケーションに不可欠である。
既存の手法は、しばしば3D一貫性のきめ細かい手話を実現するのに苦労する。
単一の参照フレームからエゴセントリックなビデオを生成する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-12T10:02:23Z) - Ego-Exo 3D Hand Tracking in the Wild with a Mobile Multi-Camera Rig [14.496137517475743]
高精度な3次元手や物体を撮像する新しいマーカーレスマルチカメラシステムを提案する。
軽量でバックマウントのキャプチャ・リグと8台のエキゾセントリックカメラ、そして2つのエゴセントリックなビューを提供するMeta Quest 3ヘッドセットを組み合わせています。
我々は、同期したマルチビュー画像と正確な3Dハンドポーズを備えた注釈付きデータセットを収集する。
論文 参考訳（メタデータ） (2025-10-02T22:26:03Z) - EgoEvGesture: Gesture Recognition Based on Egocentric Event Camera [17.61884467264023]
本稿では,イベントデータ処理に特化して設計された新しいネットワークアーキテクチャを提案する。
イベントカメラを用いたエゴセントリックなジェスチャー認識のための,最初の大規模データセットを構築した。
本手法は,7Mパラメータのみの未確認被験者に対して62.7%の精度を達成し,最先端手法よりも3.1%高い精度を示した。
論文 参考訳（メタデータ） (2025-03-16T09:08:02Z) - Dyn-HaMR: Recovering 4D Interacting Hand Motion from a Dynamic Camera [49.82535393220003]
Dyn-HaMRは、野生のダイナミックカメラで撮影されたモノクロビデオから4Dグローバルハンドモーションを再構築する最初のアプローチである。
提案手法は,4次元メッシュ・リカバリにおいて最先端の手法を著しく上回ることを示す。
これにより、動くカメラでモノクロビデオから手の動きを復元するための新しいベンチマークが確立される。
論文 参考訳（メタデータ） (2024-12-17T12:43:10Z) - HMP: Hand Motion Priors for Pose and Shape Estimation from Video [52.39020275278984]
我々は,多種多様な高品質の手の動きを特徴とするAMASSデータセットに基づいて,手動に特有な生成動作を開発する。
頑健な動きの統合は、特に隠蔽されたシナリオにおいて、パフォーマンスを著しく向上させる。
HO3DおよびDexYCBデータセットの質的および定量的評価により,本手法の有効性を実証する。
論文 参考訳（メタデータ） (2023-12-27T22:35:33Z) - UnrealEgo: A New Dataset for Robust Egocentric 3D Human Motion Capture [70.59984501516084]
UnrealEgoは、エゴセントリックな3Dポーズ推定のための、新しい大規模博物学データセットである。
これは、2台の魚眼カメラを備えた高度な眼鏡のコンセプトに基づいており、制約のない環境で使用することができる。
本稿では,ステレオ入力のための2次元キーポイント推定モジュールを考案し,人間のポーズ推定を改善するための簡易かつ効果的なベンチマーク手法を提案する。
論文 参考訳（メタデータ） (2022-08-02T17:59:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。