論文の概要: mmEgoHand: Egocentric Hand Pose Estimation and Gesture Recognition with Head-mounted Millimeter-wave Radar and IMU

• arxiv url: http://arxiv.org/abs/2501.13805v2
• Date: Sun, 06 Jul 2025 13:31:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.200303
• Title: mmEgoHand: Egocentric Hand Pose Estimation and Gesture Recognition with Head-mounted Millimeter-wave Radar and IMU
• Title（参考訳）: mmEgoHand:ヘッドマウントミリ波レーダとIMUを用いたエゴセントリックハンドポース推定とジェスチャー認識
• Authors: Yizhe Lv, Tingting Zhang, Zhijian Wang, Yunpeng Song, Han Ding, Jinsong Han, Fei Wang,
• Abstract要約: mmEgoHandは、手振り推定のためのヘッドマウントエゴセントリックシステムである。 ジェスチャー認識、VRインタラクション、スキルのデジタル化とアセスメント、ロボット遠隔操作などのアプリケーションをサポートする。 mmEgoHandは、動的知覚を可能にするために、mmWaveレーダーと慣性測定ユニット(IMU)を統合する。
• 参考スコア（独自算出の注目度）: 15.086294532079908
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in millimeter-wave (mmWave) radar have demonstrated its potential for human action recognition and pose estimation, offering privacy-preserving advantages over conventional cameras while maintaining occlusion robustness, with promising applications in human-computer interaction and wellness care. However, existing mmWave systems typically employ fixed-position configurations, restricting user mobility to predefined zones and limiting practical deployment scenarios. We introduce mmEgoHand, a head-mounted egocentric system for hand pose estimation to support applications such as gesture recognition, VR interaction, skill digitization and assessment, and robotic teleoperation. mmEgoHand synergistically integrates mmWave radar with inertial measurement units (IMUs) to enable dynamic perception. The IMUs actively compensate for radar interference induced by head movements, while our novel end-to-end Transformer architecture simultaneously estimates 3D hand keypoint coordinates through multi-modal sensor fusion. This dual-modality framework achieves spatial-temporal alignment of mmWave heatmaps with IMUs, overcoming viewpoint instability inherent in egocentric sensing scenarios. We further demonstrate that intermediate hand pose representations substantially improve performance in downstream task, e.g., VR gesture recognition. Extensive evaluations with 10 subjects performing 8 gestures across 3 distinct postures -- standing, sitting, lying -- achieve 90.8% recognition accuracy, outperforming state-of-the-art solutions by a large margin. Dataset and code are available at https://github.com/WhisperYi/mmVR.
• Abstract（参考訳）: 近年のミリ波レーダー(mmWave)の進歩は、人間の行動認識とポーズ推定の可能性を実証し、従来のカメラよりもプライバシー保護の優位性を提供しながら、人間とコンピュータの相互作用やウェルネスケアに有望な応用を期待している。 しかし、既存の mmWave システムは、通常、固定配置の設定を採用し、ユーザのモビリティを予め定義されたゾーンに制限し、実際のデプロイメントシナリオを制限する。 ジェスチャー認識,VRインタラクション,スキルのデジタル化と評価,ロボット遠隔操作などの応用を支援するために,手振り推定のためのヘッドマウントエゴセントリックシステムであるmmEgoHandを紹介した。 mmEgoHandは、動的知覚を可能にするために、ミリ波レーダーと慣性測定ユニット(IMU)を相乗的に統合する。 IMUは頭部の動きによって誘導されるレーダー干渉を積極的に補償する一方、新しいエンドツーエンドトランスフォーマーアーキテクチャでは、マルチモーダルセンサー融合により3次元手指キーポイント座標を同時に推定する。 この双対モダリティフレームワークは、自我中心の知覚シナリオに固有の視点不安定性を克服し、ミリ波熱マップとIMUの時空間アライメントを実現する。 さらに、中間手ポーズ表現は、例えばVRジェスチャー認識など、下流タスクのパフォーマンスを大幅に向上することを示した。 10人の被験者が3つの異なる姿勢(立位、座位、嘘)で8つのジェスチャーを実行し、90.8%の認識精度を達成し、最先端のソリューションを大きなマージンで上回った。 データセットとコードはhttps://github.com/WhisperYi/mmVR.comで入手できる。

関連論文リスト

• emg2pose: A Large and Diverse Benchmark for Surface Electromyographic Hand Pose Estimation [12.566524562446467]
  信頼性と常に利用可能な手ポーズ推論は、人間とコンピュータの相互作用に対する新しい直感的な制御スキームをもたらす可能性がある。 装着可能な手首型表面筋電図(sEMG)は有望な代替手段である。 emg2poseは、高品質の手ポーズラベルと手首のsEMGレコードの公開データセットとして最大である。
  論文  参考訳（メタデータ） (2024-12-02T23:39:37Z)
• EgoPressure: A Dataset for Hand Pressure and Pose Estimation in Egocentric Vision [69.1005706608681]
  EgoPressureは、詳細なタッチ接触と圧力相互作用をキャプチャする、新しいエゴセントリックなデータセットである。 本データセットは,頭部に装着した1台のKinectカメラと静止した7台のKinectカメラで同時に捉えた21人の被験者からの5時間の対話を収録した。
  論文  参考訳（メタデータ） (2024-09-03T18:53:32Z)
• In My Perspective, In My Hands: Accurate Egocentric 2D Hand Pose and Action Recognition [1.4732811715354455]
  アクション認識は、エゴセントリックなビデオ理解に不可欠であり、ユーザの努力なしに日々の生活活動(ADL)の自動的かつ継続的なモニタリングを可能にする。 既存の文献では、計算集約的な深度推定ネットワークを必要とする3Dハンドポーズ入力や、不快な深度センサーを装着することに焦点を当てている。 EffHandEgoNetとEffHandEgoNetの2つの新しい手法を導入する。
  論文  参考訳（メタデータ） (2024-04-14T17:33:33Z)
• Agile gesture recognition for capacitive sensing devices: adapting on-the-job [55.40855017016652]
  本システムでは, コンデンサセンサからの信号を手の動き認識器に組み込んだ手動作認識システムを提案する。 コントローラは、着用者5本の指それぞれからリアルタイム信号を生成する。 機械学習技術を用いて時系列信号を解析し,500ms以内で5本の指を表現できる3つの特徴を同定する。
  論文  参考訳（メタデータ） (2023-05-12T17:24:02Z)
• HOOV: Hand Out-Of-View Tracking for Proprioceptive Interaction using Inertial Sensing [25.34222794274071]
  HOOVは、VRユーザーが視野外の物体と対話できる手首回りのセンシング手法である。 単一手首の慣性センサの信号に基づいて,HOOVはユーザの手の位置を3空間で連続的に推定する。 我々の新しいデータ駆動手法は,手の位置と軌道を,手振りの連続的な推定から予測する。
  論文  参考訳（メタデータ） (2023-03-13T11:25:32Z)
• Deformer: Dynamic Fusion Transformer for Robust Hand Pose Estimation [59.3035531612715]
  既存の方法では、手のこもりが強かったり、ぼやけたりすると、手のポーズが難しい場合が多い。 ビデオでは、手の動きによって、片方のフレームに隠されたり、ぼやけたりして、手のさまざまな部分を観察することができる。 画像内の手の部分間の関係を暗黙的に推論するフレームワークであるDeformerを提案する。
  論文  参考訳（メタデータ） (2023-03-09T02:24:30Z)
• AvatarPoser: Articulated Full-Body Pose Tracking from Sparse Motion Sensing [24.053096294334694]
  AvatarPoserは、ユーザの頭と手の動きのみを入力として、世界座標におけるフルボディポーズを予測する最初の学習ベースの方法である。 提案手法はTransformerエンコーダ上に構築され,入力信号から深い特徴を抽出し,学習した局所的な関節方向からグローバルな動きを分離する。 我々の評価では、AvatarPoserは大規模なモーションキャプチャーデータセットの評価において、新しい最先端の結果を得た。
  論文  参考訳（メタデータ） (2022-07-27T20:52:39Z)
• The Gesture Authoring Space: Authoring Customised Hand Gestures for Grasping Virtual Objects in Immersive Virtual Environments [81.5101473684021]
  本研究は、仮想オブジェクトを現実世界のようにつかむことができる、オブジェクト固有のグリップジェスチャーのためのハンドジェスチャーオーサリングツールを提案する。 提示されたソリューションは、ジェスチャー認識にテンプレートマッチングを使用し、カスタムのカスタマイズされた手の動きを設計および作成するために技術的な知識を必要としない。 本研究は,提案手法を用いて作成したジェスチャーが,ユーザによって他のユーザよりも自然な入力モダリティとして認識されていることを示した。
  論文  参考訳（メタデータ） (2022-07-03T18:33:33Z)
• Learning to Disambiguate Strongly Interacting Hands via Probabilistic Per-pixel Part Segmentation [84.28064034301445]
  自己相似性と、それぞれの手にピクセル観察を割り当てるあいまいさは、最終的な3Dポーズエラーの大きな原因である。 1つの単眼画像から2つの手の3次元ポーズを推定する新しい手法であるDIGITを提案する。 提案手法は,InterHand2.6Mデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-07-01T13:28:02Z)
• SHREC 2021: Track on Skeleton-based Hand Gesture Recognition in the Wild [62.450907796261646]
  手のジェスチャーの認識は、ソフトウェアによって推定される手の骨格のストリームから直接行うことができる。 最近のスケルトンからのジェスチャーや行動認識の進歩にもかかわらず、現在の最先端技術が現実のシナリオでどの程度うまく機能するかは明らかではない。 本稿では,SHREC 2021: Track on Skeleton-based Hand Gesture Recognition in the Wild contestについて述べる。
  論文  参考訳（メタデータ） (2021-06-21T10:57:49Z)
• Physics-Based Dexterous Manipulations with Estimated Hand Poses and Residual Reinforcement Learning [52.37106940303246]
  ノイズの多い入力ポーズをターゲットの仮想ポーズにマッピングするモデルを学習する。 モデルフリーハイブリッドRL+ILアプローチを用いて残留条件下で訓練する。 筆者らは,VRにおける手動物体の相互作用と,それを用いた手動物体の動作再構成という,手動姿勢推定を用いた2つのアプリケーションで,我々のフレームワークを検証した。
  論文  参考訳（メタデータ） (2020-08-07T17:34:28Z)
• A Deep Learning Framework for Recognizing both Static and Dynamic Gestures [0.8602553195689513]
  静的なジェスチャーと動的ジェスチャーの両方を,(奥行き検出なしで)単純なRGBビジョンを用いて認識する統合フレームワークを提案する。 我々はポーズ駆動型空間アテンション戦略を採用し、提案した静的・動的ジェスチャネットワーク - StaDNet をガイドする。 いくつかの実験において、提案手法が大規模Chalearn 2016データセットの最先端結果を上回っていることが示されている。
  論文  参考訳（メタデータ） (2020-06-11T10:39:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。