論文の概要: mmEgoHand: Egocentric Hand Pose Estimation and Gesture Recognition with Head-mounted Millimeter-wave Radar and IMU

• arxiv url: http://arxiv.org/abs/2501.13805v2
• Date: Sun, 06 Jul 2025 13:31:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.200303
• Title: mmEgoHand: Egocentric Hand Pose Estimation and Gesture Recognition with Head-mounted Millimeter-wave Radar and IMU
• Title（参考訳）: mmEgoHand:ヘッドマウントミリ波レーダとIMUを用いたエゴセントリックハンドポース推定とジェスチャー認識
• Authors: Yizhe Lv, Tingting Zhang, Zhijian Wang, Yunpeng Song, Han Ding, Jinsong Han, Fei Wang,
• Abstract要約: mmEgoHandは、手振り推定のためのヘッドマウントエゴセントリックシステムである。 ジェスチャー認識、VRインタラクション、スキルのデジタル化とアセスメント、ロボット遠隔操作などのアプリケーションをサポートする。 mmEgoHandは、動的知覚を可能にするために、mmWaveレーダーと慣性測定ユニット(IMU)を統合する。
• 参考スコア（独自算出の注目度）: 15.086294532079908
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in millimeter-wave (mmWave) radar have demonstrated its potential for human action recognition and pose estimation, offering privacy-preserving advantages over conventional cameras while maintaining occlusion robustness, with promising applications in human-computer interaction and wellness care. However, existing mmWave systems typically employ fixed-position configurations, restricting user mobility to predefined zones and limiting practical deployment scenarios. We introduce mmEgoHand, a head-mounted egocentric system for hand pose estimation to support applications such as gesture recognition, VR interaction, skill digitization and assessment, and robotic teleoperation. mmEgoHand synergistically integrates mmWave radar with inertial measurement units (IMUs) to enable dynamic perception. The IMUs actively compensate for radar interference induced by head movements, while our novel end-to-end Transformer architecture simultaneously estimates 3D hand keypoint coordinates through multi-modal sensor fusion. This dual-modality framework achieves spatial-temporal alignment of mmWave heatmaps with IMUs, overcoming viewpoint instability inherent in egocentric sensing scenarios. We further demonstrate that intermediate hand pose representations substantially improve performance in downstream task, e.g., VR gesture recognition. Extensive evaluations with 10 subjects performing 8 gestures across 3 distinct postures -- standing, sitting, lying -- achieve 90.8% recognition accuracy, outperforming state-of-the-art solutions by a large margin. Dataset and code are available at https://github.com/WhisperYi/mmVR.
• Abstract（参考訳）: 近年のミリ波レーダー(mmWave)の進歩は、人間の行動認識とポーズ推定の可能性を実証し、従来のカメラよりもプライバシー保護の優位性を提供しながら、人間とコンピュータの相互作用やウェルネスケアに有望な応用を期待している。 しかし、既存の mmWave システムは、通常、固定配置の設定を採用し、ユーザのモビリティを予め定義されたゾーンに制限し、実際のデプロイメントシナリオを制限する。 ジェスチャー認識,VRインタラクション,スキルのデジタル化と評価,ロボット遠隔操作などの応用を支援するために,手振り推定のためのヘッドマウントエゴセントリックシステムであるmmEgoHandを紹介した。 mmEgoHandは、動的知覚を可能にするために、ミリ波レーダーと慣性測定ユニット(IMU)を相乗的に統合する。 IMUは頭部の動きによって誘導されるレーダー干渉を積極的に補償する一方、新しいエンドツーエンドトランスフォーマーアーキテクチャでは、マルチモーダルセンサー融合により3次元手指キーポイント座標を同時に推定する。 この双対モダリティフレームワークは、自我中心の知覚シナリオに固有の視点不安定性を克服し、ミリ波熱マップとIMUの時空間アライメントを実現する。 さらに、中間手ポーズ表現は、例えばVRジェスチャー認識など、下流タスクのパフォーマンスを大幅に向上することを示した。 10人の被験者が3つの異なる姿勢(立位、座位、嘘)で8つのジェスチャーを実行し、90.8%の認識精度を達成し、最先端のソリューションを大きなマージンで上回った。 データセットとコードはhttps://github.com/WhisperYi/mmVR.comで入手できる。

関連論文リスト

• DiG-Net: Enhancing Quality of Life through Hyper-Range Dynamic Gesture Recognition in Assistive Robotics [2.625826951636656]
  ロボット工学に特化して設計された新しいアプローチを導入し,最大30mの距離で動的ジェスチャー認識を実現する。 提案手法では,DADAブロックと時空間グラフモジュールを効果的に組み合わせ,距離対応ゲスチャネットワーク(DiG-Net)を提案する。 かなりの距離からジェスチャーを効果的に解釈することにより、DiG-Netは在宅医療、産業安全、遠隔支援シナリオにおける補助ロボットのユーザビリティを著しく向上させる。
  論文  参考訳（メタデータ） (2025-05-30T16:47:44Z)
• Progressive Inertial Poser: Progressive Real-Time Kinematic Chain Estimation for 3D Full-Body Pose from Three IMU Sensors [25.67875816218477]
  スパース追跡信号からのフルボディポーズ推定は、環境条件や記録範囲によって制限されない。 従来の作業では、骨盤と下肢にセンサーを追加することや、キージョイントのグローバルな位置を得るために外部視覚センサーに頼ることが困難だった。 仮想現実技術の実用性を向上させるため,頭部と手首に装着した3つの慣性計測ユニット(IMU)センサから得られた慣性データのみを用いて,全身のポーズを推定した。
  論文  参考訳（メタデータ） (2025-05-08T15:28:09Z)
• emg2pose: A Large and Diverse Benchmark for Surface Electromyographic Hand Pose Estimation [12.566524562446467]
  信頼性と常に利用可能な手ポーズ推論は、人間とコンピュータの相互作用に対する新しい直感的な制御スキームをもたらす可能性がある。 装着可能な手首型表面筋電図(sEMG)は有望な代替手段である。 emg2poseは、高品質の手ポーズラベルと手首のsEMGレコードの公開データセットとして最大である。
  論文  参考訳（メタデータ） (2024-12-02T23:39:37Z)
• EgoPressure: A Dataset for Hand Pressure and Pose Estimation in Egocentric Vision [69.1005706608681]
  EgoPressureは、詳細なタッチ接触と圧力相互作用をキャプチャする、新しいエゴセントリックなデータセットである。 本データセットは,頭部に装着した1台のKinectカメラと静止した7台のKinectカメラで同時に捉えた21人の被験者からの5時間の対話を収録した。
  論文  参考訳（メタデータ） (2024-09-03T18:53:32Z)
• In My Perspective, In My Hands: Accurate Egocentric 2D Hand Pose and Action Recognition [1.4732811715354455]
  アクション認識は、エゴセントリックなビデオ理解に不可欠であり、ユーザの努力なしに日々の生活活動(ADL)の自動的かつ継続的なモニタリングを可能にする。 既存の文献では、計算集約的な深度推定ネットワークを必要とする3Dハンドポーズ入力や、不快な深度センサーを装着することに焦点を当てている。 EffHandEgoNetとEffHandEgoNetの2つの新しい手法を導入する。
  論文  参考訳（メタデータ） (2024-04-14T17:33:33Z)
• Egocentric RGB+Depth Action Recognition in Industry-Like Settings [50.38638300332429]
  本研究は,産業的な環境下での自我中心のRGBとDepthモダリティからの行動の認識に焦点を当てる。 我々のフレームワークは、RGBとDepthの両方のモダリティを効果的に符号化する3DビデオSWIN変換器に基づいている。 また,ICIAP 2023におけるマルチモーダル動作認識チャレンジにおいて,本手法が第1位を確保した。
  論文  参考訳（メタデータ） (2023-09-25T08:56:22Z)
• Agile gesture recognition for capacitive sensing devices: adapting on-the-job [55.40855017016652]
  本システムでは, コンデンサセンサからの信号を手の動き認識器に組み込んだ手動作認識システムを提案する。 コントローラは、着用者5本の指それぞれからリアルタイム信号を生成する。 機械学習技術を用いて時系列信号を解析し,500ms以内で5本の指を表現できる3つの特徴を同定する。
  論文  参考訳（メタデータ） (2023-05-12T17:24:02Z)
• HOOV: Hand Out-Of-View Tracking for Proprioceptive Interaction using Inertial Sensing [25.34222794274071]
  HOOVは、VRユーザーが視野外の物体と対話できる手首回りのセンシング手法である。 単一手首の慣性センサの信号に基づいて,HOOVはユーザの手の位置を3空間で連続的に推定する。 我々の新しいデータ駆動手法は,手の位置と軌道を,手振りの連続的な推定から予測する。
  論文  参考訳（メタデータ） (2023-03-13T11:25:32Z)
• Deformer: Dynamic Fusion Transformer for Robust Hand Pose Estimation [59.3035531612715]
  既存の方法では、手のこもりが強かったり、ぼやけたりすると、手のポーズが難しい場合が多い。 ビデオでは、手の動きによって、片方のフレームに隠されたり、ぼやけたりして、手のさまざまな部分を観察することができる。 画像内の手の部分間の関係を暗黙的に推論するフレームワークであるDeformerを提案する。
  論文  参考訳（メタデータ） (2023-03-09T02:24:30Z)
• HUM3DIL: Semi-supervised Multi-modal 3D Human Pose Estimation for Autonomous Driving [95.42203932627102]
  3Dの人間のポーズ推定は、自動運転車が歩行者の微妙で複雑な振る舞いを知覚し理解できるようにする新しい技術である。 提案手法は,これらの補完信号を半教師付き方式で効率的に利用し,既存の手法よりも大きなマージンで性能を向上する。 具体的には、LiDAR点を画素整列マルチモーダル特徴に埋め込み、トランスフォーマーの精細化段階を経る。
  論文  参考訳（メタデータ） (2022-12-15T11:15:14Z)
• mRI: Multi-modal 3D Human Pose Estimation Dataset using mmWave, RGB-D, and Inertial Sensors [6.955796938573367]
  mmWave, RGB-D, Inertial Sensors を用いたマルチモーダルな3次元ポーズ推定データセット mRI を提案する。 我々のデータセットは、リハビリテーション運動を行う20人の被験者から160万以上の同期フレームで構成されている。
  論文  参考訳（メタデータ） (2022-10-15T23:08:44Z)
• AvatarPoser: Articulated Full-Body Pose Tracking from Sparse Motion Sensing [24.053096294334694]
  AvatarPoserは、ユーザの頭と手の動きのみを入力として、世界座標におけるフルボディポーズを予測する最初の学習ベースの方法である。 提案手法はTransformerエンコーダ上に構築され,入力信号から深い特徴を抽出し,学習した局所的な関節方向からグローバルな動きを分離する。 我々の評価では、AvatarPoserは大規模なモーションキャプチャーデータセットの評価において、新しい最先端の結果を得た。
  論文  参考訳（メタデータ） (2022-07-27T20:52:39Z)
• Semi-Perspective Decoupled Heatmaps for 3D Robot Pose Estimation from Depth Maps [66.24554680709417]
  協調環境における労働者とロボットの正確な3D位置を知ることは、いくつかの実際のアプリケーションを可能にする。 本研究では、深度デバイスと深度ニューラルネットワークに基づく非侵襲的なフレームワークを提案し、外部カメラからロボットの3次元ポーズを推定する。
  論文  参考訳（メタデータ） (2022-07-06T08:52:12Z)
• The Gesture Authoring Space: Authoring Customised Hand Gestures for Grasping Virtual Objects in Immersive Virtual Environments [81.5101473684021]
  本研究は、仮想オブジェクトを現実世界のようにつかむことができる、オブジェクト固有のグリップジェスチャーのためのハンドジェスチャーオーサリングツールを提案する。 提示されたソリューションは、ジェスチャー認識にテンプレートマッチングを使用し、カスタムのカスタマイズされた手の動きを設計および作成するために技術的な知識を必要としない。 本研究は,提案手法を用いて作成したジェスチャーが,ユーザによって他のユーザよりも自然な入力モダリティとして認識されていることを示した。
  論文  参考訳（メタデータ） (2022-07-03T18:33:33Z)
• A Spatio-Temporal Multilayer Perceptron for Gesture Recognition [70.34489104710366]
  自律走行車におけるジェスチャー認識のための多層状態重み付きパーセプトロンを提案する。 提案手法の有望な性能を示すため,TCGおよびDrive&Actデータセットの評価を行った。 私たちは、そのリアルタイム能力と安定した実行を示すために、モデルを自動運転車にデプロイします。
  論文  参考訳（メタデータ） (2022-04-25T08:42:47Z)
• HMD-EgoPose: Head-Mounted Display-Based Egocentric Marker-Less Tool and Hand Pose Estimation for Augmented Surgical Guidance [0.0]
  HMD-EgoPoseは、手動とオブジェクトのポーズ推定のための単発学習に基づくアプローチである。 マーカーレスハンドと手術器具のポーズトラッキングのためのベンチマークデータセット上で,最先端の性能を示す。
  論文  参考訳（メタデータ） (2022-02-24T04:07:34Z)
• Towards Domain-Independent and Real-Time Gesture Recognition Using mmWave Signal [11.76969975145963]
  DI-Gesture はドメインに依存しないリアルタイムの mmWave ジェスチャー認識システムである。 リアルタイムシナリオでは、DI-Gesutreの精度は平均推定時間2.87msで97%以上に達する。
  論文  参考訳（メタデータ） (2021-11-11T13:28:28Z)
• Learning to Disambiguate Strongly Interacting Hands via Probabilistic Per-pixel Part Segmentation [84.28064034301445]
  自己相似性と、それぞれの手にピクセル観察を割り当てるあいまいさは、最終的な3Dポーズエラーの大きな原因である。 1つの単眼画像から2つの手の3次元ポーズを推定する新しい手法であるDIGITを提案する。 提案手法は,InterHand2.6Mデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-07-01T13:28:02Z)
• SHREC 2021: Track on Skeleton-based Hand Gesture Recognition in the Wild [62.450907796261646]
  手のジェスチャーの認識は、ソフトウェアによって推定される手の骨格のストリームから直接行うことができる。 最近のスケルトンからのジェスチャーや行動認識の進歩にもかかわらず、現在の最先端技術が現実のシナリオでどの程度うまく機能するかは明らかではない。 本稿では,SHREC 2021: Track on Skeleton-based Hand Gesture Recognition in the Wild contestについて述べる。
  論文  参考訳（メタデータ） (2021-06-21T10:57:49Z)
• SensiX: A Platform for Collaborative Machine Learning on the Edge [69.1412199244903]
  センサデータとセンサモデルの間に留まるパーソナルエッジプラットフォームであるSensiXを紹介する。 動作および音声に基づくマルチデバイスセンシングシステムの開発において,その有効性を示す。 評価の結果,SensiXは3mWのオーバヘッドを犠牲にして,全体の精度が7～13%向上し,環境のダイナミクスが最大30%向上することがわかった。
  論文  参考訳（メタデータ） (2020-12-04T23:06:56Z)
• Physics-Based Dexterous Manipulations with Estimated Hand Poses and Residual Reinforcement Learning [52.37106940303246]
  ノイズの多い入力ポーズをターゲットの仮想ポーズにマッピングするモデルを学習する。 モデルフリーハイブリッドRL+ILアプローチを用いて残留条件下で訓練する。 筆者らは,VRにおける手動物体の相互作用と,それを用いた手動物体の動作再構成という,手動姿勢推定を用いた2つのアプリケーションで,我々のフレームワークを検証した。
  論文  参考訳（メタデータ） (2020-08-07T17:34:28Z)
• A Deep Learning Framework for Recognizing both Static and Dynamic Gestures [0.8602553195689513]
  静的なジェスチャーと動的ジェスチャーの両方を,(奥行き検出なしで)単純なRGBビジョンを用いて認識する統合フレームワークを提案する。 我々はポーズ駆動型空間アテンション戦略を採用し、提案した静的・動的ジェスチャネットワーク - StaDNet をガイドする。 いくつかの実験において、提案手法が大規模Chalearn 2016データセットの最先端結果を上回っていることが示されている。
  論文  参考訳（メタデータ） (2020-06-11T10:39:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。