論文の概要: EgoHand: Ego-centric Hand Pose Estimation and Gesture Recognition with Head-mounted Millimeter-wave Radar and IMUs

• arxiv url: http://arxiv.org/abs/2501.13805v1
• Date: Thu, 23 Jan 2025 16:25:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 19:17:07.3362
• Title: EgoHand: Ego-centric Hand Pose Estimation and Gesture Recognition with Head-mounted Millimeter-wave Radar and IMUs
• Title（参考訳）: EgoHand:ヘッドマウントミリ波レーダとIMUを用いたエゴ中心ハンドポース推定とジェスチャー認識
• Authors: Yizhe Lv, Tingting Zhang, Yunpeng Song, Han Ding, Jinsong Han, Fei Wang,
• Abstract要約: ボトム対応のVRカメラは、個人の体の一部や周囲などの機密情報を暴露する危険性がある。 手のジェスチャー認識のためのミリ波レーダとIMUを統合するシステムであるEgoHandを紹介する。 実験では、EgoHandは90.8%の精度で手の動きを検出することができる。
• 参考スコア（独自算出の注目度）: 15.644891766887255
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advanced Virtual Reality (VR) headsets, such as the Apple Vision Pro, employ bottom-facing cameras to detect hand gestures and inputs, which offers users significant convenience in VR interactions. However, these bottom-facing cameras can sometimes be inconvenient and pose a risk of unintentionally exposing sensitive information, such as private body parts or personal surroundings. To mitigate these issues, we introduce EgoHand. This system provides an alternative solution by integrating millimeter-wave radar and IMUs for hand gesture recognition, thereby offering users an additional option for gesture interaction that enhances privacy protection. To accurately recognize hand gestures, we devise a two-stage skeleton-based gesture recognition scheme. In the first stage, a novel end-to-end Transformer architecture is employed to estimate the coordinates of hand joints. Subsequently, these estimated joint coordinates are utilized for gesture recognition. Extensive experiments involving 10 subjects show that EgoHand can detect hand gestures with 90.8% accuracy. Furthermore, EgoHand demonstrates robust performance across a variety of cross-domain tests, including different users, dominant hands, body postures, and scenes.
• Abstract（参考訳）: Apple Vision Proのような最近の高度なバーチャルリアリティ(VR)ヘッドセットは、手の動きや入力を検出するためにボトムフェイスカメラを使用している。 しかし、これらのボトムフェイスカメラは、時には不便であり、プライベートボディ部品や個人的な周囲など、意図せずに機密情報を漏らす危険性がある。 これらの問題を緩和するために、EgoHandを紹介します。 このシステムは、手動ジェスチャー認識のためのミリ波レーダとIMUを統合することで、プライバシー保護を強化するジェスチャーインタラクションの選択肢をユーザに提供することで、代替ソリューションを提供する。 手のジェスチャーを正確に認識するために,2段階の骨格に基づくジェスチャー認識方式を提案する。 第1段階では、手関節の座標を推定するために、新しいエンドツーエンドトランスフォーマーアーキテクチャが使用される。 その後、これらの推定された関節座標をジェスチャー認識に利用する。 10人の被験者による大規模な実験は、EgoHandが90.8%の精度で手の動きを検出できることを示している。 さらに、EgoHandは、さまざまなユーザ、支配的な手、身体姿勢、シーンを含む、さまざまなクロスドメインテストで堅牢なパフォーマンスを示している。

関連論文リスト

• DiG-Net: Enhancing Quality of Life through Hyper-Range Dynamic Gesture Recognition in Assistive Robotics [2.625826951636656]
  ロボット工学に特化して設計された新しいアプローチを導入し,最大30mの距離で動的ジェスチャー認識を実現する。 提案手法では,DADAブロックと時空間グラフモジュールを効果的に組み合わせ,距離対応ゲスチャネットワーク(DiG-Net)を提案する。 かなりの距離からジェスチャーを効果的に解釈することにより、DiG-Netは在宅医療、産業安全、遠隔支援シナリオにおける補助ロボットのユーザビリティを著しく向上させる。
  論文  参考訳（メタデータ） (2025-05-30T16:47:44Z)
• Progressive Inertial Poser: Progressive Real-Time Kinematic Chain Estimation for 3D Full-Body Pose from Three IMU Sensors [25.67875816218477]
  スパース追跡信号からのフルボディポーズ推定は、環境条件や記録範囲によって制限されない。 従来の作業では、骨盤と下肢にセンサーを追加することや、キージョイントのグローバルな位置を得るために外部視覚センサーに頼ることが困難だった。 仮想現実技術の実用性を向上させるため,頭部と手首に装着した3つの慣性計測ユニット(IMU)センサから得られた慣性データのみを用いて,全身のポーズを推定した。
  論文  参考訳（メタデータ） (2025-05-08T15:28:09Z)
• emg2pose: A Large and Diverse Benchmark for Surface Electromyographic Hand Pose Estimation [12.566524562446467]
  信頼性と常に利用可能な手ポーズ推論は、人間とコンピュータの相互作用に対する新しい直感的な制御スキームをもたらす可能性がある。 装着可能な手首型表面筋電図(sEMG)は有望な代替手段である。 emg2poseは、高品質の手ポーズラベルと手首のsEMGレコードの公開データセットとして最大である。
  論文  参考訳（メタデータ） (2024-12-02T23:39:37Z)
• EgoPressure: A Dataset for Hand Pressure and Pose Estimation in Egocentric Vision [69.1005706608681]
  EgoPressureは、詳細なタッチ接触と圧力相互作用をキャプチャする、新しいエゴセントリックなデータセットである。 本データセットは,頭部に装着した1台のKinectカメラと静止した7台のKinectカメラで同時に捉えた21人の被験者からの5時間の対話を収録した。
  論文  参考訳（メタデータ） (2024-09-03T18:53:32Z)
• In My Perspective, In My Hands: Accurate Egocentric 2D Hand Pose and Action Recognition [1.4732811715354455]
  アクション認識は、エゴセントリックなビデオ理解に不可欠であり、ユーザの努力なしに日々の生活活動(ADL)の自動的かつ継続的なモニタリングを可能にする。 既存の文献では、計算集約的な深度推定ネットワークを必要とする3Dハンドポーズ入力や、不快な深度センサーを装着することに焦点を当てている。 EffHandEgoNetとEffHandEgoNetの2つの新しい手法を導入する。
  論文  参考訳（メタデータ） (2024-04-14T17:33:33Z)
• Egocentric RGB+Depth Action Recognition in Industry-Like Settings [50.38638300332429]
  本研究は,産業的な環境下での自我中心のRGBとDepthモダリティからの行動の認識に焦点を当てる。 我々のフレームワークは、RGBとDepthの両方のモダリティを効果的に符号化する3DビデオSWIN変換器に基づいている。 また,ICIAP 2023におけるマルチモーダル動作認識チャレンジにおいて,本手法が第1位を確保した。
  論文  参考訳（メタデータ） (2023-09-25T08:56:22Z)
• Agile gesture recognition for capacitive sensing devices: adapting on-the-job [55.40855017016652]
  本システムでは, コンデンサセンサからの信号を手の動き認識器に組み込んだ手動作認識システムを提案する。 コントローラは、着用者5本の指それぞれからリアルタイム信号を生成する。 機械学習技術を用いて時系列信号を解析し,500ms以内で5本の指を表現できる3つの特徴を同定する。
  論文  参考訳（メタデータ） (2023-05-12T17:24:02Z)
• HOOV: Hand Out-Of-View Tracking for Proprioceptive Interaction using Inertial Sensing [25.34222794274071]
  HOOVは、VRユーザーが視野外の物体と対話できる手首回りのセンシング手法である。 単一手首の慣性センサの信号に基づいて,HOOVはユーザの手の位置を3空間で連続的に推定する。 我々の新しいデータ駆動手法は,手の位置と軌道を,手振りの連続的な推定から予測する。
  論文  参考訳（メタデータ） (2023-03-13T11:25:32Z)
• Deformer: Dynamic Fusion Transformer for Robust Hand Pose Estimation [59.3035531612715]
  既存の方法では、手のこもりが強かったり、ぼやけたりすると、手のポーズが難しい場合が多い。 ビデオでは、手の動きによって、片方のフレームに隠されたり、ぼやけたりして、手のさまざまな部分を観察することができる。 画像内の手の部分間の関係を暗黙的に推論するフレームワークであるDeformerを提案する。
  論文  参考訳（メタデータ） (2023-03-09T02:24:30Z)
• HUM3DIL: Semi-supervised Multi-modal 3D Human Pose Estimation for Autonomous Driving [95.42203932627102]
  3Dの人間のポーズ推定は、自動運転車が歩行者の微妙で複雑な振る舞いを知覚し理解できるようにする新しい技術である。 提案手法は,これらの補完信号を半教師付き方式で効率的に利用し,既存の手法よりも大きなマージンで性能を向上する。 具体的には、LiDAR点を画素整列マルチモーダル特徴に埋め込み、トランスフォーマーの精細化段階を経る。
  論文  参考訳（メタデータ） (2022-12-15T11:15:14Z)
• mRI: Multi-modal 3D Human Pose Estimation Dataset using mmWave, RGB-D, and Inertial Sensors [6.955796938573367]
  mmWave, RGB-D, Inertial Sensors を用いたマルチモーダルな3次元ポーズ推定データセット mRI を提案する。 我々のデータセットは、リハビリテーション運動を行う20人の被験者から160万以上の同期フレームで構成されている。
  論文  参考訳（メタデータ） (2022-10-15T23:08:44Z)
• AvatarPoser: Articulated Full-Body Pose Tracking from Sparse Motion Sensing [24.053096294334694]
  AvatarPoserは、ユーザの頭と手の動きのみを入力として、世界座標におけるフルボディポーズを予測する最初の学習ベースの方法である。 提案手法はTransformerエンコーダ上に構築され,入力信号から深い特徴を抽出し,学習した局所的な関節方向からグローバルな動きを分離する。 我々の評価では、AvatarPoserは大規模なモーションキャプチャーデータセットの評価において、新しい最先端の結果を得た。
  論文  参考訳（メタデータ） (2022-07-27T20:52:39Z)
• Semi-Perspective Decoupled Heatmaps for 3D Robot Pose Estimation from Depth Maps [66.24554680709417]
  協調環境における労働者とロボットの正確な3D位置を知ることは、いくつかの実際のアプリケーションを可能にする。 本研究では、深度デバイスと深度ニューラルネットワークに基づく非侵襲的なフレームワークを提案し、外部カメラからロボットの3次元ポーズを推定する。
  論文  参考訳（メタデータ） (2022-07-06T08:52:12Z)
• The Gesture Authoring Space: Authoring Customised Hand Gestures for Grasping Virtual Objects in Immersive Virtual Environments [81.5101473684021]
  本研究は、仮想オブジェクトを現実世界のようにつかむことができる、オブジェクト固有のグリップジェスチャーのためのハンドジェスチャーオーサリングツールを提案する。 提示されたソリューションは、ジェスチャー認識にテンプレートマッチングを使用し、カスタムのカスタマイズされた手の動きを設計および作成するために技術的な知識を必要としない。 本研究は,提案手法を用いて作成したジェスチャーが,ユーザによって他のユーザよりも自然な入力モダリティとして認識されていることを示した。
  論文  参考訳（メタデータ） (2022-07-03T18:33:33Z)
• A Spatio-Temporal Multilayer Perceptron for Gesture Recognition [70.34489104710366]
  自律走行車におけるジェスチャー認識のための多層状態重み付きパーセプトロンを提案する。 提案手法の有望な性能を示すため,TCGおよびDrive&Actデータセットの評価を行った。 私たちは、そのリアルタイム能力と安定した実行を示すために、モデルを自動運転車にデプロイします。
  論文  参考訳（メタデータ） (2022-04-25T08:42:47Z)
• HMD-EgoPose: Head-Mounted Display-Based Egocentric Marker-Less Tool and Hand Pose Estimation for Augmented Surgical Guidance [0.0]
  HMD-EgoPoseは、手動とオブジェクトのポーズ推定のための単発学習に基づくアプローチである。 マーカーレスハンドと手術器具のポーズトラッキングのためのベンチマークデータセット上で,最先端の性能を示す。
  論文  参考訳（メタデータ） (2022-02-24T04:07:34Z)
• Towards Domain-Independent and Real-Time Gesture Recognition Using mmWave Signal [11.76969975145963]
  DI-Gesture はドメインに依存しないリアルタイムの mmWave ジェスチャー認識システムである。 リアルタイムシナリオでは、DI-Gesutreの精度は平均推定時間2.87msで97%以上に達する。
  論文  参考訳（メタデータ） (2021-11-11T13:28:28Z)
• Learning to Disambiguate Strongly Interacting Hands via Probabilistic Per-pixel Part Segmentation [84.28064034301445]
  自己相似性と、それぞれの手にピクセル観察を割り当てるあいまいさは、最終的な3Dポーズエラーの大きな原因である。 1つの単眼画像から2つの手の3次元ポーズを推定する新しい手法であるDIGITを提案する。 提案手法は,InterHand2.6Mデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-07-01T13:28:02Z)
• SHREC 2021: Track on Skeleton-based Hand Gesture Recognition in the Wild [62.450907796261646]
  手のジェスチャーの認識は、ソフトウェアによって推定される手の骨格のストリームから直接行うことができる。 最近のスケルトンからのジェスチャーや行動認識の進歩にもかかわらず、現在の最先端技術が現実のシナリオでどの程度うまく機能するかは明らかではない。 本稿では,SHREC 2021: Track on Skeleton-based Hand Gesture Recognition in the Wild contestについて述べる。
  論文  参考訳（メタデータ） (2021-06-21T10:57:49Z)
• SensiX: A Platform for Collaborative Machine Learning on the Edge [69.1412199244903]
  センサデータとセンサモデルの間に留まるパーソナルエッジプラットフォームであるSensiXを紹介する。 動作および音声に基づくマルチデバイスセンシングシステムの開発において,その有効性を示す。 評価の結果,SensiXは3mWのオーバヘッドを犠牲にして,全体の精度が7～13%向上し,環境のダイナミクスが最大30%向上することがわかった。
  論文  参考訳（メタデータ） (2020-12-04T23:06:56Z)
• Physics-Based Dexterous Manipulations with Estimated Hand Poses and Residual Reinforcement Learning [52.37106940303246]
  ノイズの多い入力ポーズをターゲットの仮想ポーズにマッピングするモデルを学習する。 モデルフリーハイブリッドRL+ILアプローチを用いて残留条件下で訓練する。 筆者らは,VRにおける手動物体の相互作用と,それを用いた手動物体の動作再構成という,手動姿勢推定を用いた2つのアプリケーションで,我々のフレームワークを検証した。
  論文  参考訳（メタデータ） (2020-08-07T17:34:28Z)
• A Deep Learning Framework for Recognizing both Static and Dynamic Gestures [0.8602553195689513]
  静的なジェスチャーと動的ジェスチャーの両方を,(奥行き検出なしで)単純なRGBビジョンを用いて認識する統合フレームワークを提案する。 我々はポーズ駆動型空間アテンション戦略を採用し、提案した静的・動的ジェスチャネットワーク - StaDNet をガイドする。 いくつかの実験において、提案手法が大規模Chalearn 2016データセットの最先端結果を上回っていることが示されている。
  論文  参考訳（メタデータ） (2020-06-11T10:39:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。