論文の概要: Impact of Hand Impairment and Occlusions on Hand Pose Estimation Accuracy in Augmented Reality Applications

• arxiv url: http://arxiv.org/abs/2606.17427v1
• Date: Tue, 16 Jun 2026 02:20:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.217974
• Title: Impact of Hand Impairment and Occlusions on Hand Pose Estimation Accuracy in Augmented Reality Applications
• Title（参考訳）: 拡張現実応用における手指障害と咬合が手指推定精度に及ぼす影響
• Authors: Damian M. Manzone, Mathew Szymanowski, Olga Taran, Shuo Cai, Melissa Marquez-Chin, Tammy Zeng, Hardeep Singh, Cesar Marquez-Chin, José Zariffa,
• Abstract要約: 混合現実のアプリケーションは、手作業のリハビリのために設計することができる。 本研究ではHoloLens 2 HMDのポーズ推定精度と最先端ポーズ推定アルゴリズムについて検討した。
• 参考スコア（独自算出の注目度）: 4.71696259841465
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixed reality applications can be designed for hand rehabilitation. Augmented reality (AR) head mounted displays (HMDs) specifically allow for ecologically valid tasks because individuals can see their real environment and interact with real objects while receiving additional cues on the HMD. While these applications rely on accurate hand pose estimation, there is a gap in investigating the influence of hand impairment or occlusion from real-object interactions on pose estimation accuracy. Further, comparisons between AR HMD predictions and state-of-the-art pose estimation methods have not been established. The current study assessed pose estimation accuracy of the HoloLens 2 HMD and state-of-the-art pose estimation algorithms (WiLoR, HaMeR, WildHands, and MediaPipe) while individuals with cervical spinal cord injury (cSCI; n = 13, Neurological Level of Injury: C3-C6; American Spinal Injury Association Impairment Scale: A-D) and 15 uninjured controls interacted with clear and opaque objects. Ground truth estimates of 3D joint positions were generated via triangulation from a multi-camera setup. Pose estimation accuracy did not differ between the cSCI and uninjured control groups suggesting that 3D joint predictions from the HoloLens 2 and pose estimation algorithms can generalize to populations with hand impairment. Further, clear objects provided a small accuracy advantage over opaque objects (0.1 mm) and predictions from both WiLoR and HaMeR were slightly more accurate than the HoloLens 2 (2 mm). Overall, these results suggest that the HoloLens 2 may be viable for hand rehabilitation applications and the dataset generated can be used to refine pose estimation methods for hand-impaired populations.
• Abstract（参考訳）: 混合現実のアプリケーションは、手作業のリハビリのために設計することができる。 拡張現実(AR)ヘッドマウントディスプレイ(HMD)は、個人が実際の環境を見たり、実際の物体と対話したりしながら、HMDに追加の手がかりを受け取ったりすることで、生態学的に有効なタスクを可能にする。 これらのアプリケーションは正確なポーズ推定に頼っているが、実物間相互作用による手障害や閉塞がポーズ推定精度に与える影響を調べるにはギャップがある。 さらに、AR HMD予測と最先端ポーズ推定法の比較は確立されていない。 現在の研究では、HoloLens 2 HMDのポーズ推定精度と最先端のポーズ推定アルゴリズム(WiLoR、HaMeR、WildHands、MediaPipe)、頚髄損傷(cSCI; n = 13 )、損傷の神経学的レベル:C3-C6;アメリカ脊髄損傷協会障害尺度:A-D)、透明で不透明な物体と相互作用する15の未損傷コントロールを評価した。 マルチカメラ装置から三角測量により3次元関節位置の地中真実推定を行った。 cSCIと損傷を受けない制御群では,HoloLens 2の3次元関節予測とポーズ推定アルゴリズムが手障害のある集団に一般化できることが示唆された。 さらに、透明な物体は不透明な物体(0.1mm)よりも精度が低く、WiLoRとHaMeRの予測はHoloLens 2(2mm)よりも若干精度が高かった。 これらの結果から,HoloLens 2は手作業のリハビリに有効である可能性が示唆された。

関連論文リスト

• HandVQA: Diagnosing and Improving Fine-Grained Spatial Reasoning about Hands in Vision-Language Models [14.981963881449486]
  人間の手のきめ細かい説明を理解することは、ロボットによる外科手術のような高精細な設定において重要である。 現在の視覚言語モデル(VLM)は、特に複雑で明瞭な手ポーズの解釈において、きめ細かい空間的推論に苦しむ。 本稿では,視覚的質問応答による詳細な手指解剖の理解を評価するための大規模診断ベンチマークであるHandVQAを紹介する。
  論文  参考訳（メタデータ） (2026-03-27T12:42:26Z)
• A Multi-View Pipeline and Benchmark Dataset for 3D Hand Pose Estimation in Surgery [1.120882117110929]
  外科的文脈における3次元手ポーズ推定のための頑健なパイプラインを提案する。 パイプラインは、信頼できる人物検出、全身ポーズ推定、最先端の2Dハンドキーポイント予測を統合する。 68,000枚以上のフレームと3000枚以上の手書き2Dハンドポーズからなる新しい手術用ベンチマークデータセットを導入する。
  論文  参考訳（メタデータ） (2026-01-22T12:48:24Z)
• Occlusion-Aware 3D Motion Interpretation for Abnormal Behavior Detection [10.782354892545651]
  我々は,メッシュ頂点とヒト関節の3次元座標をモノクロビデオから再構成し,運動異常を識別するOAD2Dを提案する。 動作特徴の定量化にVQVAEを用いるM2Tモデルと組み合わせることで、異常姿勢推定を再構成する。 本研究は, 重度・自己閉塞性に対する異常行動検出のロバスト性を示すものである。
  論文  参考訳（メタデータ） (2024-07-23T18:41:16Z)
• W-HMR: Monocular Human Mesh Recovery in World Space with Weak-Supervised Calibration [57.37135310143126]
  モノクロ画像からの3次元運動回復のための従来の手法は、カメラ座標に依存するため、しばしば不足する。 W-HMRは、身体の歪み情報に基づいて「適切な」焦点長を予測する弱教師付き校正法である。 また,世界空間における可視的再構築のために,身体の向きを補正する OrientCorrect モジュールを提案する。
  論文  参考訳（メタデータ） (2023-11-29T09:02:07Z)
• The Impact of Loss Functions and Scene Representations for 3D/2D Registration on Single-view Fluoroscopic X-ray Pose Estimation [1.758213853394712]
  我々はまずデジタル再構成ラジオグラフィー(DRR)の効率的な計算のための微分可能プロジェクションレンダリングフレームワークを開発する。 次に, 合成したDRRの画像差を, 地表面の蛍光X線画像に対して定量化する, 様々な候補損失関数を用いて, 反復降下によるポーズ推定を行う。 Mutual Information Loss を用いて,50 人の頭蓋骨の断層X線データを用いて行ったポーズ推定を総合的に評価した結果,DiffProj における識別 (CBCT) とニューラル (NeTT/mNeRF) のシーン表現のどちらを用いたかが示唆された。
  論文  参考訳（メタデータ） (2023-08-01T01:12:29Z)
• ShaRPy: Shape Reconstruction and Hand Pose Estimation from RGB-D with Uncertainty [6.559796851992517]
  本稿では,最初のRGB-D形状再構成システムであるShaRPyを提案する。 ShaRPyはパーソナライズされた手の形を近似し、デジタルツインのより現実的で直感的な理解を促進する。 キーポイント検出ベンチマークを用いてShaRPyを評価し,筋骨格疾患の能動モニタリングのための手機能評価の質的結果を示した。
  論文  参考訳（メタデータ） (2023-03-17T15:12:25Z)
• 3D Interacting Hand Pose Estimation by Hand De-occlusion and Removal [85.30756038989057]
  単一のRGB画像から3Dインタラクションハンドポーズを推定することは、人間の行動を理解するのに不可欠である。 本稿では,難易度の高い手ポーズ推定タスクを分解し,各手のポーズを別々に推定することを提案する。 実験の結果,提案手法は従来の手ポーズ推定手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-07-22T13:04:06Z)
• Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose Estimation [70.32536356351706]
  本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。 ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。 本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2022-03-29T07:14:58Z)
• Monocular 3D Reconstruction of Interacting Hands via Collision-Aware Factorized Refinements [96.40125818594952]
  単眼のRGB画像から3Dインタラクションハンドを再構築する試みを初めて行った。 提案手法では, 高精度な3次元ポーズと最小の衝突で3次元ハンドメッシュを生成することができる。
  論文  参考訳（メタデータ） (2021-11-01T08:24:10Z)
• Uncertainty-Aware Camera Pose Estimation from Points and Lines [101.03675842534415]
  Perspective-n-Point-and-Line (Pn$PL) は、2D-3D特徴座標の3Dモデルに関して、高速で正確で堅牢なカメラローカライゼーションを目指している。
  論文  参考訳（メタデータ） (2021-07-08T15:19:36Z)
• Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and Objects for 3D Hand Pose Estimation under Hand-Object Interaction [137.28465645405655]
  HANDS'19は、現在の3Dハンドポーズ推定器(HPE)がトレーニングセットのポーズを補間し、外挿する能力を評価するための課題である。 本研究では,最先端手法の精度が低下し,トレーニングセットから外れたポーズでほとんど失敗することを示す。
  論文  参考訳（メタデータ） (2020-03-30T19:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。