論文の概要: Hand tracking for clinical applications: validation of the Google
MediaPipe Hand (GMH) and the depth-enhanced GMH-D frameworks
- arxiv url: http://arxiv.org/abs/2308.01088v1
- Date: Wed, 2 Aug 2023 11:44:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-03 13:10:35.749672
- Title: Hand tracking for clinical applications: validation of the Google
MediaPipe Hand (GMH) and the depth-enhanced GMH-D frameworks
- Title（参考訳）: 臨床応用のためのハンドトラッキング:Google MediaPipe Hand(GMH)と深度向上GMH-Dフレームワークの検証
- Authors: Gianluca Amprimo, Giulia Masi, Giuseppe Pettiti, Gabriella Olmo,
Lorenzo Priano and Claudia Ferraris
- Abstract要約: 目的は、Google MediaPipe Hand(GMH)と革新的な拡張版であるGMH-Dによって実装されたハンドトラッキングフレームワークを検証することである。
手の障害を評価するために臨床医が一般的に実施する3つのダイナミックエクササイズについて考察する。
その結果,両フレームワークの時間的およびスペクトル的整合性が高いことがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Accurate 3D tracking of hand and fingers movements poses significant
challenges in computer vision. The potential applications span across multiple
domains, including human-computer interaction, virtual reality, industry, and
medicine. While gesture recognition has achieved remarkable accuracy,
quantifying fine movements remains a hurdle, particularly in clinical
applications where the assessment of hand dysfunctions and rehabilitation
training outcomes necessitate precise measurements. Several novel and
lightweight frameworks based on Deep Learning have emerged to address this
issue; however, their performance in accurately and reliably measuring fingers
movements requires validation against well-established gold standard systems.
In this paper, the aim is to validate the handtracking framework implemented by
Google MediaPipe Hand (GMH) and an innovative enhanced version, GMH-D, that
exploits the depth estimation of an RGB-Depth camera to achieve more accurate
tracking of 3D movements. Three dynamic exercises commonly administered by
clinicians to assess hand dysfunctions, namely Hand Opening-Closing, Single
Finger Tapping and Multiple Finger Tapping are considered. Results demonstrate
high temporal and spectral consistency of both frameworks with the gold
standard. However, the enhanced GMH-D framework exhibits superior accuracy in
spatial measurements compared to the baseline GMH, for both slow and fast
movements. Overall, our study contributes to the advancement of hand tracking
technology, the establishment of a validation procedure as a good-practice to
prove efficacy of deep-learning-based hand-tracking, and proves the
effectiveness of GMH-D as a reliable framework for assessing 3D hand movements
in clinical applications.
- Abstract（参考訳）: 手と指の動きの正確な3dトラッキングは、コンピュータビジョンにおいて大きな課題となる。
潜在的なアプリケーションは、人間とコンピュータの対話、仮想現実、産業、医療など、複数のドメインにまたがる。
ジェスチャー認識は目覚ましい精度を達成したが、特に手指障害の評価やリハビリテーショントレーニングの結果が正確な測定を必要とする臨床応用においては、微動の定量化がハードルとなっている。
深層学習に基づく新しい軽量フレームワークがいくつか登場してこの問題に対処しているが、指の動きを正確に確実に測定するには、確立されたゴールド標準システムに対する検証が必要である。
本稿では,Google MediaPipe Hand (GMH) によるハンドトラッキングフレームワークと,RGB-Depthカメラの深度推定を利用して,より正確な3D動作追跡を実現する改良型GMH-Dを検証することを目的とする。
臨床医が手の機能障害を評価するために一般的に実施する3つの動的運動(手指の開閉、指のタップ、指のタップ)が検討されている。
その結果,両フレームワークの時間的およびスペクトル的整合性が高いことがわかった。
しかし, 改良されたGMH-Dフレームワークは, 速度と速度の両面において, ベースラインのGMHよりも空間測定の精度が優れている。
本研究は, ハンドトラッキング技術の進歩, 深層学習に基づくハンドトラッキングの有効性を証明するための有効な方法としてのバリデーションの確立, 臨床応用における3次元手の動きを評価するための信頼性の高いフレームワークとしてのGMH-Dの有効性の証明に寄与する。
関連論文リスト
- SLAM assisted 3D tracking system for laparoscopic surgery [22.36252790404779]
本研究は,登録後タスクのためのリアルタイムモノクル3D追跡アルゴリズムを提案する。
in-vivoおよびex-vivoテストによる実験では、提案された3Dトラッキングシステムが堅牢な3Dトラッキングを提供することが示された。
論文 参考訳（メタデータ） (2024-09-18T04:00:54Z) - Deep Reinforcement Learning Empowered Activity-Aware Dynamic Health
Monitoring Systems [69.41229290253605]
既存のモニタリングアプローチは、医療機器が複数の健康指標を同時に追跡するという前提で設計されている。
これは、その範囲内で関連するすべての健康値を報告し、過剰なリソース使用と外部データの収集をもたらす可能性があることを意味します。
最適なモニタリング性能とコスト効率のバランスをとるための動的アクティビティ・アウェアヘルスモニタリング戦略(DActAHM)を提案する。
論文 参考訳（メタデータ） (2024-01-19T16:26:35Z) - HMP: Hand Motion Priors for Pose and Shape Estimation from Video [52.39020275278984]
我々は,多種多様な高品質の手の動きを特徴とするAMASSデータセットに基づいて,手動に特有な生成動作を開発する。
頑健な動きの統合は、特に隠蔽されたシナリオにおいて、パフォーマンスを著しく向上させる。
HO3DおよびDexYCBデータセットの質的および定量的評価により,本手法の有効性を実証する。
論文 参考訳（メタデータ） (2023-12-27T22:35:33Z) - A webcam-based machine learning approach for three-dimensional range of
motion evaluation [5.520419627866446]
関節可動域(ROM)は理学療法において重要な定量的指標である。
この研究は、ウェブカメラを介してリモートでアクセス可能な機械学習ベースのROM評価手法を提示し、評価する。
論文 参考訳（メタデータ） (2023-10-11T09:12:42Z) - ShaRPy: Shape Reconstruction and Hand Pose Estimation from RGB-D with
Uncertainty [6.559796851992517]
本稿では,最初のRGB-D形状再構成システムであるShaRPyを提案する。
ShaRPyはパーソナライズされた手の形を近似し、デジタルツインのより現実的で直感的な理解を促進する。
キーポイント検出ベンチマークを用いてShaRPyを評価し,筋骨格疾患の能動モニタリングのための手機能評価の質的結果を示した。
論文 参考訳（メタデータ） (2023-03-17T15:12:25Z) - Simultaneous Estimation of Hand Configurations and Finger Joint Angles
using Forearm Ultrasound [8.753262480814493]
前腕超音波画像は、手の動きを理解するのに使える筋骨格の可視化を提供する。
我々は,MPP関節角度を予測するためのCNNベースのディープラーニングパイプラインを提案する。
ヒューマン・マシン・インタフェースのリアルタイム制御を目的としたMPP関節角度と手構成の両方を推定するための低遅延パイプラインが提案されている。
論文 参考訳（メタデータ） (2022-11-29T02:06:19Z) - HMD-EgoPose: Head-Mounted Display-Based Egocentric Marker-Less Tool and
Hand Pose Estimation for Augmented Surgical Guidance [0.0]
HMD-EgoPoseは、手動とオブジェクトのポーズ推定のための単発学習に基づくアプローチである。
マーカーレスハンドと手術器具のポーズトラッキングのためのベンチマークデータセット上で,最先端の性能を示す。
論文 参考訳（メタデータ） (2022-02-24T04:07:34Z) - Monocular 3D Reconstruction of Interacting Hands via Collision-Aware
Factorized Refinements [96.40125818594952]
単眼のRGB画像から3Dインタラクションハンドを再構築する試みを初めて行った。
提案手法では, 高精度な3次元ポーズと最小の衝突で3次元ハンドメッシュを生成することができる。
論文 参考訳（メタデータ） (2021-11-01T08:24:10Z) - A Skeleton-Driven Neural Occupancy Representation for Articulated Hands [49.956892429789775]
Hand ArticuLated Occupancy (HALO) は、3Dキーポイントと神経暗黙の面の利点を橋渡しする手話の表現である。
本研究では,3次元物体を把握した手の条件生成作業に対するHALOの適用性を示す。
論文 参考訳（メタデータ） (2021-09-23T14:35:19Z) - Physics-Based Dexterous Manipulations with Estimated Hand Poses and
Residual Reinforcement Learning [52.37106940303246]
ノイズの多い入力ポーズをターゲットの仮想ポーズにマッピングするモデルを学習する。
モデルフリーハイブリッドRL+ILアプローチを用いて残留条件下で訓練する。
筆者らは,VRにおける手動物体の相互作用と,それを用いた手動物体の動作再構成という,手動姿勢推定を用いた2つのアプリケーションで,我々のフレームワークを検証した。
論文 参考訳（メタデータ） (2020-08-07T17:34:28Z) - AutoHR: A Strong End-to-end Baseline for Remote Heart Rate Measurement
with Neural Searching [76.4844593082362]
既存のエンド・ツー・エンドのネットワークが難易度が低い理由を考察し,アーキテクチャ・サーチ(NAS)を用いたリモートHR計測のための強力なベースラインを確立する。
総合的な実験は、時間内テストとクロスデータセットテストの両方で3つのベンチマークデータセットで実施される。
論文 参考訳（メタデータ） (2020-04-26T05:43:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。