論文の概要: Combining Vision and EMG-Based Hand Tracking for Extended Reality
Musical Instruments
- arxiv url: http://arxiv.org/abs/2307.10203v1
- Date: Thu, 13 Jul 2023 15:15:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-23 11:27:51.644818
- Title: Combining Vision and EMG-Based Hand Tracking for Extended Reality
Musical Instruments
- Title(参考訳): 拡張現実音楽機器における視覚とEMGによる手追跡の併用
- Authors: Max Graf, Mathieu Barthet
- Abstract要約: 自己閉塞は、視覚に基づく手の動き追跡システムにとって重要な課題である。
本研究では,指関節角度推定のための視覚ベースハンドトラッキングと表面筋電図(SEMG)データを組み合わせたマルチモーダルハンドトラッキングシステムを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hand tracking is a critical component of natural user interactions in
extended reality (XR) environments, including extended reality musical
instruments (XRMIs). However, self-occlusion remains a significant challenge
for vision-based hand tracking systems, leading to inaccurate results and
degraded user experiences. In this paper, we propose a multimodal hand tracking
system that combines vision-based hand tracking with surface electromyography
(sEMG) data for finger joint angle estimation. We validate the effectiveness of
our system through a series of hand pose tasks designed to cover a wide range
of gestures, including those prone to self-occlusion. By comparing the
performance of our multimodal system to a baseline vision-based tracking
method, we demonstrate that our multimodal approach significantly improves
tracking accuracy for several finger joints prone to self-occlusion. These
findings suggest that our system has the potential to enhance XR experiences by
providing more accurate and robust hand tracking, even in the presence of
self-occlusion.
- Abstract(参考訳): ハンドトラッキングは、拡張現実(XRMIs)を含む拡張現実(XR)環境での自然なユーザインタラクションの重要なコンポーネントである。
しかし、自己排除は視覚に基づく手の動き追跡システムにとって重要な課題であり、不正確な結果と劣化したユーザー体験をもたらす。
本稿では,指関節角度推定のための視覚ベースハンドトラッキングと表面筋電図(SEMG)データを組み合わせたマルチモーダルハンドトラッキングシステムを提案する。
本システムの有効性は,多岐にわたるジェスチャーをカバーした一連のポーズタスクを通じて検証する。
マルチモーダルシステムの性能をベースラインビジョンベーストラッキング法と比較することにより,複数指関節の追従精度が大幅に向上し,自閉し易いことを示す。
これらの結果から,本システムは自己閉塞の存在下においても,より正確で堅牢な手の動き追跡を提供することにより,XR体験を向上させる可能性が示唆された。
関連論文リスト
- Exploring Missing Modality in Multimodal Egocentric Datasets [96.30363067135761]
モダリティが欠如している場合でも,MMT(Missing Modality Token)という新しい概念を導入してパフォーマンスを維持する。
テストセットの半分がモダル不完全である場合、元の$sim 30%$ dropから$sim 10%$に減らします。
論文 参考訳(メタデータ) (2024-01-21T11:55:42Z) - Exploiting Modality-Specific Features For Multi-Modal Manipulation
Detection And Grounding [54.49214267905562]
マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。
本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。
本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
論文 参考訳(メタデータ) (2023-09-22T06:55:41Z) - UltraGlove: Hand Pose Estimation with Mems-Ultrasonic Sensors [14.257535961674021]
指に装着した複数のMEMS超音波センサを用いた手指追跡グローブを提案する。
実験の結果,本手法は精度,サイズに依存し,外的干渉に対して頑健であることがわかった。
論文 参考訳(メタデータ) (2023-06-22T03:41:47Z) - HOOV: Hand Out-Of-View Tracking for Proprioceptive Interaction using
Inertial Sensing [25.34222794274071]
HOOVは、VRユーザーが視野外の物体と対話できる手首回りのセンシング手法である。
単一手首の慣性センサの信号に基づいて,HOOVはユーザの手の位置を3空間で連続的に推定する。
我々の新しいデータ駆動手法は,手の位置と軌道を,手振りの連続的な推定から予測する。
論文 参考訳(メタデータ) (2023-03-13T11:25:32Z) - Reconfigurable Data Glove for Reconstructing Physical and Virtual Grasps [100.72245315180433]
本研究では,人間の手-物体相互作用の異なるモードを捉えるために,再構成可能なデータグローブの設計を提案する。
グローブは3つのモードで動作し、異なる特徴を持つ様々な下流タスクを実行する。
i)手の動きと関連力を記録し,(ii)VRの操作流速を改善するとともに,(iii)様々なツールの現実的なシミュレーション効果を生み出すことにより,システムの3つのモードを評価する。
論文 参考訳(メタデータ) (2023-01-14T05:35:50Z) - UmeTrack: Unified multi-view end-to-end hand tracking for VR [34.352638006495326]
空間における3Dハンドポーズのリアルタイム追跡は難しい問題であり、VRインタラクションにおいて重要な役割を果たす。
本稿では,世界空間における3Dハンドポーズを直接予測する多視点多フレームハンドトラッキングのための,エンドツーエンドの識別可能な統合フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-31T19:09:21Z) - Scalable and Real-time Multi-Camera Vehicle Detection,
Re-Identification, and Tracking [58.95210121654722]
理想化されたビデオストリームやキュレートされたビデオストリームの代わりに,リアルタイムで低解像度のCCTVを処理する,リアルタイムな都市規模のマルチカメラ車両追跡システムを提案する。
私たちの手法は、公共のリーダーボードで上位5人のパフォーマーにランク付けされています。
論文 参考訳(メタデータ) (2022-04-15T12:47:01Z) - HMD-EgoPose: Head-Mounted Display-Based Egocentric Marker-Less Tool and
Hand Pose Estimation for Augmented Surgical Guidance [0.0]
HMD-EgoPoseは、手動とオブジェクトのポーズ推定のための単発学習に基づくアプローチである。
マーカーレスハンドと手術器具のポーズトラッキングのためのベンチマークデータセット上で,最先端の性能を示す。
論文 参考訳(メタデータ) (2022-02-24T04:07:34Z) - Temporally Guided Articulated Hand Pose Tracking in Surgical Videos [27.525545343598527]
関節した手のポーズ追跡は未熟な問題であり、広範囲のアプリケーションでの使用の可能性を秘めている。
ポーズ予測の前にハンドポーズを組み込むことでトラッキング精度を向上させる,新しいハンドポーズ推定モデルRes152-CondPoseを提案する。
私たちのデータセットには、28の公開手術ビデオと8.1kの注釈付きハンドポーズインスタンスから76のビデオクリップが含まれています。
論文 参考訳(メタデータ) (2021-01-12T03:44:04Z) - Relational Graph Learning on Visual and Kinematics Embeddings for
Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。
本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
論文 参考訳(メタデータ) (2020-11-03T11:00:10Z) - DMD: A Large-Scale Multi-Modal Driver Monitoring Dataset for Attention
and Alertness Analysis [54.198237164152786]
視覚は運転監視システム(DMS)の最も豊かで費用対効果の高い技術である
十分に大規模で包括的なデータセットの欠如は、DMS開発の進展のボトルネックとなっている。
本稿では,実運転シナリオとシミュレーション運転シナリオを含む広範囲なデータセットであるドライバモニタリングデータセット(DMD)を紹介する。
論文 参考訳(メタデータ) (2020-08-27T12:33:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。