論文の概要: TouchInsight: Uncertainty-aware Rapid Touch and Text Input for Mixed Reality from Egocentric Vision
- arxiv url: http://arxiv.org/abs/2410.05940v1
- Date: Tue, 8 Oct 2024 11:42:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-01 12:00:27.542119
- Title: TouchInsight: Uncertainty-aware Rapid Touch and Text Input for Mixed Reality from Egocentric Vision
- Title(参考訳): TouchInsight:Egocentric Visionによる複合現実感のための不確実性を認識したラピッドタッチとテキスト入力
- Authors: Paul Streli, Mark Richardson, Fadi Botros, Shugao Ma, Robert Wang, Christian Holz,
- Abstract要約: 任意の物理的表面上の10本の指すべてからタッチ入力を検出するリアルタイムパイプラインを提案する。
筆者らのTouchInsightは,タッチイベントの瞬間,指の接触,タッチ位置を予測するニューラルネットワークを備える。
- 参考スコア(独自算出の注目度): 25.271209425555906
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: While passive surfaces offer numerous benefits for interaction in mixed reality, reliably detecting touch input solely from head-mounted cameras has been a long-standing challenge. Camera specifics, hand self-occlusion, and rapid movements of both head and fingers introduce considerable uncertainty about the exact location of touch events. Existing methods have thus not been capable of achieving the performance needed for robust interaction. In this paper, we present a real-time pipeline that detects touch input from all ten fingers on any physical surface, purely based on egocentric hand tracking. Our method TouchInsight comprises a neural network to predict the moment of a touch event, the finger making contact, and the touch location. TouchInsight represents locations through a bivariate Gaussian distribution to account for uncertainties due to sensing inaccuracies, which we resolve through contextual priors to accurately infer intended user input. We first evaluated our method offline and found that it locates input events with a mean error of 6.3 mm, and accurately detects touch events (F1=0.99) and identifies the finger used (F1=0.96). In an online evaluation, we then demonstrate the effectiveness of our approach for a core application of dexterous touch input: two-handed text entry. In our study, participants typed 37.0 words per minute with an uncorrected error rate of 2.9% on average.
- Abstract(参考訳): 受動的表面は複合現実の相互作用に多くの利点をもたらすが、ヘッドマウントカメラのみからタッチ入力を確実に検出することは長年の課題であった。
カメラの特徴、手の自己閉塞、頭部と指の急激な動きは、タッチイベントの正確な位置についてかなりの不確実性をもたらす。
既存の手法では、ロバストな相互作用に必要な性能を達成できない。
本稿では,任意の物理的表面上の10本の指すべてからタッチ入力を検出するリアルタイムパイプラインを提案する。
筆者らのTouchInsightは,タッチイベントの瞬間,指の接触,タッチ位置を予測するニューラルネットワークを備える。
TouchInsightは、2変数のガウス分布を通して位置を表現し、不正確な検出によって不確かさを考慮します。
まず,本手法をオフラインで評価し,平均誤差6.3mmで入力イベントを検出し,タッチイベントを正確に検出し(F1=0.99),使用する指を特定する(F1=0.96)。
オンライン評価では,両手によるテキスト入力によるデキスタラスタッチ入力のコアアプリケーションに対するアプローチの有効性を実証する。
被験者は平均2.9%の誤り率で毎分37.0語を入力した。
関連論文リスト
- Digitizing Touch with an Artificial Multimodal Fingertip [51.7029315337739]
人間とロボットはどちらも、周囲の環境を知覚し、相互作用するためにタッチを使うことの恩恵を受ける。
ここでは、タッチのデジタル化を改善するための概念的および技術革新について述べる。
これらの進歩は、高度なセンシング機能を備えた人工指型センサーに具現化されている。
論文 参考訳(メタデータ) (2024-11-04T18:38:50Z) - Capturing complex hand movements and object interactions using machine learning-powered stretchable smart textile gloves [9.838013581109681]
手の動きをリアルタイムに追跡することは、人間とコンピュータの相互作用、メタバース、ロボット工学、遠隔医療に多くの応用がある。
そこで本研究では, 伸縮性, 洗浄性を有するスマートグローブ, ヘリカルセンサ糸, 慣性測定ユニットを用いた手指運動の高精度かつダイナミックな追跡を報告する。
センサ糸は高いダイナミックレンジを有し, 0.005 %の低い155 %のひずみに応答し, 広範囲の使用および洗浄サイクルの安定性を示す。
論文 参考訳(メタデータ) (2024-10-03T05:32:16Z) - Learning Visuotactile Skills with Two Multifingered Hands [80.99370364907278]
マルチフィンガーハンドとバイソタクティブルデータを用いたバイマニアルシステムを用いて,人間の実演からの学習を探索する。
以上の結果から,バイスオタクティブルデータからの両指多指操作における有望な進歩が示唆された。
論文 参考訳(メタデータ) (2024-04-25T17:59:41Z) - A model-free approach to fingertip slip and disturbance detection for
grasp stability inference [0.0]
触覚センサを用いた握り安定性の評価手法を提案する。
我々は、アレグロハンドに搭載された高感度のウスキン触覚センサーを用いて、我々の手法を検証、検証した。
論文 参考訳(メタデータ) (2023-11-22T09:04:26Z) - FaceTouch: Detecting hand-to-face touch with supervised contrastive
learning to assist in tracing infectious disease [6.164223149261533]
FaceTouchは、ビデオチャット、バスの映像、CCTVのフィードなど、手動による触覚の検出を目指している。
これは、手の動きと顔の近さを単純に識別する以上の複雑な都市シナリオで有用であることが示されている。
論文 参考訳(メタデータ) (2023-08-24T14:55:38Z) - Agile gesture recognition for capacitive sensing devices: adapting
on-the-job [55.40855017016652]
本システムでは, コンデンサセンサからの信号を手の動き認識器に組み込んだ手動作認識システムを提案する。
コントローラは、着用者5本の指それぞれからリアルタイム信号を生成する。
機械学習技術を用いて時系列信号を解析し,500ms以内で5本の指を表現できる3つの特徴を同定する。
論文 参考訳(メタデータ) (2023-05-12T17:24:02Z) - HOOV: Hand Out-Of-View Tracking for Proprioceptive Interaction using
Inertial Sensing [25.34222794274071]
HOOVは、VRユーザーが視野外の物体と対話できる手首回りのセンシング手法である。
単一手首の慣性センサの信号に基づいて,HOOVはユーザの手の位置を3空間で連続的に推定する。
我々の新しいデータ駆動手法は,手の位置と軌道を,手振りの連続的な推定から予測する。
論文 参考訳(メタデータ) (2023-03-13T11:25:32Z) - Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
人間は触覚と触覚に頼っている。
視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。
本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
論文 参考訳(メタデータ) (2023-03-10T16:27:37Z) - Hand gesture recognition using 802.11ad mmWave sensor in the mobile
device [2.5476515662939563]
スマートフォンにおける802.11ad 60GHz (mmWave) 技術を用いたAI支援手振り認識の実現可能性について検討する。
我々は、時間分割デュプレックス(TDD)によってレーダーセンシングと通信波形が共存できるプロトタイプシステムを構築した。
センシングデータを収集し、100ミリ秒以内にジェスチャーを予測する。
論文 参考訳(メタデータ) (2022-11-14T03:36:17Z) - Mobile Behavioral Biometrics for Passive Authentication [65.94403066225384]
本研究は, 単モーダルおよび多モーダルな行動的生体特性の比較分析を行った。
HuMIdbは、最大かつ最も包括的なモバイルユーザインタラクションデータベースである。
我々の実験では、最も識別可能な背景センサーは磁力計であり、タッチタスクではキーストロークで最良の結果が得られる。
論文 参考訳(メタデータ) (2022-03-14T17:05:59Z) - Physics-Based Dexterous Manipulations with Estimated Hand Poses and
Residual Reinforcement Learning [52.37106940303246]
ノイズの多い入力ポーズをターゲットの仮想ポーズにマッピングするモデルを学習する。
モデルフリーハイブリッドRL+ILアプローチを用いて残留条件下で訓練する。
筆者らは,VRにおける手動物体の相互作用と,それを用いた手動物体の動作再構成という,手動姿勢推定を用いた2つのアプリケーションで,我々のフレームワークを検証した。
論文 参考訳(メタデータ) (2020-08-07T17:34:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。