論文の概要: HOOV: Hand Out-Of-View Tracking for Proprioceptive Interaction using Inertial Sensing

• arxiv url: http://arxiv.org/abs/2303.07016v1
• Date: Mon, 13 Mar 2023 11:25:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-14 15:27:42.548366
• Title: HOOV: Hand Out-Of-View Tracking for Proprioceptive Interaction using Inertial Sensing
• Title（参考訳）: HOOV:慣性センシングを用いた触覚対話のための手動外視追跡
• Authors: Paul Streli, Rayan Armani, Yi Fei Cheng and Christian Holz
• Abstract要約: HOOVは、VRユーザーが視野外の物体と対話できる手首回りのセンシング手法である。 単一手首の慣性センサの信号に基づいて,HOOVはユーザの手の位置を3空間で連続的に推定する。 我々の新しいデータ駆動手法は,手の位置と軌道を,手振りの連続的な推定から予測する。
• 参考スコア（独自算出の注目度）: 25.34222794274071
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current Virtual Reality systems are designed for interaction under visual control. Using built-in cameras, headsets track the user's hands or hand-held controllers while they are inside the field of view. Current systems thus ignore the user's interaction with off-screen content -- virtual objects that the user could quickly access through proprioception without requiring laborious head motions to bring them into focus. In this paper, we present HOOV, a wrist-worn sensing method that allows VR users to interact with objects outside their field of view. Based on the signals of a single wrist-worn inertial sensor, HOOV continuously estimates the user's hand position in 3-space to complement the headset's tracking as the hands leave the tracking range. Our novel data-driven method predicts hand positions and trajectories from just the continuous estimation of hand orientation, which by itself is stable based solely on inertial observations. Our inertial sensing simultaneously detects finger pinching to register off-screen selection events, confirms them using a haptic actuator inside our wrist device, and thus allows users to select, grab, and drop virtual content. We compared HOOV's performance with a camera-based optical motion capture system in two folds. In the first evaluation, participants interacted based on tracking information from the motion capture system to assess the accuracy of their proprioceptive input, whereas in the second, they interacted based on HOOV's real-time estimations. We found that HOOV's target-agnostic estimations had a mean tracking error of 7.7 cm, which allowed participants to reliably access virtual objects around their body without first bringing them into focus. We demonstrate several applications that leverage the larger input space HOOV opens up for quick proprioceptive interaction, and conclude by discussing the potential of our technique.
• Abstract（参考訳）: 現在の仮想現実システムは、視覚制御下でのインタラクションのために設計されている。 内蔵カメラを使って、ヘッドセットは視野の中にいる間、ユーザーの手やハンドヘルドコントローラーを追跡します。 したがって現在のシステムは、ユーザの画面外コンテンツとのインタラクションを無視する — ユーザが集中させるために頭の動きを煩雑に必要とせずに、プロピオセプションを通じて素早くアクセス可能な仮想オブジェクト — 。 本稿では,VR利用者が視野外の物体と対話できる手首回りのセンシング手法であるHOOVを提案する。 単一手首の慣性センサーの信号に基づいて、HOOVは3空間のユーザーの手の位置を連続的に推定し、手がトラッキング範囲を離れるとヘッドセットのトラッキングを補完する。 我々の新しいデータ駆動手法は、慣性観測のみに基づく安定な手の位置と軌道の連続的な推定から手の位置と軌道を予測する。 慣性センシングは、同時に指ピンチングを検出して画面外選択イベントを登録し、手首デバイス内の触覚アクチュエータを用いて確認し、仮想コンテンツの選択、把持、ドロップを可能にする。 我々はHOOVの性能をカメラベースの光学式モーションキャプチャシステムと比較した。 第1の評価では、参加者はモーションキャプチャーシステムからの追跡情報に基づいて相互作用を行い、その精度を評価する一方、第2に、HOOVのリアルタイム推定に基づいて相互作用した。 HOOVの目標に依存しない推定値の平均追跡誤差は7.7cmであり、参加者は最初に焦点を合わせることなく、身体の仮想オブジェクトに確実にアクセスすることができる。 我々は,より広い入力空間のhoovを活用したいくつかの応用例を示し,本手法の可能性を議論して結論づける。

関連論文リスト

• Tremor Reduction for Accessible Ray Based Interaction in VR Applications [0.0]
  多くの従来の2Dインタフェースのインタラクション方法は、入力機構にほとんど変更を加えることなく、VR空間で直接動作するように変換されている。 本稿では,低域通過フィルタを用いてユーザ入力ノイズの正規化を行い,光線による相互作用におけるモータの細かな要求を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2024-05-12T17:07:16Z)
• Benchmarks and Challenges in Pose Estimation for Egocentric Hand Interactions with Objects [89.95728475983263]
  ロボティクス、AR/VR、アクション認識、モーション生成といったタスクにおいて、自己中心的な視点からこのようなインタラクションを理解することが重要である。 我々は、AmblyHandsとARCTICデータセットに基づいたHANDS23チャレンジを、慎重に設計されたトレーニングとテストの分割に基づいて設計する。 提案手法の結果と近年のリーダーボードのベースラインに基づいて,3Dハンド(オブジェクト)再構成タスクの徹底的な解析を行う。
  論文  参考訳（メタデータ） (2024-03-25T05:12:21Z)
• Neural feels with neural fields: Visuo-tactile perception for in-hand manipulation [57.60490773016364]
  マルチフィンガーハンドの視覚と触覚を組み合わせることで,手動操作時の物体の姿勢と形状を推定する。 提案手法であるNeuralFeelsは,ニューラルネットワークをオンラインで学習することでオブジェクトの形状を符号化し,ポーズグラフ問題を最適化して共同で追跡する。 私たちの結果は、タッチが少なくとも、洗練され、そして最も最良のものは、手動操作中に視覚的推定を曖昧にすることを示しています。
  論文  参考訳（メタデータ） (2023-12-20T22:36:37Z)
• Force-Aware Interface via Electromyography for Natural VR/AR Interaction [69.1332992637271]
  我々はVR/ARにおける自然的および直感的な力入力のための学習ベースのニューラルネットワークを設計する。 我々は,3.3%の平均誤差で指の力量をリアルタイムでデコードし,キャリブレーションの少ない新規ユーザに一般化できることを実証した。 今後のVR/ARにおける、より現実的な物理性に向けた研究を進めるために、我々の研究成果を期待する。
  論文  参考訳（メタデータ） (2022-10-03T20:51:25Z)
• AvatarPoser: Articulated Full-Body Pose Tracking from Sparse Motion Sensing [24.053096294334694]
  AvatarPoserは、ユーザの頭と手の動きのみを入力として、世界座標におけるフルボディポーズを予測する最初の学習ベースの方法である。 提案手法はTransformerエンコーダ上に構築され,入力信号から深い特徴を抽出し,学習した局所的な関節方向からグローバルな動きを分離する。 我々の評価では、AvatarPoserは大規模なモーションキャプチャーデータセットの評価において、新しい最先端の結果を得た。
  論文  参考訳（メタデータ） (2022-07-27T20:52:39Z)
• Learning Perceptual Locomotion on Uneven Terrains using Sparse Visual Observations [75.60524561611008]
  この研究は、人中心の環境において、よく見られるバンプ、ランプ、階段の広い範囲にわたる知覚的移動を達成するために、スパースな視覚的観察の使用を活用することを目的としている。 まず、関心の均一な面を表すことのできる最小限の視覚入力を定式化し、このような外受容的・固有受容的データを統合した学習フレームワークを提案する。 本研究では, 平地を全方向歩行し, 障害物のある地形を前方移動させるタスクにおいて, 学習方針を検証し, 高い成功率を示す。
  論文  参考訳（メタデータ） (2021-09-28T20:25:10Z)
• UNOC: Understanding Occlusion for Embodied Presence in Virtual Reality [12.349749717823736]
  本稿では,内装体追跡のための新しいデータ駆動型フレームワークを提案する。 まず、体と指の両方の動作で、大規模なモーションキャプチャーデータセットを収集する。 次に, 被写体部を推定する深層ニューラルネットワークを学習し, 被写体部から被写体部を抽出し, 被写体部から被写体部を推定する。
  論文  参考訳（メタデータ） (2020-11-12T09:31:09Z)
• Physics-Based Dexterous Manipulations with Estimated Hand Poses and Residual Reinforcement Learning [52.37106940303246]
  ノイズの多い入力ポーズをターゲットの仮想ポーズにマッピングするモデルを学習する。 モデルフリーハイブリッドRL+ILアプローチを用いて残留条件下で訓練する。 筆者らは,VRにおける手動物体の相互作用と,それを用いた手動物体の動作再構成という,手動姿勢推定を用いた2つのアプリケーションで,我々のフレームワークを検証した。
  論文  参考訳（メタデータ） (2020-08-07T17:34:28Z)
• Assisted Perception: Optimizing Observations to Communicate State [112.40598205054994]
  我々は、ロボット遠隔操作や視覚障害のあるナビゲーションといったタスクにおいて、ユーザが世界の状態を見積もるのを支援することを目的としている。 ユーザによって処理された場合、より正確な内部状態推定につながる新しい観測結果を合成する。
  論文  参考訳（メタデータ） (2020-08-06T19:08:05Z)
• When We First Met: Visual-Inertial Person Localization for Co-Robot Rendezvous [29.922954461039698]
  ウェアラブル慣性計測装置(IMU)によって測定された動きとビデオ中の人物の動きを容易に一致させることができる視覚慣性特徴空間の学習法を提案する。 提案手法は,IMUデータとビデオの5秒間のみを用いて,80.7%の精度で目標人物を正確に位置決めすることができる。
  論文  参考訳（メタデータ） (2020-06-17T16:15:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。