論文の概要: EgoTouch: On-Body Touch Input Using AR/VR Headset Cameras

• arxiv url: http://arxiv.org/abs/2509.01786v1
• Date: Mon, 01 Sep 2025 21:32:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.842582
• Title: EgoTouch: On-Body Touch Input Using AR/VR Headset Cameras
• Title（参考訳）: EgoTouch:AR/VRヘッドセットカメラを用いたオンボディタッチ入力
• Authors: Vimal Mollyn, Chris Harrison,
• Abstract要約: 我々は、RGBカメラのみを用いて、高精度で素手(つまり、ユーザの特別な計測装置がない)の皮膚入力を実証した。 提案手法は, 様々な照明条件において精度が高く, 頑健であることを示す。 これらは、より完全なオンスキンインターフェースをアンロックするために必要な技術的要素だと考えています。
• 参考スコア（独自算出の注目度）: 13.852935460131896
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In augmented and virtual reality (AR/VR) experiences, a user's arms and hands can provide a convenient and tactile surface for touch input. Prior work has shown on-body input to have significant speed, accuracy, and ergonomic benefits over in-air interfaces, which are common today. In this work, we demonstrate high accuracy, bare hands (i.e., no special instrumentation of the user) skin input using just an RGB camera, like those already integrated into all modern XR headsets. Our results show this approach can be accurate, and robust across diverse lighting conditions, skin tones, and body motion (e.g., input while walking). Finally, our pipeline also provides rich input metadata including touch force, finger identification, angle of attack, and rotation. We believe these are the requisite technical ingredients to more fully unlock on-skin interfaces that have been well motivated in the HCI literature but have lacked robust and practical methods.
• Abstract（参考訳）: 拡張現実(AR/VR)体験において、ユーザの腕と手は、タッチ入力のための便利で触覚的な表面を提供することができる。 これまでの研究では、ボディ上の入力は空気中のインターフェースよりも大幅にスピード、正確さ、人間工学的な利点を持つことが示されており、これは今日では一般的である。 本研究では,既存のXRヘッドセットにすでに組み込まれているような,RGBカメラのみでの皮膚入力を,高精度で素手(つまり,ユーザの特別な計測装置がない)で実証する。 以上の結果から, 様々な照明条件, 肌のトーン, 体の動き(歩行中の入力など)において, このアプローチは正確かつ堅牢であることが示唆された。 最後に、私たちのパイプラインは、タッチ力、指の識別、攻撃角、回転を含む豊富な入力メタデータも提供します。 われわれはこれらが、HCIの文献でよく動機付けられてきたが、堅牢で実用的な手法が欠如しているオン・スキン・インターフェースをより完全にアンロックするために必要な技術要素であると信じている。

関連論文リスト

• EclipseTouch: Touch Segmentation on Ad Hoc Surfaces using Worn Infrared Shadow Casting [14.237453119638516]
  そこで本研究では,非構造面上のタッチイベントを検出するために,システム名と呼ばれる新たなヘッドセット統合手法を提案する。 我々は、コンピュータトリガーカメラと1つ以上の赤外線エミッターを組み合わせて、構造化された影を作り、そこから正確なホバリング距離を推定することができる。 本手法は, 表面材料, 相互作用方向, 環境照明など, 様々な条件下でどのように機能するかを論じる。
  論文  参考訳（メタデータ） (2025-09-03T15:59:28Z)
• EgoPressure: A Dataset for Hand Pressure and Pose Estimation in Egocentric Vision [69.1005706608681]
  EgoPressureは、詳細なタッチ接触と圧力相互作用をキャプチャする、新しいエゴセントリックなデータセットである。 本データセットは,頭部に装着した1台のKinectカメラと静止した7台のKinectカメラで同時に捉えた21人の被験者からの5時間の対話を収録した。
  論文  参考訳（メタデータ） (2024-09-03T18:53:32Z)
• Learning In-Hand Translation Using Tactile Skin With Shear and Normal Force Sensing [43.269672740168396]
  3次せん断力と2次正規力のゼロショット・シミュレートを可能にする触覚皮膚センサモデルを提案する。 触覚センシングが様々な未確認オブジェクト特性へのポリシー適応をどのように促進するかを評価するために、広範囲な実世界の実験を行う。
  論文  参考訳（メタデータ） (2024-07-10T17:52:30Z)
• Typing on Any Surface: A Deep Learning-based Method for Real-Time Keystroke Detection in Augmented Reality [4.857109990499532]
  空中キーボードインターフェース、ワイヤレスキーボード、または音声入力は、エルゴノミクス設計が貧弱で、精度が限られているか、単に公の場で使うのが恥ずかしい。 本稿では、ユーザ視点のRGBビデオストリームから、ARアプリケーションがキーストロークを正確に予測できるディープラーニングベースのアプローチを提案し、検証する。 既製ハンドランドマーク抽出器と,適応型畳み込みリカレントニューラルネットワーク(C-RNN)を併用した2段階モデルを開発した。
  論文  参考訳（メタデータ） (2023-08-31T23:58:25Z)
• Force-Aware Interface via Electromyography for Natural VR/AR Interaction [69.1332992637271]
  我々はVR/ARにおける自然的および直感的な力入力のための学習ベースのニューラルネットワークを設計する。 我々は,3.3%の平均誤差で指の力量をリアルタイムでデコードし,キャリブレーションの少ない新規ユーザに一般化できることを実証した。 今後のVR/ARにおける、より現実的な物理性に向けた研究を進めるために、我々の研究成果を期待する。
  論文  参考訳（メタデータ） (2022-10-03T20:51:25Z)
• QuestSim: Human Motion Tracking from Sparse Sensors with Simulated Avatars [80.05743236282564]
  人間の身体の動きのリアルタイム追跡は、AR/VRにおける没入感のある体験に不可欠である。 本稿では,HMDと2つのコントローラから疎信号を取り出す強化学習フレームワークを提案する。 一つのポリシーは、多様な移動スタイル、異なる体の大きさ、新しい環境に対して堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-09-20T00:25:54Z)
• The Gesture Authoring Space: Authoring Customised Hand Gestures for Grasping Virtual Objects in Immersive Virtual Environments [81.5101473684021]
  本研究は、仮想オブジェクトを現実世界のようにつかむことができる、オブジェクト固有のグリップジェスチャーのためのハンドジェスチャーオーサリングツールを提案する。 提示されたソリューションは、ジェスチャー認識にテンプレートマッチングを使用し、カスタムのカスタマイズされた手の動きを設計および作成するために技術的な知識を必要としない。 本研究は,提案手法を用いて作成したジェスチャーが,ユーザによって他のユーザよりも自然な入力モダリティとして認識されていることを示した。
  論文  参考訳（メタデータ） (2022-07-03T18:33:33Z)
• Unmasking Communication Partners: A Low-Cost AI Solution for Digitally Removing Head-Mounted Displays in VR-Based Telepresence [62.997667081978825]
  バーチャルリアリティ(VR)における対面会話は、被験者がヘッドマウントディスプレイ(HMD)を装着する際の課題である 過去の研究では、高コストハードウェアを用いた実験室環境では、VRで個人用アバターを用いた高忠実な顔再構成が可能であることが示されている。 我々は,オープンソース,フリーソフトウェア,安価なハードウェアのみを利用する,このタスクのための最初の低コストシステムを提案する。
  論文  参考訳（メタデータ） (2020-11-06T23:17:12Z)
• Physics-Based Dexterous Manipulations with Estimated Hand Poses and Residual Reinforcement Learning [52.37106940303246]
  ノイズの多い入力ポーズをターゲットの仮想ポーズにマッピングするモデルを学習する。 モデルフリーハイブリッドRL+ILアプローチを用いて残留条件下で訓練する。 筆者らは,VRにおける手動物体の相互作用と,それを用いた手動物体の動作再構成という,手動姿勢推定を用いた2つのアプリケーションで,我々のフレームワークを検証した。
  論文  参考訳（メタデータ） (2020-08-07T17:34:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。