論文の概要: Hands-Free VR
- arxiv url: http://arxiv.org/abs/2402.15083v1
- Date: Fri, 23 Feb 2024 04:02:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-26 15:38:07.489897
- Title: Hands-Free VR
- Title（参考訳）: ハンズフリーvr
- Authors: Jorge Askur Vazquez Fernandez, Jae Joong Lee, Santiago Andr\'es
Serrano Vacca, Alejandra Magana, Bedrich Benes, Voicu Popescu
- Abstract要約: 本稿は、VRのための音声ベースの自然言語インタフェースであるHands-Free VRを紹介する。
ユーザは音声を使ってコマンドを与え、音声音声データを音声からテキストへの深層学習モデルを用いてテキストに変換する。
テキストは、自然言語の多様性に対して堅牢な大きな言語モデルを使用して、実行可能VRコマンドにマッピングされる。
- 参考スコア（独自算出の注目度）: 46.09189595704163
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The paper introduces Hands-Free VR, a voice-based natural-language interface
for VR. The user gives a command using their voice, the speech audio data is
converted to text using a speech-to-text deep learning model that is fine-tuned
for robustness to word phonetic similarity and to spoken English accents, and
the text is mapped to an executable VR command using a large language model
that is robust to natural language diversity. Hands-Free VR was evaluated in a
controlled within-subjects study (N = 22) that asked participants to find
specific objects and to place them in various configurations. In the control
condition participants used a conventional VR user interface to grab, carry,
and position the objects using the handheld controllers. In the experimental
condition participants used Hands-Free VR. The results confirm that: (1)
Hands-Free VR is robust to spoken English accents, as for 20 of our
participants English was not their first language, and to word phonetic
similarity, correctly transcribing the voice command 96.71% of the time; (2)
Hands-Free VR is robust to natural language diversity, correctly mapping the
transcribed command to an executable command in 97.83% of the time; (3)
Hands-Free VR had a significant efficiency advantage over the conventional VR
interface in terms of task completion time, total viewpoint translation, total
view direction rotation, and total left and right hand translations; (4)
Hands-Free VR received high user preference ratings in terms of ease of use,
intuitiveness, ergonomics, reliability, and desirability.
- Abstract（参考訳）: 本稿は、VRのための音声ベースの自然言語インタフェースであるHands-Free VRを紹介する。
ユーザは音声を用いてコマンドを与え、音声音声データを音声からテキストへの深層学習モデルを用いてテキストに変換し、音声の類似性や音声英語のアクセントに頑健に調整し、自然言語の多様性に頑健な大言語モデルを用いて実行可能なVRコマンドにマッピングする。
ハンズフリーVRは、参加者に特定の物体を見つけ、様々な構成に配置するよう依頼する制御された内物体調査(N = 22)で評価された。
コントロール条件では、参加者は従来のVRユーザーインターフェースを使用して、ハンドヘルドコントローラーを使用してオブジェクトをつかみ、持ち運び、配置した。
実験では、被験者はハンズフリーvrを使用した。
The results confirm that: (1) Hands-Free VR is robust to spoken English accents, as for 20 of our participants English was not their first language, and to word phonetic similarity, correctly transcribing the voice command 96.71% of the time; (2) Hands-Free VR is robust to natural language diversity, correctly mapping the transcribed command to an executable command in 97.83% of the time; (3) Hands-Free VR had a significant efficiency advantage over the conventional VR interface in terms of task completion time, total viewpoint translation, total view direction rotation, and total left and right hand translations; (4) Hands-Free VR received high user preference ratings in terms of ease of use, intuitiveness, ergonomics, reliability, and desirability.
関連論文リスト
- VR-GPT: Visual Language Model for Intelligent Virtual Reality Applications [2.5022287664959446]
本研究では,VR環境における視覚言語モデルを用いたユーザインタラクションとタスク効率向上のための先駆的アプローチを提案する。
本システムは,視覚的テキスト命令に頼ることなく,自然言語処理によるリアルタイム・直感的なユーザインタラクションを支援する。
論文 参考訳（メタデータ） (2024-05-19T12:56:00Z) - Tremor Reduction for Accessible Ray Based Interaction in VR Applications [0.0]
多くの従来の2Dインタフェースのインタラクション方法は、入力機構にほとんど変更を加えることなく、VR空間で直接動作するように変換されている。
本稿では,低域通過フィルタを用いてユーザ入力ノイズの正規化を行い,光線による相互作用におけるモータの細かな要求を緩和する手法を提案する。
論文 参考訳（メタデータ） (2024-05-12T17:07:16Z) - Evaluating Deep Networks for Detecting User Familiarity with VR from
Hand Interactions [7.609875877250929]
会議室やオフィス、クリニックなど、共同の仮想空間への入り口として、私たちはVRドアを使用します。
ユーザーはVRに慣れていないかもしれないが、ドアを開くのに慣れているだろう。
VRに精通した7人のユーザとVRに精通していない7人のユーザからなるパイロットデータセットを使用して、6人のテストユーザ、3人の馴染みのない3人のテストユーザを、残りの8人のデータを使ってトレーニングされた分類器で評価すると、88.03%の精度を得る。
論文 参考訳（メタデータ） (2024-01-27T19:15:24Z) - Force-Aware Interface via Electromyography for Natural VR/AR Interaction [69.1332992637271]
我々はVR/ARにおける自然的および直感的な力入力のための学習ベースのニューラルネットワークを設計する。
我々は,3.3%の平均誤差で指の力量をリアルタイムでデコードし,キャリブレーションの少ない新規ユーザに一般化できることを実証した。
今後のVR/ARにおける、より現実的な物理性に向けた研究を進めるために、我々の研究成果を期待する。
論文 参考訳（メタデータ） (2022-10-03T20:51:25Z) - The Gesture Authoring Space: Authoring Customised Hand Gestures for
Grasping Virtual Objects in Immersive Virtual Environments [81.5101473684021]
本研究は、仮想オブジェクトを現実世界のようにつかむことができる、オブジェクト固有のグリップジェスチャーのためのハンドジェスチャーオーサリングツールを提案する。
提示されたソリューションは、ジェスチャー認識にテンプレートマッチングを使用し、カスタムのカスタマイズされた手の動きを設計および作成するために技術的な知識を必要としない。
本研究は,提案手法を用いて作成したジェスチャーが,ユーザによって他のユーザよりも自然な入力モダリティとして認識されていることを示した。
論文 参考訳（メタデータ） (2022-07-03T18:33:33Z) - Learning Effect of Lay People in Gesture-Based Locomotion in Virtual
Reality [81.5101473684021]
最も有望な方法はジェスチャーベースであり、追加のハンドヘルドハードウェアを必要としない。
最近の研究は、主に異なるロコモーションテクニックのユーザの好みとパフォーマンスに焦点を当てている。
本研究は,VRにおける手のジェスチャーに基づくロコモーションシステムへの適応の迅速さについて検討した。
論文 参考訳（メタデータ） (2022-06-16T10:44:16Z) - Wireless Edge-Empowered Metaverse: A Learning-Based Incentive Mechanism
for Virtual Reality [102.4151387131726]
メタバースにおけるVRサービスのための学習型インセンティブメカニズムフレームワークを提案する。
まず,仮想世界におけるVRユーザのための指標として,知覚の質を提案する。
第二に、VRユーザー(買い手)とVR SP(売り手)間のVRサービスの迅速な取引のために、オランダの二重オークション機構を設計する。
第3に,この競売プロセスの高速化を目的とした深層強化学習型競売機を設計する。
論文 参考訳（メタデータ） (2021-11-07T13:02:52Z) - Meta-Reinforcement Learning for Reliable Communication in THz/VLC
Wireless VR Networks [157.42035777757292]
屋内テラヘルツ(THz)/可視光通信(VLC)無線ネットワークにおいて,仮想現実(VR)サービスの品質向上の問題について検討した。
小型基地局(sbss)は高品質のvr画像をthzバンド経由でvrユーザーに送信し、発光ダイオード(led)は正確な屋内測位サービスを提供する。
研究したTHz/VLC無線VRネットワークのエネルギー消費を制御するには、VLCアクセスポイント(VAP)を選択的にオンにする必要がある。
論文 参考訳（メタデータ） (2021-01-29T15:57:25Z) - Guidelines for the Development of Immersive Virtual Reality Software for
Cognitive Neuroscience and Neuropsychology: The Development of Virtual
Reality Everyday Assessment Lab (VR-EAL) [0.0]
本研究は、認知神経科学および神経心理学におけるVRソフトウェア開発のためのガイドラインを提供する。
20～45歳,12～16歳のフルタイム教育を受けた25名の被験者がVR-EALの様々なバージョンを評価した。
VR-EALの最終バージョンはVRNQのすべてのサブスコアでハイスコアを獲得し、同種のカットオフを上回った。
論文 参考訳（メタデータ） (2021-01-20T14:55:57Z) - Validation of the Virtual Reality Neuroscience Questionnaire: Maximum
Duration of Immersive Virtual Reality Sessions Without the Presence of
Pertinent Adverse Symptomatology [0.0]
VRNQは、ユーザーエクスペリエンス、ゲームメカニクス、ゲーム内アシスト、VRISEの観点からVRソフトウェアの品質を評価するために開発された。
VRセッションの最大時間は、VRソフトウェアがVRNQの類似のカットオフに遭遇または超える55分から70分の間である。
より深い没入感、グラフィックとサウンドの質の向上、ゲーム内命令やプロンプトの改善により、VRISE強度の低減が図られた。
論文 参考訳（メタデータ） (2021-01-20T14:10:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。