論文の概要: Exploring Context-aware and LLM-driven Locomotion for Immersive Virtual Reality

• arxiv url: http://arxiv.org/abs/2504.17331v1
• Date: Thu, 24 Apr 2025 07:48:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.285514
• Title: Exploring Context-aware and LLM-driven Locomotion for Immersive Virtual Reality
• Title（参考訳）: 没入型バーチャルリアリティのためのコンテキスト認識とLCM駆動ロコモーションの探索
• Authors: Süleyman Özdel, Kadir Burak Buldu, Enkelejda Kasneci, Efe Bozkir,
• Abstract要約: 大規模言語モデル(LLM)を利用した新しい移動法を提案する。 制御器を用いたテレポーテーション,音声によるステアリング,言語モデルによるアプローチの3つの方法を評価する。 以上の結果から, LLM駆動の移動は, 確立された方法と比較して, ユーザビリティ, 存在, サイバーシックネスのスコアが同等であることが示唆された。
• 参考スコア（独自算出の注目度）: 8.469329222500726
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Locomotion plays a crucial role in shaping the user experience within virtual reality environments. In particular, hands-free locomotion offers a valuable alternative by supporting accessibility and freeing users from reliance on handheld controllers. To this end, traditional speech-based methods often depend on rigid command sets, limiting the naturalness and flexibility of interaction. In this study, we propose a novel locomotion technique powered by large language models (LLMs), which allows users to navigate virtual environments using natural language with contextual awareness. We evaluate three locomotion methods: controller-based teleportation, voice-based steering, and our language model-driven approach. Our evaluation measures include eye-tracking data analysis, including explainable machine learning through SHAP analysis as well as standardized questionnaires for usability, presence, cybersickness, and cognitive load to examine user attention and engagement. Our findings indicate that the LLM-driven locomotion possesses comparable usability, presence, and cybersickness scores to established methods like teleportation, demonstrating its novel potential as a comfortable, natural language-based, hands-free alternative. In addition, it enhances user attention within the virtual environment, suggesting greater engagement. Complementary to these findings, SHAP analysis revealed that fixation, saccade, and pupil-related features vary across techniques, indicating distinct patterns of visual attention and cognitive processing. Overall, we state that our method can facilitate hands-free locomotion in virtual spaces, especially in supporting accessibility.
• Abstract（参考訳）: ローコモーションは、仮想現実環境におけるユーザーエクスペリエンスを形成する上で重要な役割を担います。 特にハンズフリーのロコモーションは、アクセシビリティをサポートし、ユーザーがハンドヘルドコントローラーに頼らないようにする、価値ある代替手段を提供する。 この目的のために、従来の音声ベースの手法は、しばしば厳密なコマンドセットに依存し、相互作用の自然性と柔軟性を制限する。 本研究では,大規模言語モデル(LLM)を利用した新しい移動技術を提案する。 制御器を用いたテレポーテーション,音声によるステアリング,言語モデルによるアプローチの3つの方法を評価する。 評価には視線追跡データ分析、SHAP分析による機械学習、ユーザビリティ、プレゼンス、サイバーシックネス、認知的負荷に関する標準化されたアンケートなどが含まれる。 LLM駆動の移動は、テレポーテーションのような確立された方法に匹敵するユーザビリティ、存在感、サイバーシックなスコアを有しており、快適で、自然言語ベースのハンズフリーな代替手段として、その新たな可能性を実証している。 さらに、仮想環境におけるユーザの注意力を高め、エンゲージメントを高めることを示唆している。 これらの知見と相まって、SHAP分析により、固定、ササード、および瞳孔関連の特徴は、異なる視覚的注意パターンと認知的処理のパターンを示す技術によって異なることが明らかとなった。 本手法は,特にアクセシビリティ支援において,仮想空間におけるハンズフリーの移動を容易にする。

関連論文リスト

• VR-GPT: Visual Language Model for Intelligent Virtual Reality Applications [2.5022287664959446]
  本研究では,VR環境における視覚言語モデルを用いたユーザインタラクションとタスク効率向上のための先駆的アプローチを提案する。 本システムは,視覚的テキスト命令に頼ることなく,自然言語処理によるリアルタイム・直感的なユーザインタラクションを支援する。
  論文  参考訳（メタデータ） (2024-05-19T12:56:00Z)
• Tremor Reduction for Accessible Ray Based Interaction in VR Applications [0.0]
  多くの従来の2Dインタフェースのインタラクション方法は、入力機構にほとんど変更を加えることなく、VR空間で直接動作するように変換されている。 本稿では,低域通過フィルタを用いてユーザ入力ノイズの正規化を行い,光線による相互作用におけるモータの細かな要求を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2024-05-12T17:07:16Z)
• CALM: Conditional Adversarial Latent Models for Directable Virtual Characters [71.66218592749448]
  本研究では,ユーザが制御する対話型仮想キャラクタに対して,多種多様かつ指示可能な振る舞いを生成するための条件付き適応潜在モデル(CALM)を提案する。 模倣学習を用いて、CALMは人間の動きの複雑さを捉える動きの表現を学び、キャラクターの動きを直接制御できる。
  論文  参考訳（メタデータ） (2023-05-02T09:01:44Z)
• Force-Aware Interface via Electromyography for Natural VR/AR Interaction [69.1332992637271]
  我々はVR/ARにおける自然的および直感的な力入力のための学習ベースのニューラルネットワークを設計する。 我々は,3.3%の平均誤差で指の力量をリアルタイムでデコードし,キャリブレーションの少ない新規ユーザに一般化できることを実証した。 今後のVR/ARにおける、より現実的な物理性に向けた研究を進めるために、我々の研究成果を期待する。
  論文  参考訳（メタデータ） (2022-10-03T20:51:25Z)
• The Gesture Authoring Space: Authoring Customised Hand Gestures for Grasping Virtual Objects in Immersive Virtual Environments [81.5101473684021]
  本研究は、仮想オブジェクトを現実世界のようにつかむことができる、オブジェクト固有のグリップジェスチャーのためのハンドジェスチャーオーサリングツールを提案する。 提示されたソリューションは、ジェスチャー認識にテンプレートマッチングを使用し、カスタムのカスタマイズされた手の動きを設計および作成するために技術的な知識を必要としない。 本研究は,提案手法を用いて作成したジェスチャーが,ユーザによって他のユーザよりも自然な入力モダリティとして認識されていることを示した。
  論文  参考訳（メタデータ） (2022-07-03T18:33:33Z)
• Learning Effect of Lay People in Gesture-Based Locomotion in Virtual Reality [81.5101473684021]
  最も有望な方法はジェスチャーベースであり、追加のハンドヘルドハードウェアを必要としない。 最近の研究は、主に異なるロコモーションテクニックのユーザの好みとパフォーマンスに焦点を当てている。 本研究は,VRにおける手のジェスチャーに基づくロコモーションシステムへの適応の迅速さについて検討した。
  論文  参考訳（メタデータ） (2022-06-16T10:44:16Z)
• Improving Generalization of Transfer Learning Across Domains Using Spatio-Temporal Features in Autonomous Driving [45.655433907239804]
  車両シミュレーションは仮想世界で学習するために使用することができ、取得したスキルは現実世界のシナリオを扱うために転送することができる。 これらの視覚的要素は、運転中の人間の意思決定に直感的に重要です。 シーンから車両の動特性を表す時間的特徴を抽出するCNN+LSTM転送学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-15T03:26:06Z)
• ViNG: Learning Open-World Navigation with Visual Goals [82.84193221280216]
  視覚的目標達成のための学習に基づくナビゲーションシステムを提案する。 提案手法は,我々がvingと呼ぶシステムが,目標条件強化学習のための提案手法を上回っていることを示す。 我々は、ラストマイル配送や倉庫検査など、現実の多くのアプリケーションでViNGを実演する。
  論文  参考訳（メタデータ） (2020-12-17T18:22:32Z)
• Building Trust in Autonomous Vehicles: Role of Virtual Reality Driving Simulators in HMI Design [8.39368916644651]
  本研究では,生理的信号から収集した連続的客観的情報に基づいて,AVのユーザエクスペリエンスを検証する手法を提案する。 本手法を車両の感覚・計画システムに関する視覚的手がかりを提供するヘッドアップディスプレイインタフェースの設計に適用した。
  論文  参考訳（メタデータ） (2020-07-27T08:42:07Z)
• Visual Navigation Among Humans with Optimal Control as a Supervisor [72.5188978268463]
  そこで本研究では,学習に基づく知覚とモデルに基づく最適制御を組み合わせることで,人間間をナビゲートする手法を提案する。 私たちのアプローチは、新しいデータ生成ツールであるHumANavによって実現されています。 学習したナビゲーションポリシーは、将来の人間の動きを明示的に予測することなく、人間に予測し、反応できることを実証する。
  論文  参考訳（メタデータ） (2020-03-20T16:13:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。