論文の概要: Can You Move These Over There? An LLM-based VR Mover for Supporting Object Manipulation

• arxiv url: http://arxiv.org/abs/2502.02201v1
• Date: Tue, 04 Feb 2025 10:27:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:03:13.670207
• Title: Can You Move These Over There? An LLM-based VR Mover for Supporting Object Manipulation
• Title（参考訳）: オブジェクト操作をサポートするLLMベースのVRマバー
• Authors: Xiangzhi Eric Wang, Zackary P. T. Sin, Ye Jia, Daniel Archer, Wynonna H. Y. Fong, Qing Li, Chen Li,
• Abstract要約: LLMを利用したVR Moverを提案する。これは、オブジェクト操作をサポートするユーザの声道指示を理解し、解釈できるソリューションである。 ユーザ調査の結果,VR Moverはユーザビリティ,ユーザエクスペリエンス,マルチオブジェクト操作におけるパフォーマンスの向上を実現している。
• 参考スコア（独自算出の注目度）: 12.569646616546235
• License:
• Abstract: In our daily lives, we can naturally convey instructions for the spatial manipulation of objects using words and gestures. Transposing this form of interaction into virtual reality (VR) object manipulation can be beneficial. We propose VR Mover, an LLM-empowered solution that can understand and interpret the user's vocal instruction to support object manipulation. By simply pointing and speaking, the LLM can manipulate objects without structured input. Our user study demonstrates that VR Mover enhances user usability, overall experience and performance on multi-object manipulation, while also reducing workload and arm fatigue. Users prefer the proposed natural interface for broad movements and may complementarily switch to gizmos or virtual hands for finer adjustments. These findings are believed to contribute to design implications for future LLM-based object manipulation interfaces, highlighting the potential for more intuitive and efficient user interactions in VR environments.
• Abstract（参考訳）: 日常生活では,言葉やジェスチャーを用いて物体の空間的操作の指示を自然に伝達することができる。 この形式のインタラクションを仮想現実(VR)オブジェクト操作に変換することは有益である。 LLMを利用したVR Moverを提案する。これは、オブジェクト操作をサポートするユーザの声道指示を理解し、解釈できるソリューションである。 単に指さして話すだけで、LLMは構造化された入力なしでオブジェクトを操作できる。 私たちのユーザ調査では、VR Moverは、マルチオブジェクト操作におけるユーザビリティ、全体的なエクスペリエンス、パフォーマンスを向上させると同時に、作業負荷や腕の疲労を低減します。 ユーザーは、より広い動きのために提案された自然なインターフェースを好んでおり、相補的にギズモやバーチャルハンドに切り替えて、より細かい調整を行うことができる。 これらの発見は将来のLCMベースのオブジェクト操作インタフェースの設計に寄与し、VR環境におけるより直感的で効率的なユーザインタラクションの可能性を強調している。

関連論文リスト

• VR-GPT: Visual Language Model for Intelligent Virtual Reality Applications [2.5022287664959446]
  本研究では,VR環境における視覚言語モデルを用いたユーザインタラクションとタスク効率向上のための先駆的アプローチを提案する。 本システムは,視覚的テキスト命令に頼ることなく,自然言語処理によるリアルタイム・直感的なユーザインタラクションを支援する。
  論文  参考訳（メタデータ） (2024-05-19T12:56:00Z)
• Tremor Reduction for Accessible Ray Based Interaction in VR Applications [0.0]
  多くの従来の2Dインタフェースのインタラクション方法は、入力機構にほとんど変更を加えることなく、VR空間で直接動作するように変換されている。 本稿では,低域通過フィルタを用いてユーザ入力ノイズの正規化を行い,光線による相互作用におけるモータの細かな要求を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2024-05-12T17:07:16Z)
• Learning High-Quality Navigation and Zooming on Omnidirectional Images in Virtual Reality [37.564863636844905]
  我々は,VRナビゲーションにおける視覚的明瞭度を高めるために,OmniVRと呼ばれる新しいシステムを提案する。 当社のシステムでは,VRに関心のある対象を,ユーザーが自由に見つけてズームインすることができる。
  論文  参考訳（メタデータ） (2024-05-01T07:08:24Z)
• Kinematic-aware Prompting for Generalizable Articulated Object Manipulation with LLMs [53.66070434419739]
  汎用的なオブジェクト操作は、ホームアシストロボットにとって不可欠である。 本稿では,物体のキネマティックな知識を持つ大規模言語モデルに対して,低レベル動作経路を生成するキネマティック・アウェア・プロンプト・フレームワークを提案する。 我々のフレームワークは8つのカテゴリで従来の手法よりも優れており、8つの未確認対象カテゴリに対して強力なゼロショット能力を示している。
  論文  参考訳（メタデータ） (2023-11-06T03:26:41Z)
• Universal Humanoid Motion Representations for Physics-Based Control [71.46142106079292]
  物理学に基づくヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現を提案する。 まず、大きな非構造運動データセットから人間の動きをすべて模倣できる動き模倣機を学習する。 次に、模倣者から直接スキルを蒸留することで、動作表現を作成します。
  論文  参考訳（メタデータ） (2023-10-06T20:48:43Z)
• CALM: Conditional Adversarial Latent Models for Directable Virtual Characters [71.66218592749448]
  本研究では,ユーザが制御する対話型仮想キャラクタに対して,多種多様かつ指示可能な振る舞いを生成するための条件付き適応潜在モデル(CALM)を提案する。 模倣学習を用いて、CALMは人間の動きの複雑さを捉える動きの表現を学び、キャラクターの動きを直接制御できる。
  論文  参考訳（メタデータ） (2023-05-02T09:01:44Z)
• Privacy concerns from variances in spatial navigability in VR [0.0]
  現在のバーチャルリアリティ(VR)入力デバイスは、仮想環境をナビゲートし、ユーザの動きや特定の行動習慣に関する没入的でパーソナライズされたデータを記録することができる。 本稿では,VRにおける既存のプライバシー問題に対する対処手段として,機械学習による学習アルゴリズムについて検討する。
  論文  参考訳（メタデータ） (2023-02-06T01:48:59Z)
• Force-Aware Interface via Electromyography for Natural VR/AR Interaction [69.1332992637271]
  我々はVR/ARにおける自然的および直感的な力入力のための学習ベースのニューラルネットワークを設計する。 我々は,3.3%の平均誤差で指の力量をリアルタイムでデコードし,キャリブレーションの少ない新規ユーザに一般化できることを実証した。 今後のVR/ARにおける、より現実的な物理性に向けた研究を進めるために、我々の研究成果を期待する。
  論文  参考訳（メタデータ） (2022-10-03T20:51:25Z)
• The Gesture Authoring Space: Authoring Customised Hand Gestures for Grasping Virtual Objects in Immersive Virtual Environments [81.5101473684021]
  本研究は、仮想オブジェクトを現実世界のようにつかむことができる、オブジェクト固有のグリップジェスチャーのためのハンドジェスチャーオーサリングツールを提案する。 提示されたソリューションは、ジェスチャー認識にテンプレートマッチングを使用し、カスタムのカスタマイズされた手の動きを設計および作成するために技術的な知識を必要としない。 本研究は,提案手法を用いて作成したジェスチャーが,ユーザによって他のユーザよりも自然な入力モダリティとして認識されていることを示した。
  論文  参考訳（メタデータ） (2022-07-03T18:33:33Z)
• Learning Effect of Lay People in Gesture-Based Locomotion in Virtual Reality [81.5101473684021]
  最も有望な方法はジェスチャーベースであり、追加のハンドヘルドハードウェアを必要としない。 最近の研究は、主に異なるロコモーションテクニックのユーザの好みとパフォーマンスに焦点を当てている。 本研究は,VRにおける手のジェスチャーに基づくロコモーションシステムへの適応の迅速さについて検討した。
  論文  参考訳（メタデータ） (2022-06-16T10:44:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。