論文の概要: Large Language Model-assisted Speech and Pointing Benefits Multiple 3D Object Selection in Virtual Reality

• arxiv url: http://arxiv.org/abs/2410.21091v1
• Date: Mon, 28 Oct 2024 14:56:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:21:31.203615
• Title: Large Language Model-assisted Speech and Pointing Benefits Multiple 3D Object Selection in Virtual Reality
• Title（参考訳）: バーチャルリアリティにおける大規模言語モデル支援音声とポインティングの多次元オブジェクト選択効果
• Authors: Junlong Chen, Jens Grubert, Per Ola Kristensson,
• Abstract要約: マルチモーダル音声とレイキャストインタラクション技術を用いて,多目的選択タスクを支援するために,大規模言語モデルを活用する可能性を検討する。 その結果,導入したAssistVRは,複数の対象物が存在する場合のベースライン技術よりも優れていた。
• 参考スコア（独自算出の注目度）: 20.669785157017486
• License:
• Abstract: Selection of occluded objects is a challenging problem in virtual reality, even more so if multiple objects are involved. With the advent of new artificial intelligence technologies, we explore the possibility of leveraging large language models to assist multi-object selection tasks in virtual reality via a multimodal speech and raycast interaction technique. We validate the findings in a comparative user study (n=24), where participants selected target objects in a virtual reality scene with different levels of scene perplexity. The performance metrics and user experience metrics are compared against a mini-map based occluded object selection technique that serves as the baseline. Results indicate that the introduced technique, AssistVR, outperforms the baseline technique when there are multiple target objects. Contrary to the common belief for speech interfaces, AssistVR was able to outperform the baseline even when the target objects were difficult to reference verbally. This work demonstrates the viability and interaction potential of an intelligent multimodal interactive system powered by large laguage models. Based on the results, we discuss the implications for design of future intelligent multimodal interactive systems in immersive environments.
• Abstract（参考訳）: 隠されたオブジェクトの選択は、複数のオブジェクトが関与しているとしても、仮想現実において難しい問題である。 新たな人工知能技術の出現に伴い、多モーダル音声とレイキャストインタラクション技術を用いて、多目的選択タスクをバーチャルリアリティーで支援するために、大規模言語モデルを活用する可能性を探る。 本研究は,仮想現実感の場面において,被験者が対象対象物を選択し,シーンの難易度が異なる比較ユーザスタディ(n=24)で検証した。 パフォーマンス指標とユーザエクスペリエンス指標を,ベースラインとして機能するミニマップベースの隠蔽オブジェクト選択技術と比較する。 その結果,導入したAssistVRは,複数の対象物が存在する場合のベースライン技術よりも優れていた。 音声インタフェースの一般的な信念とは対照的に、AssistVRは、ターゲットオブジェクトが言葉で参照することが困難であった場合でも、ベースラインを上回りました。 本研究は,大規模ラゲージモデルを用いた知的マルチモーダル対話システムの実現可能性と相互作用の可能性を示す。 本研究は,没入型環境における未来の知的マルチモーダル対話型システムの設計の意義について考察する。

関連論文リスト

• Structured Spatial Reasoning with Open Vocabulary Object Detectors [2.089191490381739]
  オブジェクト間の空間的関係に関する推論は多くの実世界のロボット作業において不可欠である。 我々は、リッチな3次元幾何学的特徴と最先端のオープンボキャブラリオブジェクト検出器を統合する構造的確率的アプローチを導入する。 この手法は、空間推論タスクにおける最先端ビジョン・言語モデル(VLM)のゼロショット性能を評価・比較する。
  論文  参考訳（メタデータ） (2024-10-09T19:37:01Z)
• Multimodal 3D Fusion and In-Situ Learning for Spatially Aware AI [10.335943413484815]
  拡張現実における仮想世界と物理世界のシームレスな統合は、物理的な環境を意味的に「理解する」システムから恩恵を受ける。 本稿では,意味的知識と言語的知識を幾何学的表現と一体化する多モード3Dオブジェクト表現を提案する。 提案システムの有用性を,Magic Leap 2上の2つの実世界のARアプリケーションを用いて実証する:a) 自然言語を用いた物理環境における空間探索,b) 時間とともにオブジェクトの変化を追跡するインテリジェントなインベントリシステム。
  論文  参考訳（メタデータ） (2024-10-06T23:25:21Z)
• Articulate-Anything: Automatic Modeling of Articulated Objects via a Vision-Language Foundation Model [35.184607650708784]
  Articulate-Anythingは、テキスト、画像、ビデオを含む多くの入力モダリティから、多種多様な複雑なオブジェクトの明瞭化を自動化する。 本システムでは,メッシュ検索機構を通じて既存の3Dデータセットを,反復的に提案,評価,洗練を行うアクタ・クリティカル・システムとともに活用する。
  論文  参考訳（メタデータ） (2024-10-03T19:42:16Z)
• LVLM-Interpret: An Interpretability Tool for Large Vision-Language Models [50.259006481656094]
  本稿では,大規模視覚言語モデルの内部メカニズムの理解を目的とした対話型アプリケーションを提案する。 このインタフェースは, 画像パッチの解釈可能性を高めるために設計されており, 応答の生成に有効である。 本稿では,一般的な大規模マルチモーダルモデルであるLLaVAにおける障害機構の理解に,アプリケーションがどのように役立つかのケーススタディを示す。
  論文  参考訳（メタデータ） (2024-04-03T23:57:34Z)
• MEIA: Multimodal Embodied Perception and Interaction in Unknown Environments [82.67236400004826]
  本稿では,自然言語で表現されたハイレベルなタスクを実行可能なアクションのシーケンスに変換するための,MEIA(Multimodal Embodied Interactive Agent)を提案する。 MEMモジュールは、多様な要件とロボットの能力に基づいて、MEIAが実行可能なアクションプランを生成することを可能にする。
  論文  参考訳（メタデータ） (2024-02-01T02:43:20Z)
• Contextual Object Detection with Multimodal Large Language Models [66.15566719178327]
  本稿では,コンテキストオブジェクト検出の新たな研究課題について紹介する。 言語クローゼテスト,視覚キャプション,質問応答の3つの代表的なシナリオについて検討した。 本稿では、視覚的コンテキストのエンドツーエンドの微分可能なモデリングが可能な統合マルチモーダルモデルContextDETを提案する。
  論文  参考訳（メタデータ） (2023-05-29T17:50:33Z)
• Lifelong Ensemble Learning based on Multiple Representations for Few-Shot Object Recognition [6.282068591820947]
  本稿では,複数表現に基づく一生涯のアンサンブル学習手法を提案する。 生涯学習を容易にするため、各アプローチは、オブジェクト情報を即座に保存して検索するメモリユニットを備える。 提案手法の有効性を,オフラインおよびオープンエンドシナリオで評価するために,幅広い実験を行った。
  論文  参考訳（メタデータ） (2022-05-04T10:29:10Z)
• MetaGraspNet: A Large-Scale Benchmark Dataset for Vision-driven Robotic Grasping via Physics-based Metaverse Synthesis [78.26022688167133]
  本稿では,物理に基づくメタバース合成による視覚駆動型ロボットグルーピングのための大規模ベンチマークデータセットを提案する。 提案するデータセットには,10万の画像と25種類のオブジェクトが含まれている。 また,オブジェクト検出とセグメンテーション性能を評価するためのデータセットとともに,新しいレイアウト重み付け性能指標を提案する。
  論文  参考訳（メタデータ） (2021-12-29T17:23:24Z)
• Multi-modal Transformers Excel at Class-agnostic Object Detection [105.10403103027306]
  既存の手法では、人間の理解可能な意味論によって支配されるトップダウンの監視信号が欠落していると論じる。 マルチスケール特徴処理と変形可能な自己アテンションを用いた効率よく柔軟なMViTアーキテクチャを開発した。 多様なアプリケーションにおけるMViT提案の重要性を示す。
  論文  参考訳（メタデータ） (2021-11-22T18:59:29Z)
• INVIGORATE: Interactive Visual Grounding and Grasping in Clutter [56.00554240240515]
  INVIGORATEは、自然言語で人間と対話し、特定の物体をクラッタで把握するロボットシステムである。 我々は、物体検出、視覚的接地、質問生成、OBR検出と把握のために、別々のニューラルネットワークを訓練する。 我々は、学習したニューラルネットワークモジュールを統合する、部分的に観測可能なマルコフ決定プロセス(POMDP)を構築します。
  論文  参考訳（メタデータ） (2021-08-25T07:35:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。