論文の概要: Harnessing Large Language Model for Virtual Reality Exploration Testing: A Case Study
- arxiv url: http://arxiv.org/abs/2501.05625v1
- Date: Thu, 09 Jan 2025 23:48:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-13 15:28:07.940672
- Title: Harnessing Large Language Model for Virtual Reality Exploration Testing: A Case Study
- Title（参考訳）: バーチャルリアリティー探索テストのための大規模言語モデルのハーネス化--事例研究
- Authors: Zhenyu Qi, Haotang Li, Hao Qin, Kebin Peng, Sen He, Xue Qin,
- Abstract要約: 大きな言語モデル(LLM)は、情報を長期間保持し、視覚的データとテキストデータの両方を解析する能力を持ち、VRの進化するユーザーインターフェイスの複雑さを解読するための潜在的な鍵として浮上している。
我々は,VR探究試験における視野分析(FOV)におけるLCM(特にGPT-4o)の活用の可能性を検討するために,ケーススタディを実施している。
- 参考スコア（独自算出の注目度）: 5.927266345229359
- License:
- Abstract: As the Virtual Reality (VR) industry expands, the need for automated GUI testing is growing rapidly. Large Language Models (LLMs), capable of retaining information long-term and analyzing both visual and textual data, are emerging as a potential key to deciphering the complexities of VR's evolving user interfaces. In this paper, we conduct a case study to investigate the capability of using LLMs, particularly GPT-4o, for field of view (FOV) analysis in VR exploration testing. Specifically, we validate that LLMs can identify test entities in FOVs and that prompt engineering can effectively enhance the accuracy of test entity identification from 41.67% to 71.30%. Our study also shows that LLMs can accurately describe identified entities' features with at least a 90% correction rate. We further find out that the core features that effectively represent an entity are color, placement, and shape. Furthermore, the combination of the three features can especially be used to improve the accuracy of determining identical entities in multiple FOVs with the highest F1-score of 0.70. Additionally, our study demonstrates that LLMs are capable of scene recognition and spatial understanding in VR with precisely designed structured prompts. Finally, we find that LLMs fail to label the identified test entities, and we discuss potential solutions as future research directions.
- Abstract（参考訳）: VR(Virtual Reality)産業が拡大するにつれ、自動GUIテストの必要性は急速に高まっている。
大きな言語モデル(LLM)は、情報を長期間保持し、視覚的データとテキストデータの両方を解析する能力を持ち、VRの進化するユーザーインターフェイスの複雑さを解読するための潜在的な鍵として浮上している。
本稿では,VR探究試験における視野分析(FOV)におけるLCM(特にGPT-4o)の活用の可能性を検討するために,ケーススタディを実施している。
具体的には, LLM が FOV 内のテストエンティティを識別可能であること, 迅速なエンジニアリングにより, テストエンティティの識別精度を 41.67% から 71.30% に効果的に向上させることができることを検証した。
また, LLMは, 少なくとも90%の修正率で, 同定された実体の特徴を正確に記述できることを示した。
さらに、実体を効果的に表す中核的な特徴は、色、配置、形状であることがわかった。
さらに、これらの3つの特徴の組み合わせは、F1スコアが0.70である複数のFOVにおいて同一の実体を決定する精度を向上させるために特に用いられる。
さらに,本研究では,LLMがVRにおけるシーン認識と空間理解を,正確に構造化されたプロンプトで実現可能であることを示す。
最後に、LLMが識別されたテストエンティティのラベル付けに失敗し、将来の研究方向として潜在的な解決策について議論する。
関連論文リスト
- Vector-ICL: In-context Learning with Continuous Vector Representations [75.96920867382859]
大規模言語モデル (LLM) はテキストデータに顕著なコンテキスト内学習能力を示す。
ブラックボックス事前学習エンコーダから得られる様々な領域から連続ベクトルに拡張できるかどうかを検討する。
特に,汎用言語モデリング目的のプロジェクタを事前学習することで,Vector-ICLの実現が期待できる。
論文 参考訳（メタデータ） (2024-10-08T02:25:38Z) - Response Wide Shut: Surprising Observations in Basic Vision Language Model Capabilities [30.176918208200604]
VLM(Vision-Language Models)は、様々な複雑なコンピュータビジョン問題に対処するための汎用ツールとして登場した。
これらのモデルは高い能力を持つが、いくつかの基本的な視覚的理解スキルが欠けていることが示されている。
本稿では,基本的な視覚課題におけるSoTA VLMの限界を理解することを目的とする。
論文 参考訳（メタデータ） (2024-08-13T08:26:32Z) - Large Language Models Understand Layout [6.732578061359833]
大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクにおいて異常な能力を示す。
テキスト理解能力以外にも,空間マーカーで表されるテキストレイアウトをLLMで処理できることが示されている。
レイアウト理解能力は,視覚的質問応答(VQA)システム構築に有用であることを示す。
論文 参考訳（メタデータ） (2024-07-08T09:03:12Z) - An Empirical Study of Automated Vulnerability Localization with Large Language Models [21.84971967029474]
大規模言語モデル(LLM)は、様々な領域において可能性を示しているが、脆弱性のローカライゼーションにおけるその有効性は未解明のままである。
本調査では,ChatGPTや各種オープンソースモデルなど,コード解析に適した10以上のLLMを対象とする。
ゼロショット学習,ワンショット学習,識別的微調整,生成的微調整の4つのパラダイムを用いて,これらのLCMの有効性を検討する。
論文 参考訳（メタデータ） (2024-03-30T08:42:10Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳（メタデータ） (2024-02-26T07:33:05Z) - MatPlotAgent: Method and Evaluation for LLM-Based Agentic Scientific Data Visualization [86.61052121715689]
MatPlotAgentは、科学的データ可視化タスクを自動化するために設計された、モデルに依存しないフレームワークである。
MatPlotBenchは、100人の検証されたテストケースからなる高品質なベンチマークである。
論文 参考訳（メタデータ） (2024-02-18T04:28:28Z) - Griffon: Spelling out All Object Locations at Any Granularity with Large Language Models [30.20915403608803]
Griffonは、大規模な視覚言語モデルのための言語プロンプトローカライゼーションデータセットである。
十分に設計されたパイプラインを通じて、エンドツーエンドでトレーニングされる。
精細なRefCOCOシリーズとFlickr30K Entitiesで最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2023-11-24T15:35:07Z) - Understanding the Effectiveness of Large Language Models in Detecting Security Vulnerabilities [12.82645410161464]
5つの異なるセキュリティデータセットから5,000のコードサンプルに対して、16の事前学習された大規模言語モデルの有効性を評価する。
全体として、LSMは脆弱性の検出において最も穏やかな効果を示し、データセットの平均精度は62.8%、F1スコアは0.71である。
ステップバイステップ分析を含む高度なプロンプト戦略は、F1スコア(平均0.18まで)で実世界のデータセット上でのLLMのパフォーマンスを著しく向上させることがわかった。
論文 参考訳（メタデータ） (2023-11-16T13:17:20Z) - LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset,
Framework, and Benchmark [81.42376626294812]
本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。
我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。
本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
論文 参考訳（メタデータ） (2023-06-11T14:01:17Z) - Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。
26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
論文 参考訳（メタデータ） (2023-05-24T10:45:25Z) - Self-Checker: Plug-and-Play Modules for Fact-Checking with Large Language Models [75.75038268227554]
Self-Checkerはファクトチェックを容易にするプラグインとプレイモジュールからなるフレームワークである。
このフレームワークは、低リソース環境でファクトチェックシステムを構築するための、高速で効率的な方法を提供する。
論文 参考訳（メタデータ） (2023-05-24T01:46:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。