論文の概要: Embedding Large Language Models into Extended Reality: Opportunities and
Challenges for Inclusion, Engagement, and Privacy
- arxiv url: http://arxiv.org/abs/2402.03907v1
- Date: Tue, 6 Feb 2024 11:19:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 15:20:41.537221
- Title: Embedding Large Language Models into Extended Reality: Opportunities and
Challenges for Inclusion, Engagement, and Privacy
- Title(参考訳): 大規模言語モデルを拡張現実に組み込む - 包括性、エンゲージメント、プライバシの機会と課題
- Authors: Efe Bozkir and S\"uleyman \"Ozdel and Ka Hei Carrie Lau and Mengdi
Wang and Hong Gao and Enkelejda Kasneci
- Abstract要約: 我々は,これらを仮想アバターや物語に埋め込むことで,XRに大規模言語モデル(LLM)を使用することを論じる。
ユーザがLLMを利用する環境に提供した情報と,センサを用いて取得した生体データを組み合わせることで,新たなプライバシー侵害につながるのではないか,と推測する。
- 参考スコア(独自算出の注目度): 39.27148080165539
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent developments in computer graphics, hardware, artificial intelligence
(AI), and human-computer interaction likely lead to extended reality (XR)
devices and setups being more pervasive. While these devices and setups provide
users with interactive, engaging, and immersive experiences with different
sensing modalities, such as eye and hand trackers, many non-player characters
are utilized in a pre-scripted way or by conventional AI techniques. In this
paper, we argue for using large language models (LLMs) in XR by embedding them
in virtual avatars or as narratives to facilitate more inclusive experiences
through prompt engineering according to user profiles and fine-tuning the LLMs
for particular purposes. We argue that such inclusion will facilitate diversity
for XR use. In addition, we believe that with the versatile conversational
capabilities of LLMs, users will engage more with XR environments, which might
help XR be more used in everyday life. Lastly, we speculate that combining the
information provided to LLM-powered environments by the users and the biometric
data obtained through the sensors might lead to novel privacy invasions. While
studying such possible privacy invasions, user privacy concerns and preferences
should also be investigated. In summary, despite some challenges, embedding
LLMs into XR is a promising and novel research area with several opportunities.
- Abstract(参考訳): 近年のコンピュータグラフィックス、ハードウェア、人工知能(AI)、人間とコンピュータの相互作用は、拡張現実(XR)デバイスや設定をより広く普及させる可能性がある。
これらのデバイスとセットアップは、ユーザに対して、目やハンドトラッカーなど、さまざまな感覚モダリティを持つインタラクティブでエンゲージメント、没入感のあるエクスペリエンスを提供する一方で、多くの非プレイヤーキャラクターは、プリスクリプトされた方法で、あるいは従来のAI技術によって利用される。
本稿では,仮想アバターに組み込んだり,ユーザプロファイルに従ってエンジニアリングを促したり,特定の目的のためにLLMを微調整したりすることで,より包括的体験を促進するために,XRに大規模言語モデル(LLM)を組み込むことを論じる。
このような包含がxr使用の多様性を促進すると論じている。
さらに,LLMの多機能な会話機能により,ユーザはXR環境とより関わりやすくなり,XRを日常的に利用できるようになるだろうと考えている。
最後に,ユーザによるllm環境提供情報とセンサによる生体計測データの組み合わせが,新たなプライバシ侵害につながる可能性があると推測する。
このようなプライバシー侵害の可能性を研究する一方で、ユーザのプライバシーに関する懸念や好みについても調査する必要がある。
要約すると、いくつかの課題があるにもかかわらず、LLMをXRに組み込むことは、いくつかの機会のある有望で新しい研究領域である。
関連論文リスト
- OmniActions: Predicting Digital Actions in Response to Real-World Multimodal Sensory Inputs with LLMs [15.402143137362112]
未来の対話インタフェースは、ユーザのコンテキストに基づいて、デジタルアクションへの迅速なアクセスを提供する。
我々は、様々なタイプのマルチモーダル感覚入力に対応して行うことができるデジタル追従動作の全体的設計空間を作成した。
OmniActionsは大規模言語モデル(LLM)をベースとしたパイプラインで,マルチモーダルな知覚入力を処理し,対象情報に対する追従動作を予測する。
論文 参考訳(メタデータ) (2024-05-06T23:11:00Z) - From Persona to Personalization: A Survey on Role-Playing Language Agents [52.783043059715546]
大規模言語モデル(LLM)の最近の進歩はロールプレイング言語エージェント(RPLA)の台頭を後押ししている。
RPLAは、人間の類似性と鮮明なロールプレイングパフォーマンスの素晴らしい感覚を達成します。
彼らは感情的な仲間、インタラクティブなビデオゲーム、パーソナライズされたアシスタント、コピロなど、多くのAI応用を触媒してきた。
論文 参考訳(メタデータ) (2024-04-28T15:56:41Z) - Elicitron: An LLM Agent-Based Simulation Framework for Design Requirements Elicitation [38.98478510165569]
本稿では,Large Language Models (LLMs) を利用した新たなフレームワークを提案する。
LLMは多数のシミュレーションユーザ(LLMエージェント)を生成するために使用され、より広い範囲のユーザニーズの探索を可能にする。
論文 参考訳(メタデータ) (2024-04-04T17:36:29Z) - Detectors for Safe and Reliable LLMs: Implementations, Uses, and
Limitations [75.62309487375126]
大規模言語モデル(LLM)は、不誠実なアウトプットからバイアスや有害な世代に至るまで、さまざまなリスクを受けやすい。
我々は,様々な害のラベルを提供するコンパクトで容易に構築できる分類モデルである,検出器のライブラリを作成し,展開する取り組みについて述べる。
論文 参考訳(メタデータ) (2024-03-09T21:07:16Z) - User-LLM: Efficient LLM Contextualization with User Embeddings [24.099604517203606]
大規模言語モデル(LLM)のコンテキスト化にユーザ埋め込みを活用する新しいフレームワークであるUser-LLMを提案する。
MovieLens、Amazon Review、Google Local Reviewのデータセットに関する我々の実験は、様々なタスクで大きなパフォーマンス向上を示している。
論文 参考訳(メタデータ) (2024-02-21T08:03:27Z) - Unmemorization in Large Language Models via Self-Distillation and
Deliberate Imagination [58.36408867180233]
大規模言語モデル(LLM)は、プライバシー侵害や機密データの不要な露出といった重要な問題に苦慮している。
我々は、LLMアンラーニングの文脈において、意図的な想像力という新しいアプローチを導入する。
本研究は,異なるモデルとサイズにまたがるこのアプローチの有用性を示し,パラメータ効率の良い微調整を行った。
論文 参考訳(メタデータ) (2024-02-15T16:21:14Z) - Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。
自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。
これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
論文 参考訳(メタデータ) (2024-01-30T17:38:54Z) - Agent AI: Surveying the Horizons of Multimodal Interaction [83.18367129924997]
エージェントAI(Agent AI)とは、視覚刺激や言語入力、その他の環境データを知覚できる対話型システムである。
我々は,バーチャルリアリティやシミュレートされたシーンを容易に作成し,仮想環境内に具体化されたエージェントと対話できる未来を構想する。
論文 参考訳(メタデータ) (2024-01-07T19:11:18Z) - Demystifying Embedding Spaces using Large Language Models [26.91321899603332]
本稿では,埋め込みをより解釈しやすく,広く活用する上での課題に対処する。
埋め込みを直接操作するためにLarge Language Models(LLMs)を用いることで、抽象ベクトルを理解可能な物語に変換する。
提案手法は,概念アクティベーションベクトル(CAV)の強化,新しい組み込みエンティティの通信,レコメンデーションシステムにおけるユーザの好みのデコードなど,多種多様なタスクに対するアプローチを示す。
論文 参考訳(メタデータ) (2023-10-06T05:27:28Z) - Chat with the Environment: Interactive Multimodal Perception Using Large
Language Models [19.623070762485494]
大型言語モデル(LLM)は、数発のロボット計画において顕著な推論能力を示している。
本研究は,LLMがマルチモーダル環境下での対話型ロボットの動作を制御し,高レベルな計画と推論能力を提供することを示す。
論文 参考訳(メタデータ) (2023-03-14T23:01:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。