論文の概要: Embedding Large Language Models into Extended Reality: Opportunities and
Challenges for Inclusion, Engagement, and Privacy
- arxiv url: http://arxiv.org/abs/2402.03907v1
- Date: Tue, 6 Feb 2024 11:19:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 15:20:41.537221
- Title: Embedding Large Language Models into Extended Reality: Opportunities and
Challenges for Inclusion, Engagement, and Privacy
- Title（参考訳）: 大規模言語モデルを拡張現実に組み込む - 包括性、エンゲージメント、プライバシの機会と課題
- Authors: Efe Bozkir and S\"uleyman \"Ozdel and Ka Hei Carrie Lau and Mengdi
Wang and Hong Gao and Enkelejda Kasneci
- Abstract要約: 我々は,これらを仮想アバターや物語に埋め込むことで,XRに大規模言語モデル(LLM)を使用することを論じる。
ユーザがLLMを利用する環境に提供した情報と,センサを用いて取得した生体データを組み合わせることで,新たなプライバシー侵害につながるのではないか,と推測する。
- 参考スコア（独自算出の注目度）: 39.27148080165539
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent developments in computer graphics, hardware, artificial intelligence
(AI), and human-computer interaction likely lead to extended reality (XR)
devices and setups being more pervasive. While these devices and setups provide
users with interactive, engaging, and immersive experiences with different
sensing modalities, such as eye and hand trackers, many non-player characters
are utilized in a pre-scripted way or by conventional AI techniques. In this
paper, we argue for using large language models (LLMs) in XR by embedding them
in virtual avatars or as narratives to facilitate more inclusive experiences
through prompt engineering according to user profiles and fine-tuning the LLMs
for particular purposes. We argue that such inclusion will facilitate diversity
for XR use. In addition, we believe that with the versatile conversational
capabilities of LLMs, users will engage more with XR environments, which might
help XR be more used in everyday life. Lastly, we speculate that combining the
information provided to LLM-powered environments by the users and the biometric
data obtained through the sensors might lead to novel privacy invasions. While
studying such possible privacy invasions, user privacy concerns and preferences
should also be investigated. In summary, despite some challenges, embedding
LLMs into XR is a promising and novel research area with several opportunities.
- Abstract（参考訳）: 近年のコンピュータグラフィックス、ハードウェア、人工知能(AI)、人間とコンピュータの相互作用は、拡張現実(XR)デバイスや設定をより広く普及させる可能性がある。
これらのデバイスとセットアップは、ユーザに対して、目やハンドトラッカーなど、さまざまな感覚モダリティを持つインタラクティブでエンゲージメント、没入感のあるエクスペリエンスを提供する一方で、多くの非プレイヤーキャラクターは、プリスクリプトされた方法で、あるいは従来のAI技術によって利用される。
本稿では,仮想アバターに組み込んだり,ユーザプロファイルに従ってエンジニアリングを促したり,特定の目的のためにLLMを微調整したりすることで,より包括的体験を促進するために,XRに大規模言語モデル(LLM)を組み込むことを論じる。
このような包含がxr使用の多様性を促進すると論じている。
さらに,LLMの多機能な会話機能により,ユーザはXR環境とより関わりやすくなり,XRを日常的に利用できるようになるだろうと考えている。
最後に,ユーザによるllm環境提供情報とセンサによる生体計測データの組み合わせが,新たなプライバシ侵害につながる可能性があると推測する。
このようなプライバシー侵害の可能性を研究する一方で、ユーザのプライバシーに関する懸念や好みについても調査する必要がある。
要約すると、いくつかの課題があるにもかかわらず、LLMをXRに組み込むことは、いくつかの機会のある有望で新しい研究領域である。
関連論文リスト
- NewsInterview: a Dataset and a Playground to Evaluate LLMs' Ground Gap via Informational Interviews [65.35458530702442]
我々はジャーナリストのインタビューに焦点をあて、コミュニケーションの基盤と豊富なデータに富んだドメインに焦点をあてる。
我々はNPRとCNNから4万人の2人によるインフォメーションインタビューのデータセットをキュレートする。
LLMは、人間のインタビュアーよりも、認識を使い、より高いレベルの質問に目を向ける可能性がはるかに低い。
論文 参考訳（メタデータ） (2024-11-21T01:37:38Z) - CUIfy the XR: An Open-Source Package to Embed LLM-powered Conversational Agents in XR [31.49021749468963]
大言語モデル (LLM) は音声テキスト (STT) とテキスト音声 (TTS) モデルを備えた非プレーヤ文字 (NPC) を用いており、XR のより自然な対話型ユーザインタフェース (CUI) を促進するために、従来の NPC やプレスクリプトの NPC よりも大きな利点をもたらす。
我々はコミュニティに対して,様々なLLM, STT, TTSモデルとの音声ベースのNPCユーザインタラクションを容易にする,オープンソースでカスタマイズ可能な,プライバシ対応の Unity パッケージ CUIfy を提供する。
論文 参考訳（メタデータ） (2024-11-07T12:55:17Z) - LLM-ESR: Large Language Models Enhancement for Long-tailed Sequential Recommendation [58.04939553630209]
現実世界のシステムでは、ほとんどのユーザーはほんの一握りのアイテムしか扱わないが、ほとんどのアイテムは滅多に消費されない。
これら2つの課題は、ロングテールユーザーとロングテールアイテムの課題として知られ、しばしば既存のシークエンシャルレコメンデーションシステムに困難をもたらす。
本稿では,これらの課題に対処するため,Large Language Models Enhancement framework for Sequential Recommendation (LLM-ESR)を提案する。
論文 参考訳（メタデータ） (2024-05-31T07:24:42Z) - Autonomous Workflow for Multimodal Fine-Grained Training Assistants Towards Mixed Reality [28.27036270001756]
この作業は、AIエージェントを詳細にトレーニングするための拡張現実(XR)アプリケーションにシームレスに統合するための自律ワークフローを設計する。
パイロットXR環境におけるLEGOブロック組立のためのマルチモーダルきめ細粒度トレーニングアシスタントのデモンストレーションを行う。
論文 参考訳（メタデータ） (2024-05-16T14:20:30Z) - Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。
自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。
これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
論文 参考訳（メタデータ） (2024-01-30T17:38:54Z) - LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language
Models [56.25156596019168]
本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。
我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
論文 参考訳（メタデータ） (2023-11-30T03:59:31Z) - Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory [82.7042006247124]
私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。
我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
論文 参考訳（メタデータ） (2023-10-27T04:15:30Z) - Beyond Memorization: Violating Privacy Via Inference with Large Language Models [2.9373912230684565]
本稿では,テキストから個人属性を推測する事前学習言語モデルの能力に関する,最初の総合的研究について述べる。
以上の結果から,現在のLCMでは,従来は達成不可能な規模で個人データを推測することが可能であることが示唆された。
論文 参考訳（メタデータ） (2023-10-11T08:32:46Z) - RRAML: Reinforced Retrieval Augmented Machine Learning [10.94680155282906]
我々はReinforced Retrieval Augmented Machine Learning (RRAML)と呼ばれる新しいフレームワークを提案する。
RRAMLは、大規模な言語モデルの推論機能と、巨大なユーザが提供するデータベースから目的に構築された検索者によって取得された情報を統合する。
この論文で概説された研究課題は、AIの分野に大きな影響を与える可能性があると信じている。
論文 参考訳（メタデータ） (2023-07-24T13:51:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。