論文の概要: Evil Vizier: Vulnerabilities of LLM-Integrated XR Systems

• arxiv url: http://arxiv.org/abs/2509.15213v2
• Date: Sat, 27 Sep 2025 21:10:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 14:13:47.53961
• Title: Evil Vizier: Vulnerabilities of LLM-Integrated XR Systems
• Title（参考訳）: Evil Vizier: LLM内蔵XRシステムの脆弱性
• Authors: Yicheng Zhang, Zijian Huang, Sophie Chen, Erfan Shayegani, Jiasi Chen, Nael Abu-Ghazaleh,
• Abstract要約: 拡張現実(XR)アプリケーションは、ユーザエクスペリエンスの向上、シーン理解、さらには実行可能なXRコンテンツの生成のために、Large Language Models(LLM)を統合している。 これらの潜在的な利点にもかかわらず、統合されたXR-LLMパイプラインにより、XRアプリケーションは新しいタイプの攻撃に対して脆弱になる。
• 参考スコア（独自算出の注目度）: 8.962654058446779
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Extended reality (XR) applications increasingly integrate Large Language Models (LLMs) to enhance user experience, scene understanding, and even generate executable XR content, and are often called "AI glasses". Despite these potential benefits, the integrated XR-LLM pipeline makes XR applications vulnerable to new forms of attacks. In this paper, we analyze LLM-Integated XR systems in the literature and in practice and categorize them along different dimensions from a systems perspective. Building on this categorization, we identify a common threat model and demonstrate a series of proof-of-concept attacks on multiple XR platforms that employ various LLM models (Meta Quest 3, Meta Ray-Ban, Android, and Microsoft HoloLens 2 running Llama and GPT models). Although these platforms each implement LLM integration differently, they share vulnerabilities where an attacker can modify the public context surrounding a legitimate LLM query, resulting in erroneous visual or auditory feedback to users, thus compromising their safety or privacy, sowing confusion, or other harmful effects. To defend against these threats, we discuss mitigation strategies and best practices for developers, including an initial defense prototype, and call on the community to develop new protection mechanisms to mitigate these risks.
• Abstract（参考訳）: 拡張現実(XR)アプリケーションは、ユーザーエクスペリエンスを高め、シーン理解し、実行可能なXRコンテンツを生成するために、Large Language Models(LLMs)を統合し、しばしば「AIグラス」と呼ばれる。 これらの潜在的な利点にもかかわらず、統合されたXR-LLMパイプラインにより、XRアプリケーションは新しいタイプの攻撃に対して脆弱になる。 本稿では, LLM-Integated XRシステムについて文献および実例で分析し, システムの観点から異なる次元で分類する。 この分類に基づいて、共通の脅威モデルを特定し、様々なLLMモデル(Meta Quest 3、Meta Ray-Ban、Android、およびLlamaおよびGPTモデルを実行するMicrosoft HoloLens 2)を使用する複数のXRプラットフォームに対する一連の概念実証攻撃を示す。 これらのプラットフォームはそれぞれ異なる LLM 統合を実装しているが、攻撃者が正当な LLM クエリを取り巻く公開コンテキストを変更できる脆弱性を共有しており、ユーザに対して誤った視覚的あるいは聴覚的フィードバックを与え、それによって安全性やプライバシを損なうこと、混乱を引き起こすこと、その他の有害な影響をもたらす。 これらの脅威を防ぎつつ、初期防衛プロトタイプを含む開発者の緩和戦略とベストプラクティスについて議論し、これらのリスクを軽減するための新しい保護メカニズムを開発するようコミュニティに呼びかける。

関連論文リスト

• Emerging Security Challenges of Large Language Models [6.151633954305939]
  大規模言語モデル(LLM)は、多くの異なる分野において短期間で記録的な普及を遂げた。 これらは、特定の下流タスクに合わせて調整されることなく、多様なデータでトレーニングされたオープンエンドモデルである。 従来の機械学習(ML)モデルは、敵の攻撃に対して脆弱である。
  論文  参考訳（メタデータ） (2024-12-23T14:36:37Z)
• Operationalizing a Threat Model for Red-Teaming Large Language Models (LLMs) [17.670925982912312]
  Red-teamingは、大規模言語モデル(LLM)の脆弱性を特定するテクニックである。 本稿では,LLM に対するリピート攻撃に関する詳細な脅威モデルを提案し,知識の体系化(SoK)を提供する。
  論文  参考訳（メタデータ） (2024-07-20T17:05:04Z)
• Phantom: General Trigger Attacks on Retrieval Augmented Language Generation [30.63258739968483]
  Retrieval Augmented Generation (RAG)は、現代の大規模言語モデル(LLM)の機能を拡張する 本稿では,RAGシステムの知識ベースに悪意ある文書を1つだけ注入し,バックドア中毒攻撃を行う新たな攻撃ベクトルを提案する。 我々はGemma、Vicuna、Llamaを含む複数のLLMアーキテクチャに対する攻撃を実演し、GPT-3.5 TurboおよびGPT-4への移行を示す。
  論文  参考訳（メタデータ） (2024-05-30T21:19:24Z)
• Coercing LLMs to do and reveal (almost) anything [80.8601180293558]
  大規模言語モデル(LLM)に対する敵対的攻撃は、有害なステートメントを作るためにモデルを「ジェイルブレイク」することができることが示されている。 LLMに対する敵対的攻撃のスペクトルは単なるジェイルブレイクよりもはるかに大きいと我々は主張する。
  論文  参考訳（メタデータ） (2024-02-21T18:59:13Z)
• Attack Prompt Generation for Red Teaming and Defending Large Language Models [70.157691818224]
  大規模言語モデル (LLM) は、有害なコンテンツを生成するためにLSMを誘導するレッド・チーム・アタックの影響を受けやすい。 本稿では、手動と自動の手法を組み合わせて、高品質な攻撃プロンプトを経済的に生成する統合的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-19T06:15:05Z)
• SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
  SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。 敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
  論文  参考訳（メタデータ） (2023-10-05T17:01:53Z)
• Visual Adversarial Examples Jailbreak Aligned Large Language Models [66.53468356460365]
  視覚入力の連続的かつ高次元的な性質は、敵対的攻撃に対する弱いリンクであることを示す。 我々は、視力統合されたLLMの安全ガードレールを回避するために、視覚的敵の例を利用する。 本研究は,マルチモダリティの追求に伴う敵のエスカレーションリスクを浮き彫りにする。
  論文  参考訳（メタデータ） (2023-06-22T22:13:03Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。