論文の概要: Devil in the Lens: Analyzing and Defending Physical Prompt Injection Against Vision-Language Models on Wearable Devices

• arxiv url: http://arxiv.org/abs/2607.10269v1
• Date: Sat, 11 Jul 2026 11:56:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.367435
• Title: Devil in the Lens: Analyzing and Defending Physical Prompt Injection Against Vision-Language Models on Wearable Devices
• Title（参考訳）: コンタクトレンズのデビル:ウェアラブルデバイスにおけるビジョンランゲージモデルに対する物理的プロンプト注入の解析と予防
• Abstract要約: VLM(Vision-Language Models)は、スマートグラスなどの人間向けウェアラブルデバイスに迅速にデプロイされ、マルチモーダル認識とAIによる意思決定を可能にする。 本研究は、物理的環境に埋め込まれた悪意あるテキスト情報が、プロンプトインジェクションのための高優先度なビジュアルチャネルをいかに導入するかを特徴付ける。 実世界の200以上の環境で、AIメガネの物理的に捉えられた写真を用いて、我々の分析は、物理的に注入されたプロンプトの6つの代表的な脅威ベクトルを特定した。 これらの攻撃は、整合性および安全クリティカルなタスク間でモデル出力を一貫して操作し、シミュレーションおよび実世界の設定で最大96%と60%の攻撃成功率を達成する。
• 参考スコア（独自算出の注目度）: 7.183439319638428
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language Models (VLMs) are rapidly deployed on human-facing wearable devices such as smart glasses to enable multimodal perception and AI-assisted decision-making. While prior research has demonstrated the risks of visual prompt injection into digital image inputs of VLMs, the unique security challenges posed by the increasing integration between physical environments and wearable intelligence, such as those embodied in VLM-enabled AI glasses, remain underexplored. Toward understanding and modeling such threats, our work characterizes how malicious textual information embedded in physical environments introduces a high-priority visual channel for indirect prompt injection, where scene texts that hinder or evade human perception could hijack VLM models' behavior. Such \textit{Physical Prompt Injection Attacks} can not only disrupt normal tasks of VLM-enabled wearable devices, but also steer models to produce profane, biased, or even untruthful outputs. Using physically captured photos from AI glasses in over 200 real-world environments, our analysis identifies 6 representative threat vectors of physically injected prompts, and further evaluates their impacts on 12 VLM models. Results show that these attacks consistently manipulate model outputs across integrity- and safety-critical tasks, achieving attack success rates of up to 96\% and 60\% in simulated and real-world settings. Our analysis confirms that multiple models exhibit excessive blind trust in environmental text, ignoring the actual visual context and producing completely opposite summaries or directives. We further propose two targeted defense strategies, including a mask-based external filter and a semantic-vector-based internal detector, to effectively reduce the success rate and safety impact of these attacks.
• Abstract（参考訳）: VLM(Vision-Language Models)は、スマートグラスなどの人間向けウェアラブルデバイスに迅速にデプロイされ、マルチモーダル認識とAIによる意思決定を可能にする。 以前の研究では、VLMのデジタルイメージインプットに視覚的インプットが注入されるリスクが実証されているが、物理環境とウェアラブルインテリジェンス(例えばVLM対応AIグラスに具現化されているもの)の統合によって生じる、ユニークなセキュリティ上の課題は、まだ未解明のままである。 このような脅威を理解し、モデル化するために、我々の研究は、物理的環境に埋め込まれた悪意あるテキスト情報が、間接的なプロンプトインジェクションのための高優先度なビジュアルチャネルを導入し、人間の知覚を妨げるシーンテキストがVLMモデルの動作を妨害する可能性があることを特徴付けている。 このような‘textit{Physical Prompt Injection Attacks’は、VLM対応ウェアラブルデバイスの通常のタスクを妨害するだけでなく、プロファン、バイアス、さらには非現実的なアウトプットを生成するためのステアモデルも破壊する。 実世界の200以上の環境で、AIメガネの物理的にキャプチャされた写真を用いて、物理的に注入されたプロンプトの6つの代表的な脅威ベクトルを特定し、さらに12のVLMモデルへの影響を評価する。 その結果、これらの攻撃は、完全性および安全クリティカルなタスク間でモデル出力を一貫して操作し、シミュレーションおよび実世界の設定において、最大96\%と60\%の攻撃成功率を達成することが示された。 分析の結果、複数のモデルが環境テキストに対する過度な盲目信頼を示し、実際の視覚的文脈を無視し、全く反対の要約や指示を生成することが確認された。 さらに,マスク型外部フィルタとセマンティックベクター型内部検出器を含む2つの防衛戦略を提案し,これらの攻撃の成功率と安全性への影響を効果的に低減する。

関連論文リスト

• Breaking the weakest link to evade vision language models [0.254890465057467]
  視覚言語モデル(VLM)は、マルチモーダルAIシステムの重要なコンポーネントとして登場した。 本研究では,視覚入力に適応する対向的摂動に対するVLMの脆弱性について検討する。 人間の知覚できない小さな摂動は、モデルによって生成された文章の解釈を著しく変えることができることを示す。
  論文  参考訳（メタデータ） (2026-08-19T14:06:31Z)
• Towards Robustness against Typographic Attack with Training-free Concept Localization [42.575178574443946]
  Contrastive Language-Image Pretraining Model (CLIP)は、現代のLVLM(Large Vision Language Models)の基盤となるビジョンエンコーダとして機能する。 CLIPモデルには重要な障害モードがあり、画像内に現れる無関係なテキストは、真の視覚的意味論ではなく、語彙的な意味に偏っている。 この問題は、一般的にはTypographic Attack (TA)と呼ばれ、自律運転のような安全クリティカルなアプリケーションに重大なリスクをもたらす脆弱性を露呈する。 そこで本稿では,TAに対する解釈可能かつ効果的なロバスト性を実現するための,新しい学習自由な機械的解釈法を提案する。
  論文  参考訳（メタデータ） (2026-07-02T17:55:24Z)
• Challenging Vision-Language Models with Physically Deployable Multimodal Semantic Lighting Attacks [23.938024446316717]
  VLM(Vision-Language Models)は優れた性能を示しているが、そのセキュリティは十分に理解されていない。 既存の敵対的な研究はほとんどデジタル設定に焦点を合わせており、物理世界の脅威はほとんど解明されていない。 VLMに対する物理的に展開可能な最初の攻撃フレームワークであるMultimodal Semantic Lighting Attacks (MSLA)を提案する。
  論文  参考訳（メタデータ） (2026-04-14T14:52:15Z)
• Universal Camouflage Attack on Vision-Language Models for Autonomous Driving [67.34987318443761]
  自動運転のためのビジュアル言語モデリングが、有望な研究方向として浮上している。 VLM-ADは、敵の攻撃による深刻なセキュリティ脅威に弱いままである。 VLM-ADのための最初のユニバーサルカモフラージュ攻撃フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-24T14:52:01Z)
• FreezeVLA: Action-Freezing Attacks against Vision-Language-Action Models [124.02734355214325]
  Vision-Language-Action(VLA)モデルはロボティクスの急速な進歩を加速している。 敵画像はVLAモデルを「凍結」し、その後の命令を無視する。 FreezeVLAは、min-maxバイレベル最適化を通じて、アクション凍結攻撃を生成し、評価する。
  論文  参考訳（メタデータ） (2025-09-24T08:15:28Z)
• Poison Once, Control Anywhere: Clean-Text Visual Backdoors in VLM-based Mobile Agents [54.35629963816521]
  この研究は、VLMベースのモバイルエージェントをターゲットにした最初のクリーンテキストバックドアアタックであるVIBMAを紹介する。 この攻撃は、視覚的な入力だけを変更することによって、悪意ある振る舞いをモデルに注入する。 クリーンタスクの動作を保ちながら高い成功率を達成できることを示す。
  論文  参考訳（メタデータ） (2025-06-16T08:09:32Z)
• Natural Reflection Backdoor Attack on Vision Language Model for Autonomous Driving [55.96227460521096]
  視覚言語モデル(VLM)は推論能力を高めるために自律運転システムに統合されている。 本稿では,自律運転シナリオにおけるVLMシステムを対象とした自然反射型バックドアアタックを提案する。 我々の発見は、自動運転の厳しいリアルタイム要求を生かした、新たなタイプの攻撃を発見しました。
  論文  参考訳（メタデータ） (2025-05-09T20:28:17Z)
• Transferable Adversarial Attacks on Black-Box Vision-Language Models [63.22532779621001]
  敵対的攻撃は、テキストのみのコンテキストとビジョンのみのコンテキストにおいて、オープンソースからプロプライエタリなブラックボックスモデルに移行することができる。 攻撃者は、特定の攻撃者による視覚情報の解釈を誘導するために、摂動を作れます。 普遍的な摂動 -- 広い範囲のイメージに適用可能な修正 -- は、これらの誤解釈を一貫して引き起こすことを発見した。
  論文  参考訳（メタデータ） (2025-05-02T06:51:11Z)
• Tit-for-Tat: Safeguarding Large Vision-Language Models Against Jailbreak Attacks via Adversarial Defense [90.71884758066042]
  大きな視覚言語モデル(LVLM)は、視覚入力による悪意のある攻撃に対する感受性という、ユニークな脆弱性を導入している。 本稿では,脆弱性発生源からアクティブ防衛機構へ視覚空間を変換するための新しい手法であるESIIIを提案する。
  論文  参考訳（メタデータ） (2025-03-14T17:39:45Z)
• Manipulation Facing Threats: Evaluating Physical Vulnerabilities in End-to-End Vision Language Action Models [79.60405008196139]
  視覚言語行動モデル(VLAM)は、ロボット操作タスクのオープン語彙シナリオにおいて、より良いパフォーマンスを達成するために提案されている。 本稿では,潜在的な物理的脅威に直面したVLAMを包括的に評価する。
  論文  参考訳（メタデータ） (2024-09-20T03:02:05Z)
• Safeguarding Vision-Language Models Against Patched Visual Prompt Injectors [31.383591942592467]
  視覚言語モデル(VLM)は、視覚とテキストのデータを組み合わせて理解と相互作用を強化する革新的な方法を提供する。 パッチベースの敵攻撃は、物理的な視覚応用において最も現実的な脅威モデルと考えられている。 本研究では,スムージング技術に根ざした防御機構であるSmoothVLMを導入し,VLMをパッチ付き視覚プロンプトインジェクタの脅威から保護する。
  論文  参考訳（メタデータ） (2024-05-17T04:19:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。