論文の概要: Hijacking Robots with a Piece of Paper: A Systematic Study of Physical Prompt Injection in VLM-Controlled Robots

• arxiv url: http://arxiv.org/abs/2608.05715v1
• Date: Thu, 06 Aug 2026 07:52:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 17:43:06.709524
• Title: Hijacking Robots with a Piece of Paper: A Systematic Study of Physical Prompt Injection in VLM-Controlled Robots
• Title（参考訳）: 紙片を用いたハイジャックロボット:VLM制御ロボットにおける物理的プロンプト注入の系統的研究
• Abstract要約: VLM(Vision-Language Models)は、ロボットシステムのプランナーとしてますます普及している。 ロボットの視野内に置かれる敵対的テキストは、VLMの推論スタックへの間接的なプロンプトインジェクションとして機能する。 本研究は,VLM制御ソートに対する物理的プロンプトインジェクション攻撃の系統的研究である。
• 参考スコア（独自算出の注目度）: 15.891078191181697
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language Models (VLMs) are increasingly deployed as planners in robotic systems, where they translate natural-language commands into executable actions grounded in visual scene understanding. This tight coupling between perception and instruction-following introduces a new attack surface: adversarial text placed within the robot's visual field can act as an indirect prompt injection into the VLM's reasoning stack. We present a systematic study of physical prompt injection attacks against VLM-controlled sorting, introducing a four-category taxonomy, indirect signage, task redefinition, authority impersonation, and conflict injection, instantiated as a benchmark of 20 attack prompts evaluated across three physical scene layouts and three command formulations that vary in destination specificity and rule explicitness. Across 5,670 trials on three frontier VLMs (GPT-4o, Gemini 2.5 Flash, Qwen3-VL-32B), attacks succeed at 27.0%, 29.4%, and 5.0% respectively, with authority-impersonating and negation attacks transferring across all three models. Analysis of reasoning traces reveals that successful compromise is nearly always conscious (99.9% acknowledgment rate), and that models defend through structurally different mechanisms, explicit rejection for Gemini, perceptual inattention for GPT-4o. We evaluate three simple mitigations: prompt-based defense (75-100% effective, model-dependent), two-stage verification (85-100%), and pre-processing text masking (100%). Our findings show that VLM-controlled manipulation is meaningfully vulnerable to human-readable physical signage, and that simple defenses substantially reduce risk, though defense choice involves trade-offs. The defenses preserve general task capabilities in our benchmark, but they may impair tasks that require reading in-scene labels.
• Abstract（参考訳）: VLM(Vision-Language Models)は、ロボットシステムのプランナーとしてますます普及し、自然言語コマンドを視覚的なシーン理解に基づく実行可能なアクションに変換する。 この知覚と指示追従の密結合により、新たな攻撃面がもたらされる: ロボットの視野内に置かれる敵対的テキストは、VLMの推論スタックに間接的なプロンプトインジェクションとして作用する。 本稿では,VLM制御されたソートに対する物理的プロンプトインジェクション攻撃の系統的研究を行い,目的地の特異性や規則の明示性に異なる3つのコマンドの定式化と,3つの物理的シーンレイアウトで評価された20の攻撃プロンプトのベンチマークとして,4つのカテゴリの分類,間接的シグナージ,タスク再定義,権威的インジェクション,コンフリクトインジェクションを導入した。 3つのフロンティアVLM(GPT-4o、Gemini 2.5 Flash、Qwen3-VL-32B)の5,670回の試験では、それぞれ27.0%、29.4%、および5.0%の攻撃が成功し、これら3つのモデルにまたがる権威と否定の攻撃が行われた。 推論の痕跡の分析から、妥協の成功はほとんど常に意識的である(99.9%の承認率)こと、モデルが構造的に異なるメカニズム、ジェミニに対する明確な拒絶、GPT-4oに対する知覚的不注意を通じて防御していることが分かる。 本稿では,プロンプトベース防御(75-100%有効,モデル依存),二段階検証(85-100%),前処理によるテキストマスキング(100%)の3つの簡単な緩和策を評価する。 以上の結果から,VLM制御による操作は,人体で読み取ることができる物理的サインに対して有意に脆弱であり,防御選択はトレードオフを伴うものの,単純な防御はリスクを著しく低減することが明らかとなった。 ディフェンスは我々のベンチマークで一般的なタスク能力を保っているが、シーン内のラベルを読む必要のあるタスクを損なう可能性がある。

関連論文リスト

• SIR: Self-improving Red-teaming for Compute Use Agents [71.71987044117371]
  コンピュータ・ユース・エージェント(CUA、Computer use agent)は、マウス、キーボード、端末を通じて画面を認識し、実際のオペレーティングシステムに作用する視覚言語モデルである。 操作中に信頼できないコンテンツに晒されるため、間接的プロンプトインジェクション(IPI)に弱い。 SIRは,平易な言語で記述された再利用原則の小さなライブラリからステルスインジェクションを構成するブラックボックスIPIアタックである。
  論文  参考訳（メタデータ） (2026-08-31T03:39:43Z)
• Devil in the Lens: Analyzing and Defending Physical Prompt Injection Against Vision-Language Models on Wearable Devices [7.183439319638428]
  VLM(Vision-Language Models)は、スマートグラスなどの人間向けウェアラブルデバイスに迅速にデプロイされ、マルチモーダル認識とAIによる意思決定を可能にする。 本研究は、物理的環境に埋め込まれた悪意あるテキスト情報が、プロンプトインジェクションのための高優先度なビジュアルチャネルをいかに導入するかを特徴付ける。 実世界の200以上の環境で、AIメガネの物理的に捉えられた写真を用いて、我々の分析は、物理的に注入されたプロンプトの6つの代表的な脅威ベクトルを特定した。 これらの攻撃は、整合性および安全クリティカルなタスク間でモデル出力を一貫して操作し、シミュレーションおよび実世界の設定で最大96%と60%の攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2026-07-11T11:56:05Z)
• AttackEval: A Systematic Empirical Study of Prompt Injection Attack Effectiveness Against Large Language Models [0.0]
  アタックエヴァル(AttackEval)は、インジェクション攻撃の有効性の体系的研究である。 我々は3つの親集団(シンタクティック、コンテクチュアル、セマンティック/社会)に分類される10の攻撃カテゴリーの分類を構築する。 本研究は,4つのより強力な防衛層下での模擬生産犠牲者システムに対して評価を行った。
  論文  参考訳（メタデータ） (2026-04-04T05:49:30Z)
• Architecting Secure AI Agents: Perspectives on System-Level Defenses Against Indirect Prompt Injection Attacks [46.32011684548212]
  AIエージェントは間接的なプロンプトインジェクションに対して脆弱であり、信頼できないデータに埋め込まれた悪意のある命令は危険なエージェントアクションを引き起こす可能性がある。 本稿では,間接的インジェクション攻撃に対するシステムレベルの防御の展望について論じる。
  論文  参考訳（メタデータ） (2026-03-31T17:15:46Z)
• Lying to Win: Assessing LLM Deception through Human-AI Games and Parallel-World Probing [16.419761149171215]
  本稿では,大規模言語モデルを組み込んだ論理的基盤化フレームワークを提案する。 オブジェクト識別の時点では,対話状態は複数の並列世界へ複製される。 GPT-4o, Gemini-2.5-Flash, Qwen-3-235B を3つのインセンティブレベル(中性, 損失ベース, 存在)で評価した。
  論文  参考訳（メタデータ） (2026-03-07T13:21:53Z)
• SSVP: Synergistic Semantic-Visual Prompting for Industrial Zero-Shot Anomaly Detection [55.54007781679915]
  本稿では,多種多様な視覚的エンコーディングを効率よく融合させ,モデルの微粒化知覚を高めるSynergistic Semantic-Visual Prompting (SSVP)を提案する。 SSVPは、MVTec-AD上で93.0%のImage-AUROCと92.2%のPixel-AUROCで最先端のパフォーマンスを達成し、既存のゼロショットアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2026-01-14T04:42:19Z)
• Mitigating Indirect Prompt Injection via Instruction-Following Intent Analysis [48.70474961584997]
  インダイレクト・プロンプト・インジェクション・アタック(IPIA)は大きな言語モデル(LLM)に重大な脅威をもたらす IntentGuardは、命令追従インテント分析に基づく一般的な防御フレームワークである。
  論文  参考訳（メタデータ） (2025-11-30T16:29:04Z)
• Securing AI Agents Against Prompt Injection Attacks [0.0]
  本稿では,RAG対応AIエージェントのインジェクションリスク評価のためのベンチマークを提案する。 本フレームワークは,攻撃速度を73.2%から8.7%に削減し,94.3%のベースラインタスク性能を維持した。
  論文  参考訳（メタデータ） (2025-11-19T10:00:54Z)
• Visual Backdoor Attacks on MLLM Embodied Decision Making via Contrastive Trigger Learning [89.1856483797116]
  MLLMをベースとした組込みエージェントに視覚的バックドアを注入する最初のフレームワークであるBEATを紹介する。 テキストトリガーとは異なり、オブジェクトトリガーは視点や照明の幅が広いため、確実に移植することは困難である。 BEATは攻撃の成功率を最大80%まで達成し、強い良識のあるタスクパフォーマンスを維持します。
  論文  参考訳（メタデータ） (2025-10-31T16:50:49Z)
• Poison Once, Control Anywhere: Clean-Text Visual Backdoors in VLM-based Mobile Agents [54.35629963816521]
  この研究は、VLMベースのモバイルエージェントをターゲットにした最初のクリーンテキストバックドアアタックであるVIBMAを紹介する。 この攻撃は、視覚的な入力だけを変更することによって、悪意ある振る舞いをモデルに注入する。 クリーンタスクの動作を保ちながら高い成功率を達成できることを示す。
  論文  参考訳（メタデータ） (2025-06-16T08:09:32Z)
• Baseline Defenses for Adversarial Attacks Against Aligned Language Models [109.75753454188705]
  最近の研究は、テキストのモデレーションが防御をバイパスするジェイルブレイクのプロンプトを生み出すことを示している。 検出(複雑度に基づく)、入力前処理(言い換えと再帰化)、対人訓練の3種類の防衛について検討する。 テキストに対する既存の離散化の弱点と比較的高いコストの最適化が組み合わさって、標準適応攻撃をより困難にしていることがわかった。
  論文  参考訳（メタデータ） (2023-09-01T17:59:44Z)
• Improving the Adversarial Robustness for Speaker Verification by Self-Supervised Learning [95.60856995067083]
  この研究は、特定の攻撃アルゴリズムを知らずにASVの敵防衛を行う最初の試みの一つである。 本研究の目的は,1) 対向摂動浄化と2) 対向摂動検出の2つの視点から対向防御を行うことである。 実験の結果, 検出モジュールは, 約80%の精度で対向検体を検出することにより, ASVを効果的に遮蔽することがわかった。
  論文  参考訳（メタデータ） (2021-06-01T07:10:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。