論文の概要: MIP against Agent: Malicious Image Patches Hijacking Multimodal OS Agents

• arxiv url: http://arxiv.org/abs/2503.10809v2
• Date: Tue, 04 Nov 2025 10:25:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:26.125882
• Title: MIP against Agent: Malicious Image Patches Hijacking Multimodal OS Agents
• Title（参考訳）: MIP対エージェント:マルチモーダルOSエージェントをハイジャックする悪意あるイメージパッチ
• Authors: Lukas Aichberger, Alasdair Paren, Guohao Li, Philip Torr, Yarin Gal, Adel Bibi,
• Abstract要約: オペレーティングシステム(OS)エージェントの最近の進歩により、視覚言語モデル(VLM)がユーザのコンピュータを直接制御できるようになった。 これらのOSエージェントに対する新たなアタックベクターを発見した:MIP(Malicious Image Patches) MIPは、OSエージェントにキャプチャされたとき、特定のAPIを活用することで有害なアクションを誘導する画面領域を逆向きに乱した。
• 参考スコア（独自算出の注目度）: 60.92962583528122
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in operating system (OS) agents have enabled vision-language models (VLMs) to directly control a user's computer. Unlike conventional VLMs that passively output text, OS agents autonomously perform computer-based tasks in response to a single user prompt. OS agents do so by capturing, parsing, and analysing screenshots and executing low-level actions via application programming interfaces (APIs), such as mouse clicks and keyboard inputs. This direct interaction with the OS significantly raises the stakes, as failures or manipulations can have immediate and tangible consequences. In this work, we uncover a novel attack vector against these OS agents: Malicious Image Patches (MIPs), adversarially perturbed screen regions that, when captured by an OS agent, induce it to perform harmful actions by exploiting specific APIs. For instance, a MIP can be embedded in a desktop wallpaper or shared on social media to cause an OS agent to exfiltrate sensitive user data. We show that MIPs generalise across user prompts and screen configurations, and that they can hijack multiple OS agents even during the execution of benign instructions. These findings expose critical security vulnerabilities in OS agents that have to be carefully addressed before their widespread deployment.
• Abstract（参考訳）: オペレーティングシステム(OS)エージェントの最近の進歩により、視覚言語モデル(VLM)がユーザのコンピュータを直接制御できるようになった。 テキストを受動的に出力する従来のVLMとは異なり、OSエージェントは単一のユーザープロンプトに応答してコンピュータベースのタスクを自律的に実行する。 OSエージェントはスクリーンショットをキャプチャ、解析、分析し、マウスクリックやキーボード入力などのアプリケーションプログラミングインターフェース(API)を介して低レベルのアクションを実行する。 このOSとの直接的な相互作用は、障害や操作が即時かつ明白な結果をもたらす可能性があるため、利害を著しく高める。 そこで本研究では,これらOSエージェントに対する新たな攻撃ベクトルを明らかにする。 MIP(Malicious Image Patches)。 例えば、MIPをデスクトップの壁紙に埋め込んだり、ソーシャルメディアで共有したりすることで、OSエージェントが機密性の高いユーザーデータを流出させる。 MIPはユーザプロンプトや画面構成にまたがって一般化されており、良質な命令の実行中であっても複数のOSエージェントをハイジャック可能であることを示す。 これらの発見は、広くデプロイされる前に慎重に対処する必要があるOSエージェントの重大なセキュリティ脆弱性を明らかにしている。

関連論文リスト

• VisualTrap: A Stealthy Backdoor Attack on GUI Agents via Visual Grounding Manipulation [68.30039719980519]
  この研究は、GUI要素に対するGUIエージェントをマッピングするテキストプランの視覚的基盤が脆弱性をもたらすことを明らかにしている。 視覚的接地を目的としたバックドア攻撃では、適切なタスク解決計画が与えられた場合でもエージェントの行動が損なわれる可能性がある。 そこで我々は,エージェントが意図したターゲットではなく,意図した位置をトリガーするテキストプランを見つけることをミスリードすることで,グラウンドディングをハイジャックできるVisualTrapを提案する。
  論文  参考訳（メタデータ） (2025-07-09T14:36:00Z)
• Context manipulation attacks : Web agents are susceptible to corrupted memory [37.66661108936654]
  Plan Injection"は、これらのエージェントの内部タスク表現を、この脆弱なコンテキストをターゲットとして破壊する、新しいコンテキスト操作攻撃である。 プランインジェクションはロバスト・プロンプト・インジェクション・ディフェンスを回避し,攻撃成功率を同等のプロンプト・ベース・アタックの最大3倍に向上することを示す。 この結果から,安全なメモリ処理はエージェントシステムにおける第一級の関心事であることが示唆された。
  論文  参考訳（メタデータ） (2025-06-18T14:29:02Z)
• OS-Harm: A Benchmark for Measuring Safety of Computer Use Agents [34.396536936282175]
  コンピュータ使用エージェントの安全性を計測する新しいベンチマークであるOS-Harmを紹介する。 OS-HarmはOSWorld環境上に構築されており、故意のユーザ誤用、インジェクション攻撃、モデル誤動作の3つのカテゴリでモデルをテストすることを目指している。 我々は、フロンティアモデルに基づいてコンピュータ利用エージェントを評価し、その安全性に関する洞察を提供する。
  論文  参考訳（メタデータ） (2025-06-17T17:59:31Z)
• VPI-Bench: Visual Prompt Injection Attacks for Computer-Use Agents [74.6761188527948]
  完全なシステムアクセスを持つコンピュータ利用エージェント(CUA)は、セキュリティとプライバシの重大なリスクを負う。 我々は、悪意のある命令がレンダリングされたユーザーインターフェイスに視覚的に埋め込まれた視覚的プロンプトインジェクション(VPI)攻撃について検討する。 実験により,現在のCUAとBUAは,それぞれのプラットフォーム上で最大51%,100%の速度で騙すことができることがわかった。
  論文  参考訳（メタデータ） (2025-06-03T05:21:50Z)
• UFO2: The Desktop AgentOS [60.317812905300336]
  UFO2はWindowsデスクトップ用のマルチエージェントAgentOSで、実用的なシステムレベルの自動化に発展している。 我々は、20以上の現実世界のWindowsアプリケーションに対してUFO2を評価し、従来のCUAよりもロバスト性および実行精度を大幅に改善した。 我々の結果は、ディープOSの統合によって、信頼性の高いユーザ指向のデスクトップ自動化へのスケーラブルな道が開けることを示している。
  論文  参考訳（メタデータ） (2025-04-20T13:04:43Z)
• The Obvious Invisible Threat: LLM-Powered GUI Agents' Vulnerability to Fine-Print Injections [21.322212760700957]
  LLM(Large Language Model)ベースのGUIエージェントは、高レベルな命令に従ってユーザの代用タスクを実行する専門的な自律システムである。 フォームや予約サービスなどの現実世界のタスクを完了させるには、GUIエージェントは機密性の高いユーザーデータを処理する必要がある。 これらの攻撃は、エージェントと人間のユーザに対する視覚的満足度の違いを悪用することが多い。
  論文  参考訳（メタデータ） (2025-04-15T15:21:09Z)
• Multi-Agent Systems Execute Arbitrary Malicious Code [9.200635465485067]
  敵コンテンツは、システム内の制御と通信をハイジャックして、安全でないエージェントや機能を呼び出すことができることを示す。 直接的または間接的なプロンプト注入の影響を受けないエージェントであっても,制御フローハイジャック攻撃が成功することを示す。
  論文  参考訳（メタデータ） (2025-03-15T16:16:08Z)
• PC-Agent: A Hierarchical Multi-Agent Collaboration Framework for Complex Task Automation on PC [98.82146219495792]
  本稿では,PC-Agentという階層型エージェントフレームワークを提案する。 認識の観点からは,現在のMLLMのスクリーンショットコンテンツに対する認識能力の不十分さを克服するために,アクティブ知覚モジュール(APM)を考案する。 意思決定の観点から、複雑なユーザ命令や相互依存サブタスクをより効果的に扱うために、階層的なマルチエージェント協調アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-02-20T05:41:55Z)
• Attacking Vision-Language Computer Agents via Pop-ups [61.744008541021124]
  VLMエージェントは、慎重に設計された対向的なポップアップによって容易に攻撃できることを示す。 この混乱は、エージェントが通常のタスクを実行する代わりにポップアップをクリックさせる。
  論文  参考訳（メタデータ） (2024-11-04T18:56:42Z)
• Imprompter: Tricking LLM Agents into Improper Tool Use [35.255462653237885]
  大規模言語モデル(LLM)エージェントは、生成機械学習とコードインタプリタ、Webブラウジング、メール、より一般的には外部リソースなどのツールを融合した、新興コンピューティングパラダイムである。 我々はエージェントベースのシステムのセキュリティ基盤に貢献し、自動的に計算された難読化された敵攻撃の新しいクラスを探索する。
  論文  参考訳（メタデータ） (2024-10-19T01:00:57Z)
• Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
  我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。 我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。 AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)
• CAAP: Context-Aware Action Planning Prompting to Solve Computer Tasks with Front-End UI Only [21.054681757006385]
  本稿では,スクリーンショット画像のみを通して環境を知覚するエージェントを提案する。 大規模言語モデルの推論能力を活用することで,大規模人間の実演データの必要性を解消する。 AgentはMiniWoB++の平均成功率は94.5%、WebShopの平均タスクスコアは62.3である。
  論文  参考訳（メタデータ） (2024-06-11T05:21:20Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。