論文の概要: Attacking Multimodal OS Agents with Malicious Image Patches

• arxiv url: http://arxiv.org/abs/2503.10809v1
• Date: Thu, 13 Mar 2025 18:59:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:08:07.271008
• Title: Attacking Multimodal OS Agents with Malicious Image Patches
• Title（参考訳）: 悪意のあるイメージパッチによるマルチモーダルOSエージェントの攻撃
• Authors: Lukas Aichberger, Alasdair Paren, Yarin Gal, Philip Torr, Adel Bibi,
• Abstract要約: オペレーティングシステム(OS)エージェントの最近の進歩により、視覚言語モデルがOSのグラフィカルユーザインタフェースと直接対話できるようになる。 これらのマルチモーダルOSエージェントは、アプリケーションプログラミングインタフェース(API)を介して単一のプロンプトに応答して、自律的にコンピュータベースのタスクを実行する スクリーンショットに写っていると、OSエージェントが特定のAPIを悪用して有害なアクションを起こさせるように、敵対的に妨害された悪意ある画像パッチ(MIP)を新たに導入する。
• 参考スコア（独自算出の注目度）: 43.09197967149309
• License:
• Abstract: Recent advances in operating system (OS) agents enable vision-language models to interact directly with the graphical user interface of an OS. These multimodal OS agents autonomously perform computer-based tasks in response to a single prompt via application programming interfaces (APIs). Such APIs typically support low-level operations, including mouse clicks, keyboard inputs, and screenshot captures. We introduce a novel attack vector: malicious image patches (MIPs) that have been adversarially perturbed so that, when captured in a screenshot, they cause an OS agent to perform harmful actions by exploiting specific APIs. For instance, MIPs embedded in desktop backgrounds or shared on social media can redirect an agent to a malicious website, enabling further exploitation. These MIPs generalise across different user requests and screen layouts, and remain effective for multiple OS agents. The existence of such attacks highlights critical security vulnerabilities in OS agents, which should be carefully addressed before their widespread adoption.
• Abstract（参考訳）: オペレーティングシステム(OS)エージェントの最近の進歩により、視覚言語モデルがOSのグラフィカルユーザインタフェースと直接対話できるようになる。 これらのマルチモーダルOSエージェントは、アプリケーションプログラミングインタフェース(API)を介して単一のプロンプトに応答して、自律的にコンピュータベースのタスクを実行する。 このようなAPIは通常、マウスクリック、キーボード入力、スクリーンショットキャプチャなど、低レベルの操作をサポートする。 スクリーンショットに写っていると、OSエージェントが特定のAPIを悪用して有害なアクションを起こさせるように、敵対的に妨害された悪意ある画像パッチ(MIP)を新たに導入する。 例えば、デスクトップのバックグラウンドに埋め込まれたり、ソーシャルメディアで共有されたMIPは、エージェントを悪意のあるウェブサイトにリダイレクトし、さらなるエクスプロイトを可能にする。 これらのMIPは、異なるユーザリクエストと画面レイアウトにまたがって一般化され、複数のOSエージェントに有効である。 このような攻撃の存在は、OSエージェントの重大なセキュリティ脆弱性を強調している。

関連論文リスト

• Commercial LLM Agents Are Already Vulnerable to Simple Yet Dangerous Attacks [88.84977282952602]
  最近のMLセキュリティ文献は、整列型大規模言語モデル(LLM)に対する攻撃に焦点を当てている。 本稿では,LLMエージェントに特有のセキュリティとプライバシの脆弱性を分析する。 我々は、人気のあるオープンソースおよび商用エージェントに対する一連の実証的な攻撃を行い、その脆弱性の即時的な影響を実証した。
  論文  参考訳（メタデータ） (2025-02-12T17:19:36Z)
• Attacking Vision-Language Computer Agents via Pop-ups [61.744008541021124]
  VLMエージェントは、慎重に設計された対向的なポップアップによって容易に攻撃できることを示す。 この混乱は、エージェントが通常のタスクを実行する代わりにポップアップをクリックさせる。
  論文  参考訳（メタデータ） (2024-11-04T18:56:42Z)
• Imprompter: Tricking LLM Agents into Improper Tool Use [35.255462653237885]
  大規模言語モデル(LLM)エージェントは、生成機械学習とコードインタプリタ、Webブラウジング、メール、より一般的には外部リソースなどのツールを融合した、新興コンピューティングパラダイムである。 我々はエージェントベースのシステムのセキュリティ基盤に貢献し、自動的に計算された難読化された敵攻撃の新しいクラスを探索する。
  論文  参考訳（メタデータ） (2024-10-19T01:00:57Z)
• Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
  我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。 我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。 AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)
• CAAP: Context-Aware Action Planning Prompting to Solve Computer Tasks with Front-End UI Only [21.054681757006385]
  本稿では,スクリーンショット画像のみを通して環境を知覚するエージェントを提案する。 大規模言語モデルの推論能力を活用することで,大規模人間の実演データの必要性を解消する。 AgentはMiniWoB++の平均成功率は94.5%、WebShopの平均タスクスコアは62.3である。
  論文  参考訳（メタデータ） (2024-06-11T05:21:20Z)
• CoCo-Agent: A Comprehensive Cognitive MLLM Agent for Smartphone GUI Automation [61.68049335444254]
  MLLM(Multimodal large language model)は、人間のような自律型言語エージェントが現実世界の環境と相互作用する可能性を示している。 包括的環境認識(CEP)と条件付き行動予測(CAP)の2つの新しいアプローチを備えた包括的認知型LLMエージェントCoCo-Agentを提案する。 AITW と META-GUI ベンチマークにおいて,我々のエージェントは実シナリオで有望な性能を示す新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-02-19T08:29:03Z)
• Microarchitectural Security of AWS Firecracker VMM for Serverless Cloud Platforms [9.345368209757495]
  FirecrackerはAmazon Web Services(AWS)がサーバレスクラウドプラットフォーム向けに開発した仮想マシンマネージャである。 私たちはAWSがFirecracker VMM固有のセキュリティをオーバーステートし、Firecrackerを使用するクラウドシステムを適切に保護するための不完全なガイダンスを提供していることを示しています。
  論文  参考訳（メタデータ） (2023-11-27T16:46:03Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。