論文の概要: Attacking Vision-Language Computer Agents via Pop-ups

• arxiv url: http://arxiv.org/abs/2411.02391v1
• Date: Mon, 04 Nov 2024 18:56:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:47:54.043055
• Title: Attacking Vision-Language Computer Agents via Pop-ups
• Title（参考訳）: ポップアップによる視覚学習エージェントの攻撃
• Authors: Yanzhe Zhang, Tao Yu, Diyi Yang,
• Abstract要約: VLMエージェントは、慎重に設計された対向的なポップアップによって容易に攻撃できることを示す。 この混乱は、エージェントが通常のタスクを実行する代わりにポップアップをクリックさせる。
• 参考スコア（独自算出の注目度）: 61.744008541021124
• License:
• Abstract: Autonomous agents powered by large vision and language models (VLM) have demonstrated significant potential in completing daily computer tasks, such as browsing the web to book travel and operating desktop software, which requires agents to understand these interfaces. Despite such visual inputs becoming more integrated into agentic applications, what types of risks and attacks exist around them still remain unclear. In this work, we demonstrate that VLM agents can be easily attacked by a set of carefully designed adversarial pop-ups, which human users would typically recognize and ignore. This distraction leads agents to click these pop-ups instead of performing the tasks as usual. Integrating these pop-ups into existing agent testing environments like OSWorld and VisualWebArena leads to an attack success rate (the frequency of the agent clicking the pop-ups) of 86% on average and decreases the task success rate by 47%. Basic defense techniques such as asking the agent to ignore pop-ups or including an advertisement notice, are ineffective against the attack.
• Abstract（参考訳）: 大規模ビジョンと言語モデル(VLM)を利用した自律エージェントは、Webを閲覧して旅行を予約したり、デスクトップソフトウェアを操作するなど、日々のコンピュータタスクを完了させる大きな可能性を示しており、エージェントはこれらのインターフェースを理解する必要がある。 このような視覚的な入力がエージェントアプリケーションに統合される一方で、その周辺にどのようなリスクや攻撃が存在するのかはいまだ不明である。 本研究は,VLMエージェントを,人間が認識・無視することの多い,慎重に設計された対向的なポップアップによって容易に攻撃できることを実証する。 この混乱は、エージェントが通常のタスクを実行する代わりにポップアップをクリックさせる。 これらのポップアップをOSWorldやVisualWebArenaのような既存のエージェントテスト環境に統合すると、平均86%の攻撃成功率(ポップアップをクリックするエージェントの頻度)が得られ、タスクの成功率が47%低下する。 エージェントにポップアップを無視するよう要求したり、広告通知を含むような基本的な防御技術は、攻撃に対して効果がない。

関連論文リスト

• Commercial LLM Agents Are Already Vulnerable to Simple Yet Dangerous Attacks [88.84977282952602]
  最近のMLセキュリティ文献は、整列型大規模言語モデル(LLM)に対する攻撃に焦点を当てている。 本稿では,LLMエージェントに特有のセキュリティとプライバシの脆弱性を分析する。 我々は、人気のあるオープンソースおよび商用エージェントに対する一連の実証的な攻撃を行い、その脆弱性の即時的な影響を実証した。
  論文  参考訳（メタデータ） (2025-02-12T17:19:36Z)
• The Task Shield: Enforcing Task Alignment to Defend Against Indirect Prompt Injection in LLM Agents [6.829628038851487]
  大きな言語モデル(LLM)エージェントは、ツール統合を通じて複雑な現実世界のタスクを実行できる対話アシスタントとして、ますます多くデプロイされている。 特に間接的なプロンプトインジェクション攻撃は、外部データソースに埋め込まれた悪意のある命令が、エージェントを操作してユーザの意図を逸脱させる、重大な脅威となる。 我々は,エージェントのセキュリティが有害な行為を防止し,タスクアライメントを確保するためには,すべてのエージェントアクションをユーザ目的に役立てる必要がある,という新たな視点を提案する。
  論文  参考訳（メタデータ） (2024-12-21T16:17:48Z)
• AdvWeb: Controllable Black-box Attacks on VLM-powered Web Agents [22.682464365220916]
  AdvWebは、Webエージェント向けに設計された新しいブラックボックス攻撃フレームワークである。 DPOを用いた逆プロンプトモデルの訓練と最適化を行う。 従来のアプローチとは異なり、我々の逆文字列注入はステルスと制御を維持している。
  論文  参考訳（メタデータ） (2024-10-22T20:18:26Z)
• Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
  我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。 我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。 AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)
• InjecAgent: Benchmarking Indirect Prompt Injections in Tool-Integrated Large Language Model Agents [3.5248694676821484]
  IPI攻撃に対するツール統合LDMエージェントの脆弱性を評価するためのベンチマークであるInjecAgentを紹介する。 InjecAgentは17の異なるユーザーツールと62の攻撃ツールをカバーする1,054のテストケースで構成されている。 エージェントはIPI攻撃に対して脆弱であり、ReAct-prompted GPT-4は24%の時間攻撃に対して脆弱である。
  論文  参考訳（メタデータ） (2024-03-05T06:21:45Z)
• WIPI: A New Web Threat for LLM-Driven Web Agents [28.651763099760664]
  我々は、Web Agentを間接的に制御し、公開されているWebページに埋め込まれた悪意ある命令を実行する、新しい脅威WIPIを導入する。 WIPIを成功させるためには、ブラックボックス環境で動作させる。 提案手法は,純ブラックボックスシナリオにおいても平均攻撃成功率(ASR)が90%を超えることを達成している。
  論文  参考訳（メタデータ） (2024-02-26T19:01:54Z)
• Watch Out for Your Agents! Investigating Backdoor Threats to LLM-Based Agents [47.219047422240145]
  我々は、LSMベースのエージェントに対して、典型的な安全脅威であるバックドアアタックの1つを調査する第一歩を踏み出した。 具体的には、ユーザ入力とモデル出力のみを操作できる従来のLDMに対するバックドア攻撃と比較して、エージェントバックドア攻撃はより多様で隠蔽的な形式を示す。
  論文  参考訳（メタデータ） (2024-02-17T06:48:45Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)
• Adversarial Attacks On Multi-Agent Communication [80.4392160849506]
  現代の自律システムはすぐに大規模に展開され、協調型マルチエージェントシステムの可能性を広げる。 このような利点は、セキュリティ侵害に対して脆弱であることが示されている通信チャネルに大きく依存している。 本稿では,エージェントが学習した中間表現を共有してコミュニケーションする新しいマルチエージェント環境において,このような攻撃を探索する。
  論文  参考訳（メタデータ） (2021-01-17T00:35:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。