論文の概要: AdvAgent: Controllable Blackbox Red-teaming on Web Agents

• arxiv url: http://arxiv.org/abs/2410.17401v4
• Date: Sat, 31 May 2025 18:34:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-03 13:48:29.923998
• Title: AdvAgent: Controllable Blackbox Red-teaming on Web Agents
• Title（参考訳）: AdvAgent: Webエージェント上でのコントロール可能なブラックボックスのリチーム
• Authors: Chejian Xu, Mintong Kang, Jiawei Zhang, Zeyi Liao, Lingbo Mo, Mengqi Yuan, Huan Sun, Bo Li,
• Abstract要約: AdvAgentは、Webエージェントを攻撃するためのブラックボックスのレッドチームフレームワークである。 強化学習に基づくパイプラインを使用して、敵のプロンプトモデルをトレーニングする。 慎重な攻撃設計では、エージェントの弱点を効果的に活用し、ステルス性と制御性を維持する。
• 参考スコア（独自算出の注目度）: 22.682464365220916
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation model-based agents are increasingly used to automate complex tasks, enhancing efficiency and productivity. However, their access to sensitive resources and autonomous decision-making also introduce significant security risks, where successful attacks could lead to severe consequences. To systematically uncover these vulnerabilities, we propose AdvAgent, a black-box red-teaming framework for attacking web agents. Unlike existing approaches, AdvAgent employs a reinforcement learning-based pipeline to train an adversarial prompter model that optimizes adversarial prompts using feedback from the black-box agent. With careful attack design, these prompts effectively exploit agent weaknesses while maintaining stealthiness and controllability. Extensive evaluations demonstrate that AdvAgent achieves high success rates against state-of-the-art GPT-4-based web agents across diverse web tasks. Furthermore, we find that existing prompt-based defenses provide only limited protection, leaving agents vulnerable to our framework. These findings highlight critical vulnerabilities in current web agents and emphasize the urgent need for stronger defense mechanisms. We release code at https://ai-secure.github.io/AdvAgent/.
• Abstract（参考訳）: ファンデーションモデルベースのエージェントは、複雑なタスクの自動化、効率と生産性の向上にますます利用されている。 しかし、センシティブなリソースへのアクセスと自律的な意思決定は、攻撃の成功が重大な結果をもたらす可能性のある、重大なセキュリティリスクも引き起こす。 これらの脆弱性を体系的に発見するために、Webエージェントを攻撃するためのブラックボックスレッドチームフレームワークであるAdvAgentを提案する。 既存のアプローチとは異なり、AdvAgentは強化学習ベースのパイプラインを使用して、ブラックボックスエージェントからのフィードバックを使用して、敵のプロンプトを最適化する、敵のプロンプトモデルをトレーニングする。 慎重な攻撃設計では、エージェントの弱点を効果的に活用し、ステルス性と制御性を維持する。 広範囲な評価の結果,AdvAgent は様々な Web タスクにまたがる最先端 GPT-4 ベースの Web エージェントに対して高い成功率を達成した。 さらに、既存のプロンプトベースの防御は限定的な保護しか提供せず、我々のフレームワークに脆弱なエージェントを残していることがわかった。 これらの知見は、現在のWebエージェントの重大な脆弱性を浮き彫りにし、より強力な防御メカニズムの必要性を強調している。 私たちはhttps://ai-secure.github.io/AdvAgent/でコードをリリースします。

関連論文リスト

• WASP: Benchmarking Web Agent Security Against Prompt Injection Attacks [36.97842000562324]
  WASPと呼ばれるベンチマークでは、現実的なWebエージェントのハイジャックと、それらをテストするための独立した環境が導入されている。 我々の評価は、高度な推論能力を持つモデルに支えられたAIエージェントでさえ、低便宜な人手によるプロンプトインジェクションの影響を受けやすいことを示している。 エージェントは16～86%の時間で敵の指示を実行開始するが、0～17%の時間しか目標を達成できない。
  論文  参考訳（メタデータ） (2025-04-22T17:51:03Z)
• Manipulating Multimodal Agents via Cross-Modal Prompt Injection [34.35145839873915]
  マルチモーダルエージェントにおいて、これまで見過ごされていた重要なセキュリティ脆弱性を特定します。 攻撃者が複数のモードにまたがって敵の摂動を埋め込む新たな攻撃フレームワークであるCrossInjectを提案する。 提案手法は既存のインジェクション攻撃よりも優れており,攻撃成功率が少なくとも26.4%向上している。
  論文  参考訳（メタデータ） (2025-04-19T16:28:03Z)
• DoomArena: A framework for Testing AI Agents Against Evolving Security Threats [84.94654617852322]
  本稿では,AIエージェントのセキュリティ評価フレームワークであるDoomArenaを紹介する。 プラグインフレームワークであり、現実的なエージェントフレームワークと簡単に統合できる。 モジュールであり、エージェントがデプロイされる環境の詳細から攻撃の開発を分離する。
  論文  参考訳（メタデータ） (2025-04-18T20:36:10Z)
• Tit-for-Tat: Safeguarding Large Vision-Language Models Against Jailbreak Attacks via Adversarial Defense [90.71884758066042]
  大きな視覚言語モデル(LVLM)は、視覚入力による悪意のある攻撃に対する感受性という、ユニークな脆弱性を導入している。 本稿では,脆弱性発生源からアクティブ防衛機構へ視覚空間を変換するための新しい手法であるESIIIを提案する。
  論文  参考訳（メタデータ） (2025-03-14T17:39:45Z)
• Commercial LLM Agents Are Already Vulnerable to Simple Yet Dangerous Attacks [88.84977282952602]
  最近のMLセキュリティ文献は、整列型大規模言語モデル(LLM)に対する攻撃に焦点を当てている。 本稿では,LLMエージェントに特有のセキュリティとプライバシの脆弱性を分析する。 我々は、人気のあるオープンソースおよび商用エージェントに対する一連の実証的な攻撃を行い、その脆弱性の即時的な影響を実証した。
  論文  参考訳（メタデータ） (2025-02-12T17:19:36Z)
• Attacking Vision-Language Computer Agents via Pop-ups [61.744008541021124]
  VLMエージェントは、慎重に設計された対向的なポップアップによって容易に攻撃できることを示す。 この混乱は、エージェントが通常のタスクを実行する代わりにポップアップをクリックさせる。
  論文  参考訳（メタデータ） (2024-11-04T18:56:42Z)
• The Best Defense is a Good Offense: Countering LLM-Powered Cyberattacks [2.6528263069045126]
  大規模言語モデル(LLM)は、間もなく自律的なサイバーエージェントにとって不可欠なものになるだろう。 我々は,LLM攻撃の脆弱性を生かした新たな防衛戦略を導入する。 以上の結果から, LLM脆弱性を防御戦略に変換する効果を実証し, 防衛成功率を最大90%とした。
  論文  参考訳（メタデータ） (2024-10-20T14:07:24Z)
• EIA: Environmental Injection Attack on Generalist Web Agents for Privacy Leakage [40.82238259404402]
  敵環境におけるジェネラリストWebエージェントのプライバシーリスクに関する最初の研究を行う。 まず,Webサイト上での攻撃に対する現実的な脅威モデルを提示し,ユーザ固有のPIIを盗むか,あるいはユーザ要求全体に対して,敵対的な2つのターゲットを検討する。 我々は、Mind2Webから様々なPIIカテゴリを含む177のアクションステップを収集し、これまでで最も有能なジェネラリストWebエージェントフレームワークの1つを使用して実験を行う。
  論文  参考訳（メタデータ） (2024-09-17T15:49:44Z)
• Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
  我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。 我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。 AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)
• Mitigating Label Flipping Attacks in Malicious URL Detectors Using Ensemble Trees [16.16333915007336]
  悪意のあるURLは、交通、医療、エネルギー、銀行など、様々な産業で敵対的な機会を提供する。 バックドア攻撃は、ラベルフリップ(LF)など、少数のトレーニングデータラベルを操作することで、良質なラベルを悪意のあるラベルに変更し、その逆を処理します。 本稿では,有毒なラベルの存在を検知するアラームシステムと,オリジナルクラスラベルの発見を目的とした防御機構を提案する。
  論文  参考訳（メタデータ） (2024-03-05T14:21:57Z)
• WIPI: A New Web Threat for LLM-Driven Web Agents [28.651763099760664]
  我々は、Web Agentを間接的に制御し、公開されているWebページに埋め込まれた悪意ある命令を実行する、新しい脅威WIPIを導入する。 WIPIを成功させるためには、ブラックボックス環境で動作させる。 提案手法は,純ブラックボックスシナリオにおいても平均攻撃成功率(ASR)が90%を超えることを達成している。
  論文  参考訳（メタデータ） (2024-02-26T19:01:54Z)
• SENet: Visual Detection of Online Social Engineering Attack Campaigns [3.858859576352153]
  ソーシャルエンジニアリング(SE)は、ユーザのセキュリティとプライバシを侵害する可能性のあるアクションの実行をユーザを欺くことを目的としている。 SEShieldは、ブラウザ内でソーシャルエンジニアリング攻撃を検出するためのフレームワークである。
  論文  参考訳（メタデータ） (2024-01-10T22:25:44Z)
• Mutual-modality Adversarial Attack with Semantic Perturbation [81.66172089175346]
  本稿では,相互モダリティ最適化スキームにおける敵攻撃を生成する新しい手法を提案する。 我々の手法は最先端の攻撃方法より優れており、プラグイン・アンド・プレイ・ソリューションとして容易にデプロイできる。
  論文  参考訳（メタデータ） (2023-12-20T05:06:01Z)
• BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive Learning [85.2564206440109]
  本報告では,防衛後においてもバックドア攻撃が有効であり続けるという現実的なシナリオにおける脅威を明らかにする。 バックドア検出や細調整防御のモデル化に抵抗性のあるemphtoolnsアタックを導入する。
  論文  参考訳（メタデータ） (2023-11-20T02:21:49Z)
• Baseline Defenses for Adversarial Attacks Against Aligned Language Models [109.75753454188705]
  最近の研究は、テキストのモデレーションが防御をバイパスするジェイルブレイクのプロンプトを生み出すことを示している。 検出(複雑度に基づく)、入力前処理(言い換えと再帰化)、対人訓練の3種類の防衛について検討する。 テキストに対する既存の離散化の弱点と比較的高いコストの最適化が組み合わさって、標準適応攻撃をより困難にしていることがわかった。
  論文  参考訳（メタデータ） (2023-09-01T17:59:44Z)
• On the Effectiveness of Adversarial Training against Backdoor Attacks [111.8963365326168]
  バックドアモデルは、事前に定義されたトリガーパターンが存在する場合、常にターゲットクラスを予測する。 一般的には、敵の訓練はバックドア攻撃に対する防御であると信じられている。 本稿では,様々なバックドア攻撃に対して良好な堅牢性を提供するハイブリッド戦略を提案する。
  論文  参考訳（メタデータ） (2022-02-22T02:24:46Z)
• Fixed Points in Cyber Space: Rethinking Optimal Evasion Attacks in the Age of AI-NIDS [70.60975663021952]
  ネットワーク分類器に対するブラックボックス攻撃について検討する。 我々は、アタッカー・ディフェンダーの固定点がそれ自体、複雑な位相遷移を持つ一般サムゲームであると主張する。 攻撃防御力学の研究には連続的な学習手法が必要であることを示す。
  論文  参考訳（メタデータ） (2021-11-23T23:42:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。