論文の概要: Don't Click That: Teaching Web Agents to Resist Deceptive Interfaces
- arxiv url: http://arxiv.org/abs/2605.09497v1
- Date: Sun, 10 May 2026 12:11:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.280568
- Title: Don't Click That: Teaching Web Agents to Resist Deceptive Interfaces
- Title（参考訳）: クリックしないで:Webエージェントに認知インターフェースを復活させる
- Abstract要約: 視覚言語モデル(VLM)ベースのWebエージェントは、印象的なGUIインタラクションを示すが、認識インターフェース要素に弱いままである。
疑似認識型Webエージェントの防衛を形式化し,ハイブリッド・リワード学習と非対称なペナルティを組み合わせた2段階のフレームワークであるDUDE(Deceptive UI Detector & Evaluator)を提案する。
実験の結果、DUDEは、タスクパフォーマンスを維持しながら、騙しの感受性を53.8%削減し、堅牢なWebエージェントデプロイメントのための効果的な基盤を確立した。
- 参考スコア（独自算出の注目度）: 12.062544433817408
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language model (VLM) based web agents demonstrate impressive autonomous GUI interaction but remain vulnerable to deceptive interface elements. Existing approaches either detect deception without task integration or document attacks without proposing defenses. We formalize deception-aware web agent defense and propose DUDE (Deceptive UI Detector & Evaluator), a two-stage framework combining hybrid-reward learning with asymmetric penalties and experience summarization to distill failure patterns into transferable guidance. We introduce RUC (Real UI Clickboxes), a benchmark of 1,407 scenarios spanning four domains and deception categories. Experiments show DUDE reduces deception susceptibility by 53.8% while maintaining task performance, establishing an effective foundation for robust web agent deployment.
- Abstract（参考訳）: 視覚言語モデル(VLM)ベースのWebエージェントは、印象的なGUIインタラクションを示すが、認識インターフェース要素に弱いままである。
既存のアプローチは、タスク統合なしで偽造を検知するか、防御を提案せずに文書攻撃を行う。
疑似認識型Webエージェントの防衛を形式化し,ハイブリッド・リワード学習と非対称なペナルティを組み合わせた2段階のフレームワークであるDUDE(Deceptive UI Detector & Evaluator)を提案する。
RUC(Real UI Clickboxes)は、4つのドメインにまたがる1,407のシナリオのベンチマークである。
実験の結果、DUDEは、タスクパフォーマンスを維持しながら、騙しの感受性を53.8%削減し、堅牢なWebエージェントデプロイメントのための効果的な基盤を確立した。
関連論文リスト
- Automatic Red Teaming for Implicit Vulnerabilities of Text-to-Image Models [58.59008920408855]
本稿では,ターゲットモデルのパラメータへのアクセスを必要とせずに,暗黙の脆弱性を明らかにするためのAdvPIE(Adversarial Probing for Implicit VulnErabilities)を提案する。
AdvPIEは、審査員からのフィードバックに基づいて暗黙の敵のプロンプトを生成し、洗練するためのポリシーエージェントを採用する。
標準および安全性に適合したT2Iモデルの実験では、AdvPIE1が暗黙の脆弱性を効果的に発見している。
論文 参考訳（メタデータ） (2026-09-05T13:45:09Z) - Invisible Ink Threats: Adversarial Goals Behind Legitimate Tasks in Computer-Use Agents [10.553545687886928]
我々は、一見無害な敵タスクのコレクションであるII-Benchを提示する。
II-Benchは、3つのプラットフォームにわたる機密性および整合性攻撃をターゲットにした444の例で構成されている。
また,包括的対角テストフレームワークHITLCUAを構築した。
論文 参考訳（メタデータ） (2026-08-03T10:16:53Z) - Broken Gates: Re-evaluating Web Bot Defenses in the Age of LLM Agents [0.10467550794914121]
我々は,商業的なCaptcha解決サービスとLLMベースのブラウザエージェントの2つの攻撃クラスに対して,挑戦ベースの防御と非対話的信頼ベースの防御のレジリエンスを評価する。
以上の結果から, チャレンジベース防衛は, ほぼ完全なバイパスを無視可能なコストで達成できる商業的解決者に対して, 広範囲に効果がないことが示唆された。
reCaptcha v3のような非インタラクティブな防御は強い抵抗を示すが、このレジリエンスは基本的なセキュリティ特性を反映していない。
論文 参考訳（メタデータ） (2026-07-21T03:02:57Z) - Who Pays the Price? Stakeholder-Centric Prompt Injection Benchmarking for Real-world Web Agents [93.19140872946842]
大規模言語モデル(LLM)によって駆動されるWebエージェントは、現実の環境にますますデプロイされる。
これにより、一見良質なコンテンツがエージェントの振る舞いを操作する敵の命令を埋め込む、プロンプト・インジェクション・アタックに対して脆弱になる。
実世界のWebエージェントシステムにおいて,損害を体系的に分類し,属性付けするベンチマークである textbfsysname を導入する。
論文 参考訳（メタデータ） (2026-06-11T14:12:43Z) - WebAgentGuard: A Reasoning-Driven Guard Model for Detecting Prompt Injection Attacks in Web Agents [117.65855863464863]
Webエージェントはインジェクション攻撃に対して非常に脆弱である。
システム・プロンプト・ディフェンス(英語版)やエージェントの直接微調整を含む既存の防御は、効果が限られている。
本稿では,WebAgentGuardを導入し,インジェクション検出のためのマルチモーダルガードモデルを提案する。
論文 参考訳（メタデータ） (2026-04-14T04:50:35Z) - Dual-Modality Multi-Stage Adversarial Safety Training: Robustifying Multimodal Web Agents Against Cross-Modal Attacks [23.881766496924502]
本稿では,エージェントと攻撃者の相互作用を2人のプレイヤーによるゼロサムマルコフゲームとして形式化し,両プレイヤーを3段階のパイプラインで協調訓練するフレームワークを提案する。
提案手法は,訓練ベースおよび即時防御の確立に優れていた。
論文 参考訳（メタデータ） (2026-03-04T18:29:54Z) - It's a TRAP! Task-Redirecting Agent Persuasion Benchmark for Web Agents [52.81924177620322]
大規模な言語モデルを利用したWebベースのエージェントは、メール管理やプロフェッショナルネットワーキングといったタスクにますます利用されている。
動的Webコンテンツへの依存は、インジェクション攻撃の引き金に弱い: インターフェース要素に隠された敵対的命令は、エージェントが元のタスクから逸脱するように説得する。
本稿では,タスクリダイレクトエージェントの説得ベンチマーク(TRAP)について紹介する。
論文 参考訳（メタデータ） (2025-12-29T01:09:10Z) - Poison Once, Control Anywhere: Clean-Text Visual Backdoors in VLM-based Mobile Agents [54.35629963816521]
この研究は、VLMベースのモバイルエージェントをターゲットにした最初のクリーンテキストバックドアアタックであるVIBMAを紹介する。
この攻撃は、視覚的な入力だけを変更することによって、悪意ある振る舞いをモデルに注入する。
クリーンタスクの動作を保ちながら高い成功率を達成できることを示す。
論文 参考訳（メタデータ） (2025-06-16T08:09:32Z) - VPI-Bench: Visual Prompt Injection Attacks for Computer-Use Agents [74.6761188527948]
完全なシステムアクセスを持つコンピュータ利用エージェント(CUA)は、セキュリティとプライバシの重大なリスクを負う。
我々は、悪意のある命令がレンダリングされたユーザーインターフェイスに視覚的に埋め込まれた視覚的プロンプトインジェクション(VPI)攻撃について検討する。
実験により,現在のCUAとBUAは,それぞれのプラットフォーム上で最大51%,100%の速度で騙すことができることがわかった。
論文 参考訳（メタデータ） (2025-06-03T05:21:50Z) - Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。
我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。
AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
論文 参考訳（メタデータ） (2024-06-18T17:32:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。