論文の概要: Invisible Ink Threats: Adversarial Goals Behind Legitimate Tasks in Computer-Use Agents
- arxiv url: http://arxiv.org/abs/2608.02018v1
- Date: Mon, 03 Aug 2026 10:16:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.484505
- Title: Invisible Ink Threats: Adversarial Goals Behind Legitimate Tasks in Computer-Use Agents
- Title（参考訳）: Invisible Ink Threats:コンピュータ利用エージェントの正規タスクの背後にある敵のゴール
- Authors: Jia-Chen Zhang, Ze-Yu Zhang, Kai-Wei Zhang,
- Abstract要約: 我々は、一見無害な敵タスクのコレクションであるII-Benchを提示する。
II-Benchは、3つのプラットフォームにわたる機密性および整合性攻撃をターゲットにした444の例で構成されている。
また,包括的対角テストフレームワークHITLCUAを構築した。
- 参考スコア（独自算出の注目度）: 10.553545687886928
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Computer-use agents (CUAs), which empower large language models to autonomously operate operating systems and the web, are increasingly vulnerable to indirect prompt injection attacks. A widely adopted defense is the human-in-the-loop paradigm, in which the agent pauses for explicit user confirmation before executing sensitive operations. While effective against conspicuously high-harm attacks, this defense offers little protection against what we term Invisible Ink Threats: low-harm injected goals, such as starring a repository or installing a package, that are behaviorally indistinguishable from legitimate task execution and thus evade both model safety mechanisms and human oversight. To systematically investigate this blind spot, we present II-Bench, a collection of seemingly harmless adversarial tasks. II-Bench comprises 444 examples targeting confidentiality and integrity attacks across three platforms, spanning three attack categories: page navigation and interaction, sensitive information exfiltration, and code download and execution. Each category is instantiated in both natural language and code forms under two levels of instruction specificity. Furthermore, we construct HITLCUA, a comprehensive adversarial testing framework that integrates a real virtual machine operating system environment with isolated Docker-based web platforms, and simulates human participation by allowing CUAs to consult an API-simulated user before proceeding with suspicious operations. Extensive evaluations of leading CUAs reveal that low-harm injections frequently bypass both agent defenses and simulated user review, exposing severe and previously underexplored security risks in current CUAs.
- Abstract（参考訳）: 大規模言語モデルにオペレーティングシステムとWebを自律的に操作させるコンピュータ利用エージェント(CUA)は、間接的なインジェクション攻撃に対してますます脆弱である。
広く採用されているディフェンスはヒューマン・イン・ザ・ループ(Human-in-the-loop)パラダイムであり、エージェントは機密操作を実行する前に明示的なユーザ確認のために一時停止する。
目に見えるインク脅威(Invisible Ink Threats): リポジトリの紹介やパッケージのインストールなど、正当なタスク実行とは区別がつかず、モデル安全機構と人間の監視の両方を避ける。
この盲点を体系的に調査するために, 一見無害な敵タスクのコレクションであるII-Benchを提示する。
II-Benchは、ページナビゲーションとインタラクション、機密情報抽出、コードのダウンロードと実行という3つの攻撃カテゴリにまたがる、3つのプラットフォームにわたる機密性と整合性攻撃をターゲットとする444の例で構成されている。
各カテゴリは、自然言語とコード形式の両方で、2段階の命令特異性の下でインスタンス化される。
さらに,実際の仮想マシンオペレーティングシステム環境を分離されたDockerベースのWebプラットフォームと統合した総合的な敵テストフレームワークHITLCUAを構築し,疑わしい操作を行う前にCUAがAPIシミュレートされたユーザを参照できるようにすることで,人間の参加をシミュレートする。
先進的なCUAの広範囲な評価は、低ハーム注入がエージェントの防御とシミュレートされたユーザレビューの両方を頻繁に回避し、現在のCUAにおける重大かつ未調査のセキュリティリスクを明らかにしていることを示している。
関連論文リスト
- MemVenom: Triggered Poisoning of Multimodal Memories in Web Agents [74.64265314956441]
そこで我々は,グラフ構造化外部メモリにテキスト画像のコーディネートを施したブラックボックス攻撃フレームワークを提案する。
MemVenomは、GPT-5ファミリーのWebエージェントで最大99.15%に達する、良質なパフォーマンスに最小限の影響を伴って、強力なエンドツーエンド攻撃を成功させる。
論文 参考訳（メタデータ） (2026-06-09T11:53:25Z) - WebAgentGuard: A Reasoning-Driven Guard Model for Detecting Prompt Injection Attacks in Web Agents [117.65855863464863]
Webエージェントはインジェクション攻撃に対して非常に脆弱である。
システム・プロンプト・ディフェンス(英語版)やエージェントの直接微調整を含む既存の防御は、効果が限られている。
本稿では,WebAgentGuardを導入し,インジェクション検出のためのマルチモーダルガードモデルを提案する。
論文 参考訳（メタデータ） (2026-04-14T04:50:35Z) - MUZZLE: Adaptive Agentic Red-Teaming of Web Agents Against Indirect Prompt Injection Attacks [10.431616150153992]
MUZZLEは、間接的なプロンプトインジェクション攻撃に対するWebエージェントのセキュリティを評価する自動化フレームワークである。
エージェントの観察された実行軌跡に基づいて攻撃戦略を適用し、失敗した実行からのフィードバックを使用して攻撃を反復的に洗練する。
MUZZLEは、機密性、可用性、プライバシ特性に反する10の敵目標を持つ4つのWebアプリケーションに対する37の新たな攻撃を効果的に発見する。
論文 参考訳（メタデータ） (2026-02-09T21:46:18Z) - Cuckoo Attack: Stealthy and Persistent Attacks Against AI-IDE [64.47951172662745]
Cuckoo Attackは、悪意のあるペイロードを構成ファイルに埋め込むことで、ステルス性と永続的なコマンド実行を実現する新しい攻撃である。
攻撃パラダイムを初期感染と持続性という2つの段階に分類する。
当社は、ベンダーが製品のセキュリティを評価するために、実行可能な7つのチェックポイントを提供しています。
論文 参考訳（メタデータ） (2025-09-19T04:10:52Z) - BlindGuard: Safeguarding LLM-based Multi-Agent Systems under Unknown Attacks [58.959622170433725]
BlindGuardは、攻撃固有のラベルや悪意のある振る舞いに関する事前の知識を必要とせずに学習する、教師なしの防御方法である。
BlindGuardはマルチエージェントシステムにまたがる多様な攻撃タイプ(即時注入、メモリ中毒、ツール攻撃)を効果的に検出する。
論文 参考訳（メタデータ） (2025-08-11T16:04:47Z) - A Systematization of Security Vulnerabilities in Computer Use Agents [1.3560089220432787]
我々は、現実のCUAのシステム的脅威分析と、敵条件下でのテストを行う。
CUAパラダイム特有のリスクのクラスを7つ同定し、3つの具体的なエクスプロイトシナリオを詳細に分析する。
これらのケーススタディは、現在のCUA実装にまたがるより深いアーキテクチャ上の欠陥を明らかにします。
論文 参考訳（メタデータ） (2025-07-07T19:50:21Z) - Context manipulation attacks : Web agents are susceptible to corrupted memory [37.66661108936654]
Plan Injection"は、これらのエージェントの内部タスク表現を、この脆弱なコンテキストをターゲットとして破壊する、新しいコンテキスト操作攻撃である。
プランインジェクションはロバスト・プロンプト・インジェクション・ディフェンスを回避し,攻撃成功率を同等のプロンプト・ベース・アタックの最大3倍に向上することを示す。
この結果から,安全なメモリ処理はエージェントシステムにおける第一級の関心事であることが示唆された。
論文 参考訳（メタデータ） (2025-06-18T14:29:02Z) - VPI-Bench: Visual Prompt Injection Attacks for Computer-Use Agents [74.6761188527948]
完全なシステムアクセスを持つコンピュータ利用エージェント(CUA)は、セキュリティとプライバシの重大なリスクを負う。
我々は、悪意のある命令がレンダリングされたユーザーインターフェイスに視覚的に埋め込まれた視覚的プロンプトインジェクション(VPI)攻撃について検討する。
実験により,現在のCUAとBUAは,それぞれのプラットフォーム上で最大51%,100%の速度で騙すことができることがわかった。
論文 参考訳（メタデータ） (2025-06-03T05:21:50Z) - The Hidden Dangers of Browsing AI Agents [0.0]
本稿では,複数のアーキテクチャ層にまたがるシステム的脆弱性に着目し,このようなエージェントの総合的なセキュリティ評価を行う。
本研究は,ブラウジングエージェントのエンド・ツー・エンドの脅威モデルについて概説し,実環境への展開を確保するための実用的なガイダンスを提供する。
論文 参考訳（メタデータ） (2025-05-19T13:10:29Z) - Adversarial EXEmples: A Survey and Experimental Evaluation of Practical
Attacks on Machine Learning for Windows Malware Detection [67.53296659361598]
EXEmplesは、比較的少ない入力バイトを摂動することで、機械学習に基づく検出をバイパスすることができる。
我々は、機械学習モデルに対する過去の攻撃を包含し、一般化するだけでなく、3つの新たな攻撃を含む統一フレームワークを開発する。
これらの攻撃はFull DOS、Extended、Shiftと呼ばれ、DOSヘッダをそれぞれ操作し、拡張し、第1セクションの内容を変更することで、敵のペイロードを注入する。
論文 参考訳（メタデータ） (2020-08-17T07:16:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。