論文の概要: Code Agent can be an End-to-end System Hacker: Benchmarking Real-world Threats of Computer-use Agent
- arxiv url: http://arxiv.org/abs/2510.06607v1
- Date: Wed, 08 Oct 2025 03:35:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-09 16:41:20.279499
- Title: Code Agent can be an End-to-end System Hacker: Benchmarking Real-world Threats of Computer-use Agent
- Title(参考訳): Code Agentはエンドツーエンドのシステムハッカーになり得る:コンピュータ利用エージェントの現実世界の脅威をベンチマークする
- Authors: Weidi Luo, Qiming Zhang, Tianyu Lu, Xiaogeng Liu, Bin Hu, Hung-Chun Chiu, Siyuan Ma, Yizhe Zhang, Xusheng Xiao, Yinzhi Cao, Zhen Xiang, Chaowei Xiao,
- Abstract要約: 我々は,MITRE ATT&CK Enterprise Matrix において,実世界の TTP に対応する最初のベンチマークである AdvCUA を提案する。
ReAct、AutoGPT、Gemini CLI、Cursor CLIの5つの主要なCUAを評価した。
結果は、現在のフロンティアCUAがOSのセキュリティ中心の脅威を十分にカバーしていないことを示している。
- 参考スコア(独自算出の注目度): 64.08182031659047
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Computer-use agent (CUA) frameworks, powered by large language models (LLMs) or multimodal LLMs (MLLMs), are rapidly maturing as assistants that can perceive context, reason, and act directly within software environments. Among their most critical applications is operating system (OS) control. As CUAs in the OS domain become increasingly embedded in daily operations, it is imperative to examine their real-world security implications, specifically whether CUAs can be misused to perform realistic, security-relevant attacks. Existing works exhibit four major limitations: Missing attacker-knowledge model on tactics, techniques, and procedures (TTP), Incomplete coverage for end-to-end kill chains, unrealistic environment without multi-host and encrypted user credentials, and unreliable judgment dependent on LLM-as-a-Judge. To address these gaps, we propose AdvCUA, the first benchmark aligned with real-world TTPs in MITRE ATT&CK Enterprise Matrix, which comprises 140 tasks, including 40 direct malicious tasks, 74 TTP-based malicious tasks, and 26 end-to-end kill chains, systematically evaluates CUAs under a realistic enterprise OS security threat in a multi-host environment sandbox by hard-coded evaluation. We evaluate the existing five mainstream CUAs, including ReAct, AutoGPT, Gemini CLI, Cursor CLI, and Cursor IDE based on 8 foundation LLMs. The results demonstrate that current frontier CUAs do not adequately cover OS security-centric threats. These capabilities of CUAs reduce dependence on custom malware and deep domain expertise, enabling even inexperienced attackers to mount complex enterprise intrusions, which raises social concern about the responsibility and security of CUAs.
- Abstract(参考訳): 大規模言語モデル(LLM)やマルチモーダルLLM(MLLM)を駆使したCUA(Computer-use Agent)フレームワークは、コンテキスト、理性、行動を直接ソフトウェア環境内で知覚できるアシスタントとして急速に成熟している。
もっとも重要な応用はOS(OS)制御である。
OS領域のCUAが日々の操作に組み込まれるようになるにつれて、CUAが現実的なセキュリティ関連攻撃を行うために悪用されるかどうか、実際のセキュリティへの影響を調べることが不可欠である。
既存の作品には、戦術、テクニック、手順(TTP)における攻撃者知識の欠如、エンドツーエンドの殺しチェーンの不完全なカバレッジ、マルチホストおよび暗号化されたユーザ認証のない非現実的環境、LLM-as-a-Judgeに依存する信頼できない判断の4つの大きな制限がある。
これらのギャップに対処するため,MITRE ATT&CK Enterprise Matrix で実世界の TTP に対応する最初のベンチマークである AdvCUA を提案し,40 の直接悪意のあるタスク,74 の TTP ベースの悪意のあるタスク,26 のエンドツーエンドキルチェーンを含む140 のタスクをハードコードされた評価によりマルチホスト環境サンドボックス内の現実的な OS セキュリティ脅威の下で,CUA を体系的に評価する。
我々は、ReAct、AutoGPT、Gemini CLI、Cursor CLI、Cursor IDEの5つの主要なCUAを8つの基盤LCMに基づいて評価する。
その結果、現在のフロンティアCUAはOSのセキュリティ中心の脅威を十分にカバーしていないことが示された。
これらのCUAの能力は、カスタムマルウェアや深いドメインの専門知識への依存を減らし、経験の浅い攻撃者でさえ複雑な企業侵入をマウントできるようになり、CUAの責任とセキュリティに対する社会的懸念が高まる。
関連論文リスト
- STAC: When Innocent Tools Form Dangerous Chains to Jailbreak LLM Agents [38.755035623707656]
本稿では,エージェントツールの利用を生かした新しいマルチターンアタックフレームワークSTACについて紹介する。
我々は,483のSTACケースを自動生成し,評価するために,1,352セットのユーザエージェント環境相互作用を特徴とするフレームワークを適用した。
GPT-4.1を含む最先端のLSMエージェントはSTACに対して極めて脆弱であり,攻撃成功率(ASR)は90%以上である。
論文 参考訳(メタデータ) (2025-09-30T00:31:44Z) - Secure and Efficient Access Control for Computer-Use Agents via Context Space [11.077973600902853]
CSAgentは、コンピュータ利用エージェントのためのシステムレベルの静的ポリシーベースのアクセス制御フレームワークである。
我々はCSAgentの実装と評価を行い、99.36%以上の攻撃に対して防御に成功し、パフォーマンスオーバーヘッドは6.83%に過ぎなかった。
論文 参考訳(メタデータ) (2025-09-26T12:19:27Z) - AgentSentinel: An End-to-End and Real-Time Security Defense Framework for Computer-Use Agents [7.99316950952212]
LLM(Large Language Models)は、コンピュータ利用エージェントにますます統合されている。
LLMは意図しないツールコマンドや誤った入力を発行し、潜在的に有害な操作を引き起こす可能性がある。
我々は,セキュリティの脅威を軽減するために,エンド・ツー・エンドのリアルタイム防衛フレームワークであるAgentSentinelを提案する。
論文 参考訳(メタデータ) (2025-09-09T13:59:00Z) - OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。
従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。
ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
論文 参考訳(メタデータ) (2025-07-08T16:18:54Z) - A Systematization of Security Vulnerabilities in Computer Use Agents [1.3560089220432787]
我々は、現実のCUAのシステム的脅威分析と、敵条件下でのテストを行う。
CUAパラダイム特有のリスクのクラスを7つ同定し、3つの具体的なエクスプロイトシナリオを詳細に分析する。
これらのケーススタディは、現在のCUA実装にまたがるより深いアーキテクチャ上の欠陥を明らかにします。
論文 参考訳(メタデータ) (2025-07-07T19:50:21Z) - RedTeamCUA: Realistic Adversarial Testing of Computer-Use Agents in Hybrid Web-OS Environments [40.354694210052095]
コンピュータ利用エージェント(CUA)はOS(OS)とウェブにまたがる複雑なタスクを自動化することを約束するが、間接的なプロンプトインジェクションには弱いままである。
我々は,VMベースのOS環境とDockerベースのWebプラットフォームを統合する,新しいハイブリッドサンドボックスを備えた,敵対的なテストフレームワークであるRedTeamCUAを提案する。
RedTeamCUAは、CUAの脆弱性を現実的で、制御され、体系的に分析するために必要なフレームワークを提供する。
論文 参考訳(メタデータ) (2025-05-28T03:42:09Z) - AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。
我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。
攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
論文 参考訳(メタデータ) (2025-05-09T07:40:17Z) - Defeating Prompt Injections by Design [79.00910871948787]
CaMeLは、Large Language Modelsを中心とした保護システムレイヤを作成する堅牢なディフェンスである。
CaMeLは、(信頼された)クエリから制御とデータフローを明示的に抽出する。
セキュリティをさらに改善するため、CaMeLは、権限のないデータフロー上のプライベートデータの流出を防止する機能の概念を使用している。
論文 参考訳(メタデータ) (2025-03-24T15:54:10Z) - Compromising Embodied Agents with Contextual Backdoor Attacks [69.71630408822767]
大型言語モデル(LLM)は、エンボディドインテリジェンスの発展に変化をもたらした。
本稿では,このプロセスにおけるバックドアセキュリティの重大な脅威を明らかにする。
ほんの少しの文脈的デモンストレーションを毒殺しただけで、攻撃者はブラックボックスLDMの文脈的環境を隠蔽することができる。
論文 参考訳(メタデータ) (2024-08-06T01:20:12Z) - Not what you've signed up for: Compromising Real-World LLM-Integrated
Applications with Indirect Prompt Injection [64.67495502772866]
大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。
本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。
我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
論文 参考訳(メタデータ) (2023-02-23T17:14:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。