論文の概要: A Survey on the Safety and Security Threats of Computer-Using Agents: JARVIS or Ultron?
- arxiv url: http://arxiv.org/abs/2505.10924v1
- Date: Fri, 16 May 2025 06:56:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-19 14:36:14.199399
- Title: A Survey on the Safety and Security Threats of Computer-Using Agents: JARVIS or Ultron?
- Title（参考訳）: JARVISとUltronの安全性と安全性に関する調査
- Authors: Ada Chen, Yongjiang Wu, Junyuan Zhang, Shu Yang, Jen-tse Huang, Kun Wang, Wenxuan Wang, Shuai Wang,
- Abstract要約: 本稿では,EmphComputer-Using Agentsの安全性とセキュリティの脅威に関する知識の体系化について述べる。
CUAは、デスクトップアプリケーション、Webページ、モバイルアプリをナビゲートするなど、自律的にタスクを実行することができる。
- 参考スコア（独自算出の注目度）: 31.057071280437796
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, AI-driven interactions with computing devices have advanced from basic prototype tools to sophisticated, LLM-based systems that emulate human-like operations in graphical user interfaces. We are now witnessing the emergence of \emph{Computer-Using Agents} (CUAs), capable of autonomously performing tasks such as navigating desktop applications, web pages, and mobile apps. However, as these agents grow in capability, they also introduce novel safety and security risks. Vulnerabilities in LLM-driven reasoning, with the added complexity of integrating multiple software components and multimodal inputs, further complicate the security landscape. In this paper, we present a systematization of knowledge on the safety and security threats of CUAs. We conduct a comprehensive literature review and distill our findings along four research objectives: \textit{\textbf{(i)}} define the CUA that suits safety analysis; \textit{\textbf{(ii)} } categorize current safety threats among CUAs; \textit{\textbf{(iii)}} propose a comprehensive taxonomy of existing defensive strategies; \textit{\textbf{(iv)}} summarize prevailing benchmarks, datasets, and evaluation metrics used to assess the safety and performance of CUAs. Building on these insights, our work provides future researchers with a structured foundation for exploring unexplored vulnerabilities and offers practitioners actionable guidance in designing and deploying secure Computer-Using Agents.
- Abstract（参考訳）: 近年,AIによるコンピュータデバイスとのインタラクションは,基本的なプロトタイプツールから,グラフィカルユーザインタフェースにおけるヒューマンライクな操作をエミュレートする,高度なLCMベースのシステムへと進歩している。
現在、デスクトップアプリケーション、Webページ、モバイルアプリのナビゲートなど、自律的にタスクを実行することができる \emph{Computer-Using Agents} (CUA) の出現を目撃しています。
しかし、これらのエージェントの能力が向上するにつれて、新たな安全性とセキュリティリスクももたらされる。
LLM駆動推論における脆弱性は、複数のソフトウェアコンポーネントとマルチモーダル入力を統合する複雑さが増し、セキュリティの状況はさらに複雑になる。
本稿では,CUAの安全性とセキュリティの脅威に関する知識の体系化について述べる。
総合的な文献レビューを行い、4つの研究目的に沿って研究成果を掘り下げる。
(i)}} は安全性解析に適した CUA を定義する。
(ii)} } 現在の安全脅威をCUA; \textit{\textbf{ に分類する。
(iii)}} は既存の防衛戦略の包括的な分類法を提案している。
(iv)}} CUAの安全性と性能を評価するために使用される一般的なベンチマーク、データセット、評価指標を要約する。
これらの知見に基づいて、我々の研究は将来の研究者に、探索されていない脆弱性を探索するための構造化された基盤を提供し、セキュアなコンピュータ利用エージェントの設計およびデプロイにおいて実践者が実行可能なガイダンスを提供する。
関連論文リスト
- RedTeamLLM: an Agentic AI framework for offensive security [0.0]
我々は,ペンテストタスクの自動化のための総合的なセキュリティモデルを備えた統合アーキテクチャであるRedTeamLLMを提案し,評価する。
RedTeamLLMは3つの重要なステップに従っている。
評価は、一連のエントリーレベルの自動解決を通じて行われるが、簡単なことではなく、CTFの課題である。
論文 参考訳（メタデータ） (2025-05-11T09:19:10Z) - From Texts to Shields: Convergence of Large Language Models and Cybersecurity [15.480598518857695]
本稿では,大規模言語モデル(LLM)とサイバーセキュリティの収束について検討する。
ソフトウェアおよびネットワークセキュリティ、5G脆弱性分析、生成セキュリティ工学におけるLLMの新たな応用について検討する。
論文 参考訳（メタデータ） (2025-05-01T20:01:07Z) - A Survey on (M)LLM-Based GUI Agents [62.57899977018417]
グラフィカルユーザインタフェース (GUI) エージェントは、人間とコンピュータのインタラクションにおいて、トランスフォーメーションパラダイムとして登場した。
大規模言語モデルとマルチモーダル学習の最近の進歩は、デスクトップ、モバイル、Webプラットフォーム全体でGUI自動化に革命をもたらした。
本調査では, 正確な要素位置決定, 効果的な知識検索, 長期計画, 安全に配慮した実行制御など, 重要な技術的課題を明らかにする。
論文 参考訳（メタデータ） (2025-03-27T17:58:31Z) - Security of AI Agents [5.468745160706382]
システムセキュリティの観点から、AIエージェントの潜在的な脆弱性を特定し、記述する。
本研究では,各脆弱性に対応する防御機構を設計と実験で導入し,その生存性を評価する。
本稿では、現在のAIエージェント開発におけるセキュリティ問題を文脈的に分析し、AIエージェントをより安全で信頼性の高いものにするための方法を解説する。
論文 参考訳（メタデータ） (2024-06-12T23:16:45Z) - Mapping LLM Security Landscapes: A Comprehensive Stakeholder Risk Assessment Proposal [0.0]
本稿では,従来のシステムにおけるリスク評価手法のようなツールを用いたリスク評価プロセスを提案する。
我々は、潜在的な脅威要因を特定し、脆弱性要因に対して依存するシステムコンポーネントをマッピングするためのシナリオ分析を行う。
3つの主要株主グループに対する脅威もマップ化しています。
論文 参考訳（メタデータ） (2024-03-20T05:17:22Z) - The Security and Privacy of Mobile Edge Computing: An Artificial Intelligence Perspective [64.36680481458868]
Mobile Edge Computing (MEC)は、クラウドコンピューティングと情報技術(IT)サービスをネットワークのエッジで配信できるようにする新しいコンピューティングパラダイムである。
本稿では,人工知能(AI)の観点からMECのセキュリティとプライバシに関する調査を行う。
新たなセキュリティとプライバシの問題に加えて、AIの観点からの潜在的なソリューションにも重点を置いています。
論文 参考訳（メタデータ） (2024-01-03T07:47:22Z) - Evaluating Model-free Reinforcement Learning toward Safety-critical
Tasks [70.76757529955577]
本稿では、国家安全RLの観点から、この領域における先行研究を再考する。
安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。
この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
論文 参考訳（メタデータ） (2022-12-12T06:30:17Z) - Towards Automated Classification of Attackers' TTPs by combining NLP
with ML Techniques [77.34726150561087]
我々は,NLP(Natural Language Processing)と,研究におけるセキュリティ情報抽出に使用される機械学習技術の評価と比較を行った。
本研究では,攻撃者の戦術や手法に従って非構造化テキストを自動的に分類するデータ処理パイプラインを提案する。
論文 参考訳（メタデータ） (2022-07-18T09:59:21Z) - Realistic simulation of users for IT systems in cyber ranges [63.20765930558542]
ユーザアクティビティを生成するために,外部エージェントを用いて各マシンを計測する。
このエージェントは、決定論的および深層学習に基づく手法を組み合わせて、異なる環境に適応する。
また,会話や文書の作成を容易にする条件付きテキスト生成モデルを提案する。
論文 参考訳（メタデータ） (2021-11-23T10:53:29Z) - Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。
我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。
我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
論文 参考訳（メタデータ） (2020-10-19T13:09:31Z) - Vulnerabilities of Connectionist AI Applications: Evaluation and Defence [0.0]
この記事では、コネクショナリスト人工知能(AI)アプリケーションのITセキュリティを扱い、完全性への脅威に焦点を当てます。
脅威の包括的リストと軽減の可能性は、最先端の文献をレビューすることによって提示される。
緩和に関する議論は同様に、AIシステム自体のレベルに限定されず、むしろサプライチェーンの文脈でAIシステムを見ることを提唱している。
論文 参考訳（メタデータ） (2020-03-18T12:33:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。