論文の概要: From Assistants to Adversaries: Exploring the Security Risks of Mobile LLM Agents
- arxiv url: http://arxiv.org/abs/2505.12981v2
- Date: Tue, 20 May 2025 07:02:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-21 12:33:37.450594
- Title: From Assistants to Adversaries: Exploring the Security Risks of Mobile LLM Agents
- Title(参考訳): アシスタントから広告主へ:モバイルLLMエージェントのセキュリティリスクを探る
- Authors: Liangxuan Wu, Chao Wang, Tianming Liu, Yanjie Zhao, Haoyu Wang,
- Abstract要約: モバイル大言語モデル(LLM)の総合的セキュリティ解析について紹介する。
言語ベースの推論,GUIベースのインタラクション,システムレベルの実行という,3つのコア機能領域にわたるセキュリティ上の脅威を特定します。
分析の結果,11個の異なる攻撃面が明らかとなり,それぞれが移動型LDMエージェントのユニークな機能と相互作用パターンに根ざしていることがわかった。
- 参考スコア(独自算出の注目度): 17.62574693254363
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The growing adoption of large language models (LLMs) has led to a new paradigm in mobile computing--LLM-powered mobile AI agents--capable of decomposing and automating complex tasks directly on smartphones. However, the security implications of these agents remain largely unexplored. In this paper, we present the first comprehensive security analysis of mobile LLM agents, encompassing three representative categories: System-level AI Agents developed by original equipment manufacturers (e.g., YOYO Assistant), Third-party Universal Agents (e.g., Zhipu AI AutoGLM), and Emerging Agent Frameworks (e.g., Alibaba Mobile Agent). We begin by analyzing the general workflow of mobile agents and identifying security threats across three core capability dimensions: language-based reasoning, GUI-based interaction, and system-level execution. Our analysis reveals 11 distinct attack surfaces, all rooted in the unique capabilities and interaction patterns of mobile LLM agents, and spanning their entire operational lifecycle. To investigate these threats in practice, we introduce AgentScan, a semi-automated security analysis framework that systematically evaluates mobile LLM agents across all 11 attack scenarios. Applying AgentScan to nine widely deployed agents, we uncover a concerning trend: every agent is vulnerable to targeted attacks. In the most severe cases, agents exhibit vulnerabilities across eight distinct attack vectors. These attacks can cause behavioral deviations, privacy leakage, or even full execution hijacking. Based on these findings, we propose a set of defensive design principles and practical recommendations for building secure mobile LLM agents. Our disclosures have received positive feedback from two major device vendors. Overall, this work highlights the urgent need for standardized security practices in the fast-evolving landscape of LLM-driven mobile automation.
- Abstract(参考訳): 大規模言語モデル(LLM)の採用が増加し、モバイルコンピューティングにおける新たなパラダイムであるLLMベースのモバイルAIエージェントが、スマートフォン上での複雑なタスクの分解と自動化が可能になった。
しかし、これらのエージェントのセキュリティ上の意味はほとんど解明されていない。
本稿では,移動LLMエージェントの総合的セキュリティ分析として,原装置メーカー(例:YOYOアシスタント)が開発したシステムレベルAIエージェント,サードパーティユニバーサルエージェント(例:Zhipu AI AutoGLM),Emerging Agent Frameworks(例:Alibaba Mobile Agent)の3つのカテゴリからなる。
まず,モバイルエージェントの一般的なワークフローを分析し,言語ベースの推論,GUIベースのインタラクション,システムレベルの実行という,3つのコア機能領域にわたるセキュリティ脅威を識別する。
分析の結果,11の異なる攻撃面が明らかとなり,すべてモバイルLLMエージェントのユニークな機能とインタラクションパターンに根ざし,運用ライフサイクル全体にわたっていることがわかった。
これらの脅威を実際に調査するために、AgentScanを紹介した。AgentScanは、11の攻撃シナリオすべてにわたってモバイルLLMエージェントを体系的に評価する半自動セキュリティ分析フレームワークである。
AgentScanを9つの広くデプロイされたエージェントに適用すると、関連する傾向が明らかになる。
最も深刻な場合、エージェントは8つの異なる攻撃ベクトルにまたがる脆弱性を示す。
これらの攻撃は、行動の偏り、プライバシーの漏洩、さらには完全な実行ハイジャックを引き起こす可能性がある。
これらの知見に基づいて,セキュアな移動型LLMエージェント構築のための防御設計原則と実用的勧告を提案する。
当社の開示は、2つの主要デバイスベンダーから肯定的なフィードバックを受けている。
全体として、この作業は、LLM駆動のモバイル自動化の急速な進化の状況において、標準化されたセキュリティプラクティスに対する緊急の必要性を強調している。
関連論文リスト
- AgentXploit: End-to-End Redteaming of Black-Box AI Agents [54.29555239363013]
本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジィングフレームワークであるAgentXploitを提案する。
我々は、AgentXploitをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。
攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
論文 参考訳(メタデータ) (2025-05-09T07:40:17Z) - DoomArena: A framework for Testing AI Agents Against Evolving Security Threats [84.94654617852322]
本稿では,AIエージェントのセキュリティ評価フレームワークであるDoomArenaを紹介する。
プラグインフレームワークであり、現実的なエージェントフレームワークと簡単に統合できる。
モジュールであり、エージェントがデプロイされる環境の詳細から攻撃の開発を分離する。
論文 参考訳(メタデータ) (2025-04-18T20:36:10Z) - Guardians of the Agentic System: Preventing Many Shots Jailbreak with Agentic System [0.8136541584281987]
本研究は,3つの検査手法を用いて,逆チューリングテストによりローグエージェントを検出し,マルチエージェントシミュレーションにより知覚的アライメントを解析する。
GEMINI 1.5 Pro と llama-3.3-70B, Deepseek r1 モデルを用いて, 抗ジェイルブレイクシステムを開発した。
GEMINI 1.5 Proの94%の精度など、検出能力は強いが、長時間の攻撃を受けた場合、システムは永続的な脆弱性に悩まされる。
論文 参考訳(メタデータ) (2025-02-23T23:35:15Z) - Commercial LLM Agents Are Already Vulnerable to Simple Yet Dangerous Attacks [88.84977282952602]
最近のMLセキュリティ文献は、整列型大規模言語モデル(LLM)に対する攻撃に焦点を当てている。
本稿では,LLMエージェントに特有のセキュリティとプライバシの脆弱性を分析する。
我々は、人気のあるオープンソースおよび商用エージェントに対する一連の実証的な攻撃を行い、その脆弱性の即時的な影響を実証した。
論文 参考訳(メタデータ) (2025-02-12T17:19:36Z) - Systematic Categorization, Construction and Evaluation of New Attacks against Multi-modal Mobile GUI Agents [16.559272781032632]
本稿では,マルチモーダルなモバイルGUIエージェントのセキュリティを体系的に調査し,既存の文献におけるこの重大なギャップに対処する。
我々は,(1)新たな脅威モデリング手法を提案し,34件の未報告攻撃の発見・実現可能性分析を行い,(2)これらの脅威を体系的に構築・評価するアタック・フレームワークを設計する。
論文 参考訳(メタデータ) (2024-07-12T14:30:05Z) - Watch Out for Your Agents! Investigating Backdoor Threats to LLM-Based Agents [47.219047422240145]
我々は、LSMベースのエージェントに対して、典型的な安全脅威であるバックドアアタックの1つを調査する第一歩を踏み出した。
具体的には、ユーザ入力とモデル出力のみを操作できる従来のLDMに対するバックドア攻撃と比較して、エージェントバックドア攻撃はより多様で隠蔽的な形式を示す。
論文 参考訳(メタデータ) (2024-02-17T06:48:45Z) - The Rise and Potential of Large Language Model Based Agents: A Survey [91.71061158000953]
大規模言語モデル(LLM)は、人工知能(AGI)の潜在的な火花と見なされる
まず、エージェントの概念を哲学的起源からAI開発まで追跡し、LLMがエージェントに適した基盤である理由を説明します。
単一エージェントシナリオ,マルチエージェントシナリオ,ヒューマンエージェント協調の3つの側面において,LLMベースのエージェントの広範な応用について検討する。
論文 参考訳(メタデータ) (2023-09-14T17:12:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。