論文の概要: Security Matrix for Multimodal Agents on Mobile Devices: A Systematic and Proof of Concept Study

• arxiv url: http://arxiv.org/abs/2407.09295v2
• Date: Wed, 17 Jul 2024 13:36:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-18 12:07:55.414706
• Title: Security Matrix for Multimodal Agents on Mobile Devices: A Systematic and Proof of Concept Study
• Title（参考訳）: モバイルデバイス上でのマルチモーダルエージェントのセキュリティマトリックス:概念研究の体系と証明
• Authors: Yulong Yang, Xinshan Yang, Shuaidong Li, Chenhao Lin, Zhengyu Zhao, Chao Shen, Tianwei Zhang,
• Abstract要約: マルチモーダル大規模言語モデルの推論能力の急速な進歩は、モバイルデバイス上での自律エージェントシステムの開発をきっかけにしている。 ヒトと機械の相互作用効率が向上したにもかかわらず、MLLMベースの移動エージェントシステムのセキュリティリスクは体系的に研究されていない。 本稿では,MLLMシステムの設計におけるセキュリティ意識の必要性を強調し,今後の攻撃・防御手法の研究の道を開く。
• 参考スコア（独自算出の注目度）: 16.559272781032632
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid progress in the reasoning capability of the Multi-modal Large Language Models (MLLMs) has triggered the development of autonomous agent systems on mobile devices. MLLM-based mobile agent systems consist of perception, reasoning, memory, and multi-agent collaboration modules, enabling automatic analysis of user instructions and the design of task pipelines with only natural language and device screenshots as inputs. Despite the increased human-machine interaction efficiency, the security risks of MLLM-based mobile agent systems have not been systematically studied. Existing security benchmarks for agents mainly focus on Web scenarios, and the attack techniques against MLLMs are also limited in the mobile agent scenario. To close these gaps, this paper proposes a mobile agent security matrix covering 3 functional modules of the agent systems. Based on the security matrix, this paper proposes 4 realistic attack paths and verifies these attack paths through 8 attack methods. By analyzing the attack results, this paper reveals that MLLM-based mobile agent systems are not only vulnerable to multiple traditional attacks, but also raise new security concerns previously unconsidered. This paper highlights the need for security awareness in the design of MLLM-based systems and paves the way for future research on attacks and defense methods.
• Abstract（参考訳）: MLLM(Multi-modal Large Language Models)の推論能力の急速な進歩は、モバイルデバイス上での自律エージェントシステムの開発をきっかけにしている。 MLLMベースのモバイルエージェントシステムは、知覚、推論、メモリ、マルチエージェントの協調モジュールで構成され、ユーザ命令の自動解析と、自然言語とデバイスのスクリーンショットのみを入力として、タスクパイプラインの設計を可能にする。 ヒトと機械の相互作用効率が向上したにもかかわらず、MLLMベースの移動エージェントシステムのセキュリティリスクは体系的に研究されていない。 エージェントの既存のセキュリティベンチマークは、主にWebシナリオに焦点を当てており、モバイルエージェントシナリオではMLLMに対する攻撃テクニックも制限されている。 これらのギャップを埋めるために,エージェントシステムの3つの機能モジュールをカバーするモバイルエージェントセキュリティマトリックスを提案する。 本論文は,セキュリティマトリックスに基づいて,現実的な攻撃経路を4つ提案し,攻撃経路を8つの攻撃方法で検証する。 攻撃結果を解析した結果,MLLMをベースとした移動エージェントシステムは,従来型の攻撃に対して脆弱であるだけでなく,これまで考慮されていなかった新たなセキュリティ上の懸念も生じていることがわかった。 本稿では,MLLMシステムの設計におけるセキュリティ意識の必要性を強調し,今後の攻撃・防御手法の研究の道を開く。

関連論文リスト

• Exploring Backdoor Attacks against Large Language Model-based Decision Making [27.316115171846953]
  大規模言語モデル(LLM)は、特定のアプリケーションで微調整された場合、意思決定タスクにおいて大きな可能性を示している。 これらのシステムは、微調整の段階でかなりの安全性とセキュリティ上のリスクにさらされている。 LLM対応意思決定システムに対するバックドアアタックの最初の包括的フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-27T17:59:43Z)
• AdaShield: Safeguarding Multimodal Large Language Models from Structure-based Attack via Adaptive Shield Prompting [54.931241667414184]
  textbfAdaptive textbfShield Promptingを提案する。これは、MLLMを構造ベースのジェイルブレイク攻撃から守るための防御プロンプトで入力をプリペイドする。 我々の手法は、構造に基づくジェイルブレイク攻撃に対するMLLMの堅牢性を一貫して改善することができる。
  論文  参考訳（メタデータ） (2024-03-14T15:57:13Z)
• The Wolf Within: Covert Injection of Malice into MLLM Societies via an MLLM Operative [55.08395463562242]
  MLLM(Multimodal Large Language Models)は、AGI(Artificial General Intelligence)の新たな境界を常に定義している。 本稿では,MLLM社会において,悪意のあるコンテンツの間接的伝播という新たな脆弱性について検討する。
  論文  参考訳（メタデータ） (2024-02-20T23:08:21Z)
• Watch Out for Your Agents! Investigating Backdoor Threats to LLM-Based Agents [50.034049716274005]
  我々は、LSMベースのエージェントに対して、典型的な安全脅威であるバックドアアタックの1つを調査する第一歩を踏み出した。 まず、エージェントバックドア攻撃の一般的な枠組みを定式化し、その後、エージェントバックドア攻撃の様々な形態について徹底的に分析する。 本稿では,2つの典型的なエージェント・タスクに対するエージェント・バックドア・アタックのバリエーションを実装するためのデータ中毒機構を提案する。
  論文  参考訳（メタデータ） (2024-02-17T06:48:45Z)
• Highlighting the Safety Concerns of Deploying LLMs/VLMs in Robotics [54.57914943017522]
  本稿では,大規模言語モデル (LLMs) と視覚言語モデル (VLMs) をロボティクスアプリケーションに統合する際のロバスト性と安全性に関する重要な課題を強調する。
  論文  参考訳（メタデータ） (2024-02-15T22:01:45Z)
• Vulnerability of Machine Learning Approaches Applied in IoT-based Smart Grid: A Review [51.31851488650698]
  機械学習(ML)は、IoT(Internet-of-Things)ベースのスマートグリッドでの使用頻度が高まっている。 電力信号に注入された逆方向の歪みは システムの正常な制御と操作に大きな影響を及ぼす 安全クリティカルパワーシステムに適用されたMLsgAPPの脆弱性評価を行うことが不可欠である。
  論文  参考訳（メタデータ） (2023-08-30T03:29:26Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)
• Threat Assessment in Machine Learning based Systems [12.031113181911627]
  我々は機械学習に基づくシステムに対して報告された脅威を実証研究する。 この研究は、MITREのATLASデータベース、AIインシデントデータベース、および文学からの89の現実世界のML攻撃シナリオに基づいている。 その結果,畳み込みニューラルネットワークは攻撃シナリオの中でも最も標的となるモデルの一つであることがわかった。
  論文  参考訳（メタデータ） (2022-06-30T20:19:50Z)
• Adversarial Machine Learning Threat Analysis in Open Radio Access Networks [37.23982660941893]
  Open Radio Access Network (O-RAN) は、新しい、オープンで適応的でインテリジェントなRANアーキテクチャである。 本稿では,O-RANに対する体系的対向機械学習脅威分析を提案する。
  論文  参考訳（メタデータ） (2022-01-16T17:01:38Z)
• Security and Machine Learning in the Real World [33.40597438876848]
  私たちは、大規模にデプロイされた機械学習ソフトウェア製品のセキュリティを評価し、システムのセキュリティビューを含む会話を広げるために、私たちの経験に基づいています。 本稿では,機械学習モジュールをデプロイする実践者がシステムを保護するために使用できる,短期的な緩和提案のリストを提案する。
  論文  参考訳（メタデータ） (2020-07-13T16:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。