論文の概要: Multimodal-SEA: Benchmarking AI Agent Security under Multimodal Social Engineering Attacks
- arxiv url: http://arxiv.org/abs/2611.08281v1
- Date: Thu, 05 Nov 2026 16:46:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 04:55:13.584403
- Title: Multimodal-SEA: Benchmarking AI Agent Security under Multimodal Social Engineering Attacks
- Title（参考訳）: Multimodal-SEA: マルチモーダルなソーシャルエンジニアリング攻撃下でAIエージェントのセキュリティをベンチマークする
- Abstract要約: 我々は,現実の詐欺事件に根ざした608のエキスパート設計タスクからなる対話型ベンチマークであるMultimodal-SEAを紹介する。
エージェントは、コンテンツを検査し、要求を検証し、シミュレートされたアプリケーションでアクションを実行する。
パーソナルエージェントのレッドチーム化を可能にするために,タスク情報の統合,攻撃進行制御,マルチモーダルコンテンツ構築を行うマルチモーダルアタックハーネスを設計する。
- 参考スコア（独自算出の注目度）: 4.544394520380711
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Personal AI agents face social engineering attacks supported by forged multimodal content, but existing evaluations mainly focus on text-based dialogue, leaving their intrinsic security under such attacks insufficiently studied. We introduce Multimodal-SEA, an interactive benchmark comprising 608 expert-designed tasks grounded in real-world fraud cases, covering 14 domains and 152 attack scenarios with prepared multimodal content. The tasks span four difficulty levels and reflect the distinct social and cultural contexts of Chinese and English environments. Agents inspect content, verify requests, and execute actions in simulated applications, with attack outcomes grounded in verifiable tool execution logs. To enable controlled red teaming of personal agents, we design a multimodal attack harness that integrates task information, attack progression control, and multimodal content construction to evaluate their intrinsic security against adaptive social engineering attacks in simulated environments. Evaluating seven widely used multimodal models across six dimensions reveals that all are vulnerable, with attack success rates of 7.1% to 34.5%. Adding multimodal content increases attack success from 19.9% to 29.2%, despite increased proactive verification coverage. Stronger safety instructions reduce attack success without improving recognition of deceptive multimodal content, while lower attack success rates for some models accompany excessive refusal of legitimate requests.
- Abstract（参考訳）: 個人AIエージェントは、偽造されたマルチモーダルコンテンツによって支えられた社会工学的攻撃に直面しているが、既存の評価は主にテキストベースの対話に焦点を当てており、そのような攻撃下で固有のセキュリティは十分に研究されていない。
実世界の詐欺事件に根ざした608のエキスパート設計タスクからなる対話型ベンチマークであるMultimodal-SEAを紹介し,14のドメインと152の攻撃シナリオを準備されたマルチモーダルコンテンツでカバーする。
課題は4つの難易度に及び、中国とイギリス環境の社会的・文化的文脈を反映している。
エージェントは、コンテンツを検査し、要求を検証し、シミュレートされたアプリケーションでアクションを実行する。
エージェントのレッドチーム化を可能にするために,タスク情報,攻撃進行制御,マルチモーダルコンテンツ構築を統合したマルチモーダル攻撃ハーネスを設計し,シミュレーション環境における適応型社会工学攻撃に対する本質的なセキュリティを評価する。
6次元で広く使用されている7つのマルチモーダルモデルを評価すると、攻撃の成功率は7.1%から34.5%である。
マルチモーダルコンテンツを追加することで攻撃の成功率は19.9%から29.2%に増加した。
より強い安全性指示は、偽りのマルチモーダルコンテンツの認識を改善することなく攻撃の成功を減少させる一方、いくつかのモデルに対する攻撃成功率の低下は、正当な要求の過剰な拒絶を伴う。
関連論文リスト
- ANGLER: Verifier-Grounded Benchmarking with an Adaptive Attacker for Web Agents [13.705348731714814]
REEFは、Webエージェントのセキュリティ脆弱性を測定するための忠実な検証を備えた、レッドチーム実行環境のベンチマークである。
ANGLERは、レッドチームのための適応型ニアミス誘導ルアー進化フレームワークである。
ANGLERの攻撃成功率は20.36%であり、非適応的な設定では15.24%である。
論文 参考訳（メタデータ） (2026-10-30T05:25:48Z) - APEX-Harm: Evaluating Agent Safety in Shared Professional Workspaces [81.48656398420874]
我々は、金融、コンサルティング、法的タスクを行うエージェントに対して、プロンプトとスクリプトインジェクションを評価するためのベンチマークであるAPEX-Harmを紹介する。
各タスクには、メール、カレンダー、チャット、ドキュメント、スプレッドシート、PDF、コード実行ツールとともに、115から328のファイルが含まれている。
ベンチマークには、静的および動的インジェクション、タスク固有のスクリプト置換、アタッカーが提供するジェネリックスクリプトを含む6つのアタックカテゴリが含まれている。
論文 参考訳（メタデータ） (2026-10-09T14:05:47Z) - One Attack to Fool Them All: Highly Transferable Black-Box Adversarial Attacks on Frontier MLLMs [68.32863223021475]
敵対的攻撃は長い間、機械学習システムに根本的な脅威をもたらしてきた。
我々は高度に転送可能なブラックボックス攻撃フレームワークであるO-Attackを提案する。
O-AttackはGPT-5.4(29.1%から77.2%)、Claude-4.6(42.8%から81.6%)、Gemini-3.1(38.2%から80.9%)で攻撃成功率を上げる
論文 参考訳（メタデータ） (2026-09-27T18:33:38Z) - How Vulnerable Are AI Agents to Indirect Prompt Injections? Insights from a Large-Scale Public Competition [48.32744727426218]
LLMベースのエージェントは、電子メール、ドキュメント、コードリポジトリなどの外部データソースを処理する高利得設定にますますデプロイされている。
これにより間接的なプロンプトインジェクション攻撃が発生し、外部コンテンツに埋め込まれた敵の命令は、ユーザの意識なしにエージェントの動作を操作できる。
この2つの目的を3つのエージェント設定で評価した。
論文 参考訳（メタデータ） (2026-03-16T14:49:36Z) - Shadows in the Code: Exploring the Risks and Defenses of LLM-based Multi-Agent Software Development Systems [15.276177828252829]
リスクのある2つのシナリオを識別する: 悪質なエージェントを持つ悪意のあるユーザ(MU-BA)と悪質なエージェントを持つ良質なユーザ(BU-MA)。
Indicit Malicious Behavior Injection Attack (IMBIA)を導入し、マルチエージェントシステムをどのように操作して悪質な機能を隠蔽したソフトウェアを生成するかを示す。
本研究は,マルチエージェントソフトウェア開発システムにおける堅牢なセキュリティ対策の急激なニーズを浮き彫りにするものである。
論文 参考訳（メタデータ） (2025-11-23T14:26:35Z) - Securing AI Agents Against Prompt Injection Attacks [0.0]
本稿では,RAG対応AIエージェントのインジェクションリスク評価のためのベンチマークを提案する。
本フレームワークは,攻撃速度を73.2%から8.7%に削減し,94.3%のベースラインタスク性能を維持した。
論文 参考訳（メタデータ） (2025-11-19T10:00:54Z) - Security Challenges in AI Agent Deployment: Insights from a Large Scale Public Competition [101.86739402748995]
44の現実的なデプロイメントシナリオを対象とした,22のフロンティアAIエージェントを対象にしています。
Agent Red Teamingベンチマークを構築し、19の最先端モデルで評価します。
私たちの発見は、今日のAIエージェントの重要かつ永続的な脆弱性を浮き彫りにしたものです。
論文 参考訳（メタデータ） (2025-07-28T05:13:04Z) - Effective Black-Box Multi-Faceted Attacks Breach Vision Large Language Model Guardrails [32.627286570942445]
MultiFaceted Attackは、視覚大言語モデルにおける多層防御をバイパスするために設計されたアタックフレームワークである。
VLLMのマルチモーダルな性質を利用して、画像を通して有害なシステムプロンプトを注入する。
攻撃率は61.56%で、最先端の手法を少なくとも42.18%上回っている。
論文 参考訳（メタデータ） (2025-02-09T04:21:27Z) - TuBA: Cross-Lingual Transferability of Backdoor Attacks in LLMs with Instruction Tuning [63.481446315733145]
多言語大言語モデル(LLM)に対する言語間バックドア攻撃は未調査である。
本研究は, 教育指導データが有毒でない言語に対して, 教育指導データの有毒化がアウトプットに与える影響について検討した。
本手法は,mT5 や GPT-4o などのモデルにおいて,高い攻撃成功率を示し,12言語中7言語以上で90%以上を突破した。
論文 参考訳（メタデータ） (2024-04-30T14:43:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。