論文の概要: MMA-SafetyBench: A Benchmark for Multimodal Agent Safety Evaluation
- arxiv url: http://arxiv.org/abs/2610.19384v1
- Date: Wed, 14 Oct 2026 01:30:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.884328
- Title: MMA-SafetyBench: A Benchmark for Multimodal Agent Safety Evaluation
- Title（参考訳）: MMA-SafetyBench:マルチモーダルエージェント安全性評価ベンチマーク
- Abstract要約: 本稿では,視覚的セマンティック・ヒジャッキンについて検討し,視覚的セマンティック・ヒジャッキンについて検討する。
我々はMMA-SafetyBenchを構築し,Webオートメーション,デスクトップGUI制御,モバイルナビゲーション,文書理解,ビデオ処理など,1,083の対向軌道を網羅したMMA-SafetyBenchを構築した。
- 参考スコア（独自算出の注目度）: 26.468181509788522
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal agents increasingly rely on visual interfaces to perceive state and select actions, creating an attack surface not captured by text-only safety evaluations. We study Visual Semantic Hijacking, in which deceptive but semantically meaningful interface elements, such as forged system alerts, cause an agent to depart from its authorized task. We propose a trajectory-guided procedure that identifies candidate injection points and inserts reproducible visual payloads into the observation stream. Using this procedure, we construct MMA-SafetyBench, which contains 1,083 adversarial trajectories across web automation, desktop GUI control, mobile navigation, document understanding, and video processing. Across nine evaluated models, Attack Success Rate (ASR) reaches 87.96%, while Semantic Compromise Rate (SCR) reaches 98.09%. A 1--3--5 scoring scheme distinguishes target-matching outputs, semantic disruption without a target match, and successful preservation of the benign task. Controls covering all nine models and five domains show that attacks persist under neutral prompts. A safety-priority prompt lowers ASR without eliminating the failure mode.
- Abstract（参考訳）: マルチモーダルエージェントは、状態を認識してアクションを選択するために、ますますビジュアルインターフェースに依存しており、テキストのみの安全性評価によってキャプチャされないアタックサーフェスを生成する。
本稿では,視覚的セマンティック・ヒジャックについて検討し,擬似的だが意味論的に意味のあるインタフェース要素,例えば偽システム警告などについて検討した。
提案するトラジェクトリ誘導方式は,候補点を同定し,再現可能な視覚ペイロードを観測ストリームに挿入する。
本手法を用いて,Webオートメーション,デスクトップGUI制御,モバイルナビゲーション,文書理解,ビデオ処理など,1,083の対向軌道を含むMMA-SafetyBenchを構築する。
9つの評価モデルのうち、アタック成功率(ASR)は87.96%、セマンティック妥協率(SCR)は98.09%である。
1--3--5スコアリング方式は、目標マッチング出力、ターゲットマッチのない意味的乱れ、良性タスクの保存を成功させる。
9つのモデルと5つのドメインをカバーするコントロールは、中立的なプロンプトの下で攻撃が継続していることを示している。
安全優先性は、障害モードをなくすことなく、ASRを低下させる。
関連論文リスト
- DIBench: Benchmarking Decision Integrity of GUI-based Mobile Agents Under Deceptive Injections [14.918204262782522]
DIBenchは、モバイルエージェントにおけるタスク内目標偏差のリスクを測定するための決定整合性ベンチマークである。
我々は,過度な異常を伴わずに重要な選択を操る8つの偽注入プローブのインスタンス化を構築した。
全体として、DIBenchは、モバイルエージェントにおけるタスク内目標偏差のリスクを定量化するための、統一された再現可能なベンチマークを提供する。
論文 参考訳（メタデータ） (2026-09-29T03:03:00Z) - Red-Teaming Agent Execution Contexts: Open-World Security Evaluation on OpenClaw [9.193028511327851]
本稿では,OpenClawにおけるコンテキスト脆弱性の自動検出フレームワークであるDeepTrapについて述べる。
DeepTrapはリスク実現、良質なタスク保存、ステルスのバランスをとる。
その結果、コンテキスト妥協は、ユーザ対応タスクの完了を保ちながら、かなりの安全でない振る舞いを誘発することが示された。
論文 参考訳（メタデータ） (2026-05-11T13:20:02Z) - CORA: Conformal Risk-Controlled Agents for Safeguarded Mobile GUI Automation [68.53387633351484]
有害な行為に対する統計的保証を提供するポスト・ポリティクス・プレアクション保護フレームワークであるCORA(Conformal Risk-control GUI Agent)を提案する。
CORAは、安全を選択的行動実行として再定義する:我々は、提案されたステップごとに行動条件リスクを推定するためにガーディアンモデルを訓練する。
このパラダイムを厳格に評価するために、ステップレベルのハーモラベルを持つモバイル安全違反の新しいベンチマークであるPhone-Harmを紹介する。
論文 参考訳（メタデータ） (2026-04-10T09:41:21Z) - ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。
ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
論文 参考訳（メタデータ） (2026-01-15T08:23:38Z) - Securing AI Agents Against Prompt Injection Attacks [0.0]
本稿では,RAG対応AIエージェントのインジェクションリスク評価のためのベンチマークを提案する。
本フレームワークは,攻撃速度を73.2%から8.7%に削減し,94.3%のベースラインタスク性能を維持した。
論文 参考訳（メタデータ） (2025-11-19T10:00:54Z) - Poison Once, Control Anywhere: Clean-Text Visual Backdoors in VLM-based Mobile Agents [54.35629963816521]
この研究は、VLMベースのモバイルエージェントをターゲットにした最初のクリーンテキストバックドアアタックであるVIBMAを紹介する。
この攻撃は、視覚的な入力だけを変更することによって、悪意ある振る舞いをモデルに注入する。
クリーンタスクの動作を保ちながら高い成功率を達成できることを示す。
論文 参考訳（メタデータ） (2025-06-16T08:09:32Z) - Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。
我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。
AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
論文 参考訳（メタデータ） (2024-06-18T17:32:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。