論文の概要: Chameleon: Adaptive Adversarial Agents for Scaling-Based Visual Prompt Injection in Multimodal AI Systems

• arxiv url: http://arxiv.org/abs/2512.04895v1
• Date: Thu, 04 Dec 2025 15:22:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-05 21:11:46.242096
• Title: Chameleon: Adaptive Adversarial Agents for Scaling-Based Visual Prompt Injection in Multimodal AI Systems
• Title（参考訳）: Chameleon: マルチモーダルAIシステムにおけるスケーリングベースのビジュアルプロンプトインジェクションのための適応的逆エージェント
• Authors: M Zeeshan, Saud Satti,
• Abstract要約: 本稿では,VLM(Vision-Language Models)におけるスケーリング脆弱性の公開と活用を目的とした,新しい適応型対向フレームワークを提案する。 実験の結果,Chameleonは様々なスケーリング要因に対して84.5%のアタック成功率(ASR)を達成した。 これらの攻撃はエージェントパイプラインを効果的に侵害し、マルチステップタスクにおいて意思決定精度を45%以上削減することを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Artificial Intelligence (AI) systems, particularly Vision-Language Models (VLMs), have become integral to critical applications ranging from autonomous decision-making to automated document processing. As these systems scale, they rely heavily on preprocessing pipelines to handle diverse inputs efficiently. However, this dependency on standard preprocessing operations, specifically image downscaling, creates a significant yet often overlooked security vulnerability. While intended for computational optimization, scaling algorithms can be exploited to conceal malicious visual prompts that are invisible to human observers but become active semantic instructions once processed by the model. Current adversarial strategies remain largely static, failing to account for the dynamic nature of modern agentic workflows. To address this gap, we propose Chameleon, a novel, adaptive adversarial framework designed to expose and exploit scaling vulnerabilities in production VLMs. Unlike traditional static attacks, Chameleon employs an iterative, agent-based optimization mechanism that dynamically refines image perturbations based on the target model's real-time feedback. This allows the framework to craft highly robust adversarial examples that survive standard downscaling operations to hijack downstream execution. We evaluate Chameleon against Gemini 2.5 Flash model. Our experiments demonstrate that Chameleon achieves an Attack Success Rate (ASR) of 84.5% across varying scaling factors, significantly outperforming static baseline attacks which average only 32.1%. Furthermore, we show that these attacks effectively compromise agentic pipelines, reducing decision-making accuracy by over 45% in multi-step tasks. Finally, we discuss the implications of these vulnerabilities and propose multi-scale consistency checks as a necessary defense mechanism.
• Abstract（参考訳）: マルチモーダル人工知能(AI)システム、特にビジョンランゲージモデル(VLM)は、自律的な意思決定から自動文書処理まで、重要なアプリケーションに不可欠なものとなっている。 これらのシステムはスケールするにつれて、多様な入力を効率的に処理するための前処理パイプラインに大きく依存する。 しかし、この標準的な前処理操作、特にイメージのダウンスケーリングへの依存は、重大な脆弱性をしばしば見落としている。 計算最適化を目的としているが、スケーリングアルゴリズムは人間の観察者に見えない悪意のある視覚的プロンプトを隠すために利用することができる。 現在の敵戦略は主に静的であり、現代のエージェントワークフローの動的な性質を考慮できない。 このギャップに対処するため,本研究では,本VLMにおけるスケーリング脆弱性の公開と活用を目的とした,新しい適応型対向フレームワークであるChameleonを提案する。 従来の静的攻撃とは異なり、Chameleonはターゲットモデルのリアルタイムフィードバックに基づいて画像摂動を動的に洗練する反復的エージェントベースの最適化メカニズムを採用している。 これによってフレームワークは、ダウンストリーム実行をハイジャックするために標準のダウンスケーリング操作を生き残る、非常に堅牢な敵の例を作成できる。 We evaluate Chameleon against Gemini 2.5 Flash model。 実験の結果、Chameleonは様々なスケーリング要因に対して84.5%のアタック成功率(ASR)を達成し、平均32.1%の静的ベースライン攻撃を著しく上回った。 さらに、これらの攻撃はエージェントパイプラインを効果的に侵害し、マルチステップタスクにおいて意思決定精度を45%以上削減することを示した。 最後に,これらの脆弱性がもたらす影響について考察し,必要な防御機構としてマルチスケールの整合性チェックを提案する。

関連論文リスト

• Monitoring LLM-based Multi-Agent Systems Against Corruptions via Node Evaluation [11.369402753246396]
  大規模言語モデル(LLM)ベースのマルチエージェントシステム(MAS)は、AIアプリケーションの一般的なパラダイムとなっている。 我々は,MASグラフ内の通信を継続的に監視するMASグラフ構造に対する動的防御パラダイムを提案する。 本手法は既存のMAS防御機構を著しく上回り,信頼性の高いアプリケーションに有効なガードレールを提供する。
  論文  参考訳（メタデータ） (2025-10-22T09:43:32Z)
• Poison Once, Control Anywhere: Clean-Text Visual Backdoors in VLM-based Mobile Agents [54.35629963816521]
  この研究は、VLMベースのモバイルエージェントをターゲットにした最初のクリーンテキストバックドアアタックであるVIBMAを紹介する。 この攻撃は、視覚的な入力だけを変更することによって、悪意ある振る舞いをモデルに注入する。 クリーンタスクの動作を保ちながら高い成功率を達成できることを示す。
  論文  参考訳（メタデータ） (2025-06-16T08:09:32Z)
• TRAP: Targeted Redirecting of Agentic Preferences [3.6293956720749425]
  本稿では,拡散型セマンティックインジェクションを用いてエージェントの意思決定を制御する,生成的敵対的フレームワークであるTRAPを紹介する。 提案手法は, 負のプロンプトに基づく劣化と正のセマンティック最適化を組み合わせ, シームズ意味ネットワークとレイアウト対応空間マスキングによって導かれる。 TRAPはLLaVA-34B、Gemma3、Mistral-3.1など主要なモデルで100%の攻撃成功率を達成した。
  論文  参考訳（メタデータ） (2025-05-29T14:57:16Z)
• Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
  我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。 我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。 AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。