論文の概要: FusionAudit: Pathway-Conditioned Robustness Auditing for Native Multimodal Models

• arxiv url: http://arxiv.org/abs/2610.21667v1
• Date: Thu, 15 Oct 2026 10:49:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.040678
• Title: FusionAudit: Pathway-Conditioned Robustness Auditing for Native Multimodal Models
• Title（参考訳）: Fusion Audit: ネイティブマルチモーダルモデルのためのパスコンディション付きロバストネス監査
• Abstract要約: 本稿では,2つの画像レベルの介入に対する経路条件付きリスクを定義するエビデンスベースのフレームワークPaRMAを紹介する。 任意の攻撃列挙の代わりに、PaRMAはアーキテクチャ固有の盲点を公開するために経路固有の診断を使用する。
• 参考スコア（独自算出の注目度）: 13.095836311580102
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As vision-language models (VLMs) transition from frozen-encoder pipelines to native multimodal architectures, the visual channel increasingly serves as both a perceptual input and a carrier of rendered text that competes with user prompts. Current single-attack, pixel-centric evaluations fail to capture this complexity: they collapse distinct visual attack surfaces into a single scalar and ignore how architectural shifts alter vulnerability. We introduce PaRMA, an evidence-based auditing framework that defines pathway-conditioned risk over two primary image-level interventions: pixel perturbation and rendered-text insertion. Instead of arbitrary attack enumeration, PaRMA uses pathway-specific diagnostics to expose architecture-specific blind spots. Notably, we uncover a see-but-not-deceived signature where native VLMs attend heavily to typographic overlays but visually reject them, and we identify an objective mismatch between encoder-level and answer-level attacks in deep-fusion models. To exploit these findings, we instantiate FusionAudit, introducing two diagnostic-motivated attacks: MANTIS (margin-aware pixel perturbation) and Nat-Evid (host-congruent semantic insertion). Evaluating 18 open-weight VLMs across a novel nativeness taxonomy, we demonstrate that legacy single-attack rankings (e.g., PGD) are unstable for native models. Our diagnostic-driven attacks substantially raise the estimated residual risk, showing that PaRMA provides a falsifiable, evidence-driven auditing methodology for uncovering vulnerabilities missed by standard benchmarks.
• Abstract（参考訳）: 視覚言語モデル(VLM)が凍結エンコーダパイプラインからネイティブなマルチモーダルアーキテクチャへ移行するにつれ、視覚チャネルは知覚入力とユーザプロンプトと競合するレンダリングされたテキストのキャリアとしての役割を担っている。 個々の視覚的攻撃面を単一のスカラーに分解し、アーキテクチャシフトが脆弱性をどう変えるかを無視している。 本稿では,2つの画像レベルの介入に対する経路条件付きリスクを定義するエビデンスベースの監査フレームワークPaRMAを紹介する。 任意の攻撃列挙の代わりに、PaRMAはアーキテクチャ固有の盲点を公開するために経路固有の診断を使用する。 特に,本研究では,VLMがタイポグラフィーオーバーレイに強く関与するが視覚的に拒否するシー・ブ・デ・デ・デ・デ・シグニチャを発見し,深層融合モデルにおけるエンコーダレベルの攻撃と解答レベルの攻撃の客観的なミスマッチを同定する。 MANTIS (margin-aware pixel perturbation) と Nat-Evid (host-congruent semantic insert) の2つの診断動機を持つ攻撃を導入した。 新たなネイティブ性分類において18個のオープンウェイトVLMを評価し,従来の単一攻撃ランク(PGDなど)がネイティブモデルでは不安定であることを実証した。 診断による攻撃は、予測された残留リスクを著しく増加させ、PaRMAが標準ベンチマークで見逃された脆弱性を明らかにするための、偽の証拠駆動監査手法を提供することを示す。

関連論文リスト

• CrACK: Adversarial Attacks on Cross-Model Consistency in Collaborative Vision Foundation Models [16.64134816858303]
  CLIP、SAM、DINOといったVision Foundation Modelを統合する、トレーニング不要のコラボレーティブパイプラインは、強力なオープン語彙密度予測を実現する。 入力画素,モデル重み,トレーニングデータを変更することなく,このインターフェースを利用する推論時攻撃であるCrACKを提案する。 実験により、CrACKは破滅的な劣化を引き起こすが、個々のモデルはそのまま独立して出力を出力し続ける。
  論文  参考訳（メタデータ） (2026-09-07T13:47:33Z)
• Shape and Substance: Dual-Layer Side-Channel Attacks on Local Vision-Language Models [2.1198879079315573]
  デバイス上のビジョンランゲージモデル(VLM)は、ローカル実行を通じてデータのプライバシを約束する。 動的高分解能前処理へのアーキテクチャシフトは,アルゴリズム的なサイドチャネルを導入している。 ローカルなVLMに対する2層アタック・フレームワークを実演する。
  論文  参考訳（メタデータ） (2026-03-26T12:53:49Z)
• ForensicsSAM: Toward Robust and Unified Image Forgery Detection and Localization Resisting to Adversarial Attack [56.0056378072843]
  高い転送性を持つ逆画像は上流モデルでのみ作成可能であることを示す。 本稿では,IFDLフレームワークを組み込んだForensicsSAMを提案する。
  論文  参考訳（メタデータ） (2025-08-10T16:03:44Z)
• Benchmarking Unified Face Attack Detection via Hierarchical Prompt Tuning [58.16354555208417]
  PADとFFDはそれぞれ物理メディアベースのプレゼンテーションアタックとデジタル編集ベースのDeepFakeから顔データを保護するために提案されている。 これら2つのカテゴリの攻撃を同時に処理する統一顔攻撃検出モデルがないことは、主に2つの要因に起因する。 本稿では,異なる意味空間から複数の分類基準を適応的に探索する,視覚言語モデルに基づく階層型プロンプトチューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-19T16:35:45Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• Discriminator-Free Generative Adversarial Attack [87.71852388383242]
  生成的ベースの敵攻撃は、この制限を取り除くことができる。 ASymmetric Saliency-based Auto-Encoder (SSAE) は摂動を生成する。 SSAEが生成した敵の例は、広く使われているモデルを崩壊させるだけでなく、優れた視覚的品質を実現する。
  論文  参考訳（メタデータ） (2021-07-20T01:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。