論文の概要: Detecting Adversarial Images through Response Profiles of Vision-Language Models

• arxiv url: http://arxiv.org/abs/2610.10436v1
• Date: Wed, 07 Oct 2026 17:13:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:23.069292
• Title: Detecting Adversarial Images through Response Profiles of Vision-Language Models
• Title（参考訳）: 視覚言語モデルの応答プロファイルによる逆画像の検出
• Abstract要約: 我々は、画像が一般的な意味的プロンプトの集合と相互作用する幅広い方法に基づいて、逆入力を識別できるかどうかを検討する。 我々の検出器はこれらの応答をカテゴリレベルの統計値を用いて要約し、関係性、清浄な参照分布からの偏差、弱い画像変換の下での安定性について述べる。 複数の公開画像データセット、複数のCLIPスタイルの視覚バックボーン、勾配ベース、最適化ベース、自動化、空間攻撃に対するアプローチを評価した。
• 参考スコア（独自算出の注目度）: 1.3578741464318356
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adversarial perturbations can alter the predictions of frozen vision-language models (VLMs) while leaving their confidence and image--text similarity patterns seemingly plausible. We investigate whether we can identify adversarial inputs based on the broader way an image interacts with a collection of general semantic prompts. Our detector summarizes these responses using category-level statistics, relationships among prompts, deviations from clean reference distributions, and stability under weak image transformations, producing a compact response profile that is classified by a lightweight model while the VLM remains fixed. We evaluate the approach on multiple public image datasets, several CLIP-style visual backbones, and a range of gradient-based, optimization-based, automated, and spatial attacks. The detector achieves strong discrimination in attack-specific settings and retains substantial performance when evaluated on attacks not seen during training. Under a controlled detector-specific protocol, the response-profile representation outperforms the evaluated embedding-geometry baselines. Additional analyses show that the feature groups provide complementary information and that the method remains effective under variations in the prompt configuration. We also examine inference cost and performance against detector-aware adaptive attacks. Overall, the results indicate that response patterns across semantic prompts provide a useful complementary signal for adversarial image detection in frozen VLMs.
• Abstract（参考訳）: 敵対的摂動は、冷凍視覚言語モデル(VLM)の予測を変化させる一方で、その信頼性と画像-テキスト類似性パターンはもっともらしいように見える。 我々は、画像が一般的な意味的プロンプトの集合と相互作用する幅広い方法に基づいて、逆入力を識別できるかどうかを検討する。 我々の検出器は、これらの応答をカテゴリレベルの統計値、プロンプト間の関係、クリーン参照分布からの偏差、弱い画像変換の下での安定性を用いて要約し、VLMが固定されている間、軽量モデルによって分類されるコンパクトな応答プロファイルを生成する。 複数の公開画像データセット、複数のCLIPスタイルの視覚バックボーン、勾配ベース、最適化ベース、自動化、空間攻撃に対するアプローチを評価した。 この検出器は、攻撃固有の設定において強い差別を達成し、訓練中に見えない攻撃に対して評価された場合、かなりの性能を維持する。 制御された検出器固有のプロトコルの下では、応答顕著な表現は評価された埋め込み幾何学のベースラインよりも優れる。 追加分析の結果,特徴群は相補的な情報を提供し,提案手法はプロンプト構成の変動の下で有効であることがわかった。 また,検出器対応アダプティブアタックに対する推論コストと性能についても検討した。 その結果, セマンティック・プロンプト間の応答パターンは, 凍結したVLMにおける逆画像検出に有用な補完信号であることがわかった。

関連論文リスト

• Attention Hijacking: Response Manipulation Across Queries in Vision-Language Models [57.870323273127234]
  本研究の目的は,画像の持続的支配パターンに対して内的注意を喚起する新たな敵攻撃であるtextbfAttention Hijacking を提案することである。 提案手法は,クエリの特定の単語に対する操作された出力の依存性を低減する。
  論文  参考訳（メタデータ） (2026-05-17T08:02:27Z)
• DQE-CIR: Distinctive Query Embeddings through Learnable Attribute Weights and Target Relative Negative Sampling in Composed Image Retrieval [53.482391830683014]
  合成画像検索(CIR)は、参照画像と、意図した変更を特定する修正テキストとを共同で解釈することにより、対象画像を検索するタスクに対処する。 既存のほとんどの手法は、基底の真理像を唯一の正の例として扱い、残りの全ての画像を負の例として扱う対照的な学習フレームワークの上に構築されている。 学習可能な属性重みとターゲットの相対的負サンプリングによるクエリ埋め込みを提案する。
  論文  参考訳（メタデータ） (2026-03-04T13:17:44Z)
• Automated Detection of Visual Attribute Reliance with a Self-Reflective Agent [58.90049897180927]
  視覚モデルにおける視覚的特徴の意図しない依存を検出するための自動フレームワークを提案する。 自己反射エージェントは、モデルが依存する可能性のある視覚特性に関する仮説を生成し、テストする。 我々は,視覚特性の多様さを示すために設計された130モデルの新しいベンチマークに対して,我々のアプローチを評価した。
  論文  参考訳（メタデータ） (2025-10-24T17:59:02Z)
• From Filters to VLMs: Benchmarking Defogging Methods through Object Detection and Segmentation Performance [2.0524609401792397]
  包括的なパイプラインの集合をベンチマークする構造化された経験的研究を提案する。 物体検出(mAP)とセグメンテーション(PQ, RQ, SQ)における画質と下流性能の評価を行った。 我々の分析では,デフォッギングが有効である場合,連鎖が相乗効果や劣化をもたらす場合,VLMベースのエディタが専用のアプローチとどのように比較されるかを明らかにした。
  論文  参考訳（メタデータ） (2025-10-04T19:05:04Z)
• Self-Supervised Representation Learning for Adversarial Attack Detection [6.528181610035978]
  教師付き学習に基づく敵攻撃検出手法は,多数のラベル付きデータに依存している。 この欠点に対処するために、敵攻撃検出タスクのための自己教師付き表現学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-05T09:37:16Z)
• MirrorCheck: Efficient Adversarial Defense for Vision-Language Models [55.73581212134293]
  本稿では,視覚言語モデルにおける対角的サンプル検出のための,新しい,しかしエレガントなアプローチを提案する。 本手法は,テキスト・トゥ・イメージ(T2I)モデルを用いて,ターゲットVLMが生成したキャプションに基づいて画像を生成する。 異なるデータセットで実施した経験的評価により,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-06-13T15:55:04Z)
• Counterfactual Image Generation for adversarially robust and interpretable Classifiers [1.3859669037499769]
  本稿では,GAN(Generative Adrial Networks)を基盤として,画像から画像への変換を利用した統合フレームワークを提案する。 これは、分類器と識別器を1つのモデルに組み合わせて、実際の画像をそれぞれのクラスに属性付け、生成されたイメージを「フェイク」として生成することで達成される。 モデルが敵攻撃に対するロバスト性の向上を示すことを示すとともに,判別器の「フェイクネス」値が予測の不確かさの指標となることを示す。
  論文  参考訳（メタデータ） (2023-10-01T18:50:29Z)
• Visualizing Classifier Adjacency Relations: A Case Study in Speaker Verification and Voice Anti-Spoofing [72.4445825335561]
  任意のバイナリ分類器によって生成される検出スコアから2次元表現を導出する簡単な方法を提案する。 ランク相関に基づいて,任意のスコアを用いた分類器の視覚的比較を容易にする。 提案手法は完全に汎用的であり,任意の検出タスクに適用可能だが,自動話者検証と音声アンチスプーフィングシステムによるスコアを用いた手法を実証する。
  論文  参考訳（メタデータ） (2021-06-11T13:03:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。