論文の概要: DE-FIVE: Detecting Malicious Image Prompts via Fourier Features and Image Vector Embeddings

• arxiv url: http://arxiv.org/abs/2606.22779v1
• Date: Mon, 22 Jun 2026 02:42:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 04:46:27.009133
• Title: DE-FIVE: Detecting Malicious Image Prompts via Fourier Features and Image Vector Embeddings
• Title（参考訳）: DE-FIVE:フーリエ機能と画像ベクトル埋め込みによる悪意ある画像プロンプトの検出
• Authors: Xingwei Zhong, Varun Sharma, Kar Wai Fok, Vrizlynn L. L. Thing,
• Abstract要約: 悪意のある画像プロンプトを検出するためのトレーニング不要のフレームワークであるDE-FIVEを紹介する。 我々はブラックボックス検出器とホワイトボックス検出器を組み合わせたハイブリッド検出戦略を開発した。 大規模な実験により、提案するフレームワークは、悪意のある画像プロンプトに対する最先端のベースラインを一貫して上回っていることが示された。
• 参考スコア（独自算出の注目度）: 0.870967746482596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision language models (VLMs) employ both visual and textual modalities to enable advanced vision-language inference. However, incorporating visual modalities expands the attack surface of VLMs, making them more susceptible to security threats such as adversarial perturbations and indirect prompt injection, wherein crafted malicious image prompts can elicit unintended model outputs. Existing defense methods against malicious image prompts remain insufficient as they typically demand extensive datasets for retraining or the deployment of additional, complex classifiers. Most critically, there is a profound lack of specialized defense mechanisms specifically targeting indirect prompt injections, a gap that serves as a primary motivation for this work. To address these limitations, we introduce DE-FIVE, a novel training-free framework for detecting malicious image prompts by leveraging Fourier features and the hidden state representations of the visual encoder (image vector embeddings) across perturbations. Specifically, we develop a hybrid detection strategy consisting of a black-box detector that operates on Fourier-domain features and a white-box detector that exploits image vector embeddings derived from only a few-shot malicious set. Extensive experiments demonstrate that the proposed framework consistently outperforms state-of-the-art baselines against malicious image prompts.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、高度な視覚言語推論を可能にするために、視覚とテキストの両方のモダリティを使用する。 しかし、視覚的モダリティを取り入れることで、VLMの攻撃面が拡大し、敵の摂動や間接的なプロンプト注入といったセキュリティ上の脅威の影響を受けやすくなり、悪質な画像プロンプトが意図しないモデル出力を引き出すことができる。 悪意のある画像プロンプトに対する既存の防御方法は、通常、追加の複雑な分類器の再訓練や展開のために広範囲なデータセットを要求するため、依然として不十分である。 最も重要なことは、間接的なプロンプト注入を特に対象とする特殊な防御機構が欠如していることであり、この研究の主要な動機となっているギャップである。 これらの制約に対処するために,Fourier機能と視覚エンコーダ(画像ベクトル埋め込み)の隠れ状態表現を活用することで,悪意のある画像プロンプトを検出する新たなトレーニングフリーフレームワークであるDE-FIVEを紹介した。 具体的には、フーリエドメイン機能を利用するブラックボックス検出器と、数発の悪意のあるセットから得られる画像ベクトルの埋め込みを利用するホワイトボックス検出器とからなるハイブリッド検出戦略を開発する。 大規模な実験により、提案するフレームワークは、悪意のある画像プロンプトに対する最先端のベースラインを一貫して上回っていることが示された。

関連論文リスト

• MIRAGE: Stealthy Visual Prompt Injection for Vulnerability Detection in Web Agents [21.863110073132773]
  マルチモーダル大言語モデル(MLLM)ベースのWebエージェントは、視覚的ブラウザ自動化のための実用的で高精度なソリューションを提供する。 それらは本質的に攻撃面を拡張し、新しい視覚ベースの脆弱性を導入している。 MIRAGEは、ターゲットの次アクションハイジャックのための視覚的間接的プロンプトインジェクションフレームワークである。
  論文  参考訳（メタデータ） (2026-06-16T15:31:33Z)
• Leveraging Hierarchical Image-Text Misalignment for Universal Fake Image Detection [58.927873049646024]
  実画像と比較して,偽画像は対応するキャプションと適切に一致しないことを示す。 本稿では,視覚空間における画像テキストの不一致を識別的手がかりとして活用し,簡易かつ効果的なITEMを提案する。
  論文  参考訳（メタデータ） (2025-11-01T06:51:14Z)
• PromptFlare: Prompt-Generalized Defense via Cross-Attention Decoy in Diffusion-Based Inpainting [25.24109316946351]
  PromptFlareは,拡散型塗布モデルによる悪質な修正から画像を保護するために設計された,新たな敵対的保護手法である。 提案手法は, 急速埋め込みの固有特性を利用して, 対向ノイズを注入し, サンプリング過程を抑える。 EditBenchデータセットを用いた実験により,本手法が各種メトリクスの最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2025-08-22T08:42:46Z)
• ForensicsSAM: Toward Robust and Unified Image Forgery Detection and Localization Resisting to Adversarial Attack [56.0056378072843]
  高い転送性を持つ逆画像は上流モデルでのみ作成可能であることを示す。 本稿では,IFDLフレームワークを組み込んだForensicsSAMを提案する。
  論文  参考訳（メタデータ） (2025-08-10T16:03:44Z)
• Proactive Disentangled Modeling of Trigger-Object Pairings for Backdoor Defense [0.0]
  ディープニューラルネットワーク(DNN)とジェネレーティブAI(GenAI)は、バックドア攻撃に対してますます脆弱になっている。 本稿では、構造的ゆがみを利用したプロアクティブなフレームワークであるDBOMを紹介し、見えないバックドアの脅威を識別し、中和する。 そこで本研究では,DBOMが下流トレーニングに先立って有毒な画像を確実に検出し,トレーニングパイプラインの安全性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2025-08-03T21:58:15Z)
• Learning Knowledge-based Prompts for Robust 3D Mask Presentation Attack Detection [71.60120616284246]
  本稿では,3次元マスク提示攻撃検出のための視覚言語モデルの強力な一般化能力を検討するための,知識に基づく新しいプロンプト学習フレームワークを提案する。 実験により,提案手法は最先端のシナリオ内およびクロスシナリオ検出性能を実現することを示す。
  論文  参考訳（メタデータ） (2025-05-06T15:09:23Z)
• ForgeryGPT: Multimodal Large Language Model For Explainable Image Forgery Detection and Localization [49.12958154544838]
  ForgeryGPTはImage Forgery DetectionとLocalizationタスクを進化させる新しいフレームワークである。 多様な言語的特徴空間からの偽画像の高次相関をキャプチャする。 新たにカスタマイズされたLarge Language Model (LLM)アーキテクチャを通じて、説明可能な生成と対話を可能にする。
  論文  参考訳（メタデータ） (2024-10-14T07:56:51Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。