論文の概要: One Pic is All it Takes: Poisoning Visual Document Retrieval Augmented Generation with a Single Image

• arxiv url: http://arxiv.org/abs/2504.02132v2
• Date: Wed, 11 Jun 2025 15:07:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-12 23:41:16.65858
• Title: One Pic is All it Takes: Poisoning Visual Document Retrieval Augmented Generation with a Single Image
• Title（参考訳）: 画像1枚で画像検索できる「One Pic」
• Authors: Ezzeldin Shereen, Dan Ristea, Shae McFadden, Burak Hasircioglu, Vasilios Mavroudis, Chris Hicks,
• Abstract要約: 大規模マルチモーダルモデル(LMM)における幻覚抑制のためのマルチモーダル検索強化(M-RAG) M-RAGは、事実知識ベース(KB)に悪意のあるエントリを注入することによってシステムを破壊しようとする敵に対する新たな攻撃ベクトルを導入した
• 参考スコア（独自算出の注目度）: 1.517355052203938
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-modal retrieval augmented generation (M-RAG) is instrumental for inhibiting hallucinations in large multi-modal models (LMMs) through the use of a factual knowledge base (KB). However, M-RAG introduces new attack vectors for adversaries that aim to disrupt the system by injecting malicious entries into the KB. In this paper, we present the first poisoning attack against M-RAG targeting visual document retrieval applications where the KB contains images of document pages. We propose two attacks, each of which require injecting only a single adversarial image into the KB. Firstly, we propose a universal attack that, for any potential user query, influences the response to cause a denial-of-service (DoS) in the M-RAG system. Secondly, we present a targeted attack against one or a group of user queries, with the goal of spreading targeted misinformation. For both attacks, we use a multi-objective gradient-based adversarial approach to craft the injected image while optimizing for both retrieval and generation. We evaluate our attacks against several visual document retrieval datasets, a diverse set of state-of-the-art retrievers (embedding models) and generators (LMMs), demonstrating the attack effectiveness in both the universal and targeted settings. We additionally present results including commonly used defenses, various attack hyper-parameter settings, ablations, and attack transferability.
• Abstract（参考訳）: M-RAG(Multi-modal search augmented generation)は、多モードモデル(LMM)における幻覚をファクトアル・ナレッジ・ベース(KB)を用いて抑制するための手段である。 しかし、M-RAGはKBに悪意のあるエントリを注入することでシステムを破壊しようとする敵に対する新たな攻撃ベクトルを導入する。 本稿では,KB が文書ページのイメージを含む視覚的文書検索アプリケーションを対象とした M-RAG に対する最初の毒殺攻撃を提案する。 我々は2つの攻撃を提案し、それぞれKBに1つの逆画像だけを注入する必要がある。 まず,潜在的なユーザクエリに対して,M-RAGシステムにおけるDoS(DoS)の応答に影響を与えるユニバーサルアタックを提案する。 第2に、ターゲットの誤情報を拡散することを目的とした、ユーザクエリの1つまたは1つのグループに対するターゲット攻撃を示す。 どちらの攻撃も、多目的勾配に基づく逆方向のアプローチを用いて、画像の注入を図り、検索と生成の両方に最適化する。 我々は,複数のビジュアル文書検索データセット,多種多様な最先端レトリバー(埋め込みモデル)とジェネレータ(LMM)に対する攻撃を評価し,汎用的およびターゲット的両方の設定において攻撃の有効性を示す。 また、一般的な防御、様々な攻撃ハイパーパラメータ設定、アブレーション、攻撃伝達性などの結果も提示する。

関連論文リスト

• CtrlRAG: Black-box Adversarial Attacks Based on Masked Language Models in Retrieval-Augmented Language Generation [0.0]
  Retrieval-Augmented Generation (RAG) システムは、外部知識ベースを統合することにより、Large Language Models (LLM) を強化する。 我々は,実世界のシナリオに合わせて,ブラックボックス設定におけるRAGシステムのための新たな攻撃手法であるCtrlRAGを提案する。 実験の結果,CtrlRAGは情動操作と幻覚増幅の両目的において3つのベースライン法より優れていた。
  論文  参考訳（メタデータ） (2025-03-10T05:55:15Z)
• Poisoned-MRAG: Knowledge Poisoning Attacks to Multimodal Retrieval Augmented Generation [71.32665836294103]
  マルチモーダル検索強化世代(RAG)は視覚言語モデル(VLM)の視覚的推論能力を向上させる 本研究では,マルチモーダルRAGシステムに対する最初の知識中毒攻撃であるtextitPoisoned-MRAGを紹介する。
  論文  参考訳（メタデータ） (2025-03-08T15:46:38Z)
• Retrievals Can Be Detrimental: A Contrastive Backdoor Attack Paradigm on Retrieval-Augmented Diffusion Models [37.66349948811172]
  拡散モデル (DM) は近年, 顕著な生成能力を示した。 近年の研究では、高度な検索・拡張生成(RAG)技術によってDMが強化されている。 RAGは、モデルパラメータを著しく低減しつつ、DMの生成と一般化能力を向上させる。 大きな成功にもかかわらず、RAGはさらなる調査を保証できる新しいセキュリティ問題を導入するかもしれない。
  論文  参考訳（メタデータ） (2025-01-23T02:42:28Z)
• Effective and Efficient Adversarial Detection for Vision-Language Models via A Single Vector [97.92369017531038]
  Diverse hArmful Responses (RADAR) を用いた新しい laRge-scale Adervsarial 画像データセットを構築した。 そこで我々は,視覚言語モデル (VLM) の隠れ状態から抽出した1つのベクトルを利用して,入力中の良質な画像に対して対向画像を検出する,新しいiN時間埋め込み型AdveRSarial Image Detectction (NEARSIDE) 法を開発した。
  論文  参考訳（メタデータ） (2024-10-30T10:33:10Z)
• Phantom: General Trigger Attacks on Retrieval Augmented Language Generation [30.63258739968483]
  Retrieval Augmented Generation (RAG)は、現代の大規模言語モデル(LLM)の機能を拡張する 本稿では,RAGシステムの知識ベースに悪意ある文書を1つだけ注入し,バックドア中毒攻撃を行う新たな攻撃ベクトルを提案する。 我々はGemma、Vicuna、Llamaを含む複数のLLMアーキテクチャに対する攻撃を実演し、GPT-3.5 TurboおよびGPT-4への移行を示す。
  論文  参考訳（メタデータ） (2024-05-30T21:19:24Z)
• Meta Invariance Defense Towards Generalizable Robustness to Unknown Adversarial Attacks [62.036798488144306]
  現在の防衛は主に既知の攻撃に焦点を当てているが、未知の攻撃に対する敵意の強固さは見過ごされている。 メタ不変防衛(Meta Invariance Defense, MID)と呼ばれる攻撃非依存の防御手法を提案する。 MIDは高レベルの画像分類と低レベルの頑健な画像再生における攻撃抑制において,知覚不能な逆方向の摂動に対して同時に頑健性を実現する。
  論文  参考訳（メタデータ） (2024-04-04T10:10:38Z)
• Targeted Attack Improves Protection against Unauthorized Diffusion Customization [3.1678356835951273]
  拡散モデルは画像生成の新たなマイルストーンを築き、公共の関心を喚起する。 カスタマイズのために、未許可の画像に微調整できる。 標的外攻撃を利用した現在の保護は、十分に効果がないように見える。 ターゲット攻撃の導入により、不正拡散のカスタマイズに対する保護をシンプルかつ効果的に行うことを提案する。
  論文  参考訳（メタデータ） (2023-10-07T05:24:42Z)
• DRSM: De-Randomized Smoothing on Malware Classifier Providing Certified Robustness [58.23214712926585]
  我々は,マルウェア検出領域の非ランダム化スムース化技術を再設計し,DRSM(De-Randomized Smoothed MalConv)を開発した。 具体的には,実行可能ファイルの局所構造を最大に保ちながら,逆数バイトの影響を確実に抑制するウィンドウアブレーション方式を提案する。 私たちは、マルウェア実行ファイルの静的検出という領域で、認証された堅牢性を提供する最初の人です。
  論文  参考訳（メタデータ） (2023-03-20T17:25:22Z)
• Discriminator-Free Generative Adversarial Attack [87.71852388383242]
  生成的ベースの敵攻撃は、この制限を取り除くことができる。 ASymmetric Saliency-based Auto-Encoder (SSAE) は摂動を生成する。 SSAEが生成した敵の例は、広く使われているモデルを崩壊させるだけでなく、優れた視覚的品質を実現する。
  論文  参考訳（メタデータ） (2021-07-20T01:55:21Z)
• Dual Manifold Adversarial Robustness: Defense against Lp and non-Lp Adversarial Attacks [154.31827097264264]
  敵の訓練は、境界Lpノルムを持つ攻撃脅威モデルに対する一般的な防衛戦略である。 本稿では,2次元マニフォールド逆行訓練(DMAT)を提案する。 我々のDMATは、通常の画像の性能を改善し、Lp攻撃に対する標準的な敵の訓練と同等の堅牢性を達成する。
  論文  参考訳（メタデータ） (2020-09-05T06:00:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。