論文の概要: ViTeGate: Visual-Textual Triggered Knowledge Poisoning for Vision-Language Retrieval-Augmented Generation
- arxiv url: http://arxiv.org/abs/2609.14685v1
- Date: Sun, 13 Sep 2026 17:39:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.895144
- Title: ViTeGate: Visual-Textual Triggered Knowledge Poisoning for Vision-Language Retrieval-Augmented Generation
- Title(参考訳): ViTeGate:視覚言語検索のためのビジュアルテキストトリガ型知識ポジショニング
- Abstract要約: ViTeGateはVision-Language Retrieval-Augmented Generation (VLRAG)システムに対する視覚的テキストによる知識中毒攻撃である。
検索と生成のコーディネートによって、ViTeGateは視覚的トリガーが欠如しているときの毒暴露を減らし、テキストトリガーが欠如しているときの正常な応答を維持する。
InfoSeekでは、ViTeGateが攻撃成功率最大0.98を達成し、クリーンな回答精度最大0.93を維持している。
- 参考スコア(独自算出の注目度): 10.286163249620545
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Modern Vision-Language Retrieval-Augmented Generation (VLRAG) systems augment Large Vision-Language Models (LVLMs) with retrieved visual and textual evidence, enabling responses grounded in external knowledge. However, the retrieval pipeline also creates an attack surface: adversaries can inject poisoned image-text pairs into the knowledge corpus to influence model outputs. Existing knowledge poisoning attacks are typically always-on, allowing poisoned evidence to affect generation whenever it is retrieved. This lack of precise activation control makes it difficult to confine malicious behavior to intended inputs, reducing both attack stealth and effectiveness. In this paper, we propose ViTeGate, a visual-textual triggered knowledge poisoning attack for VLRAG systems. ViTeGate uses a visual trigger to conditionally promote poisoned evidence into retrieval results and a textual trigger to induce an attacker-specified response from the retrieved evidence. By coordinating retrieval and generation, ViTeGate reduces poison exposure when the visual trigger is absent and preserves normal responses when the textual trigger is absent. The two-trigger design enables selective attack activation and reduces unintended single-trigger activation. Experiments across multiple query datasets, retrievers, and LVLMs validate the effectiveness of ViTeGate. On InfoSeek, ViTeGate achieves an attack success rate of up to 0.98 while maintaining a clean answer accuracy of up to 0.93.
- Abstract(参考訳): VLRAG(Varge Vision-Language Retrieval-Augmented Generation)システムでは、視覚的およびテキスト的証拠を検索してLVLM(Large Vision-Language Models)を拡張し、外部知識に根ざした応答を可能にする。
しかし、探索パイプラインは攻撃面も生成する: 敵は有害な画像とテキストのペアを知識コーパスに注入し、モデル出力に影響を与える。
既存の知識による毒殺攻撃は、通常常にオンであり、毒殺された証拠は、回復されるたびに発生に影響を与える。
この正確なアクティベーション制御の欠如により、意図した入力に対して悪意のある振る舞いを閉じ込めることが難しくなり、攻撃ステルスと有効性の両方が減少する。
本稿では,VLRAGシステムに対する視覚テキストによる知識中毒攻撃であるViTeGateを提案する。
ViTeGateは、視覚的トリガーを使用して、有害な証拠を検索結果に条件付きで促進し、テキストトリガーを使用して、検索された証拠から攻撃者が特定した応答を誘導する。
検索と生成のコーディネートによって、ViTeGateは視覚的トリガーが欠如しているときの毒暴露を減らし、テキストトリガーが欠如しているときの正常な応答を維持する。
この2トリガー設計は、選択的攻撃活性化を可能にし、意図しない単一トリガー活性化を低減する。
複数のクエリデータセット、レトリバー、LVLMにわたる実験は、ViTeGateの有効性を検証する。
InfoSeekでは、ViTeGateが攻撃成功率最大0.98を達成し、クリーンな回答精度最大0.93を維持している。
関連論文リスト
- When Context Bites: Detecting RAG Poisoning via Document-Level Attention Collapse [34.49107596901488]
RAGは、敵の文書がジェネレータ出力を操作するために注入されるような、毒殺攻撃の影響を受けやすくなっている。
これまでは、攻撃を検出するためにパープレキシティや一貫性チェックといった出力側信号に頼っていた。
攻撃された世代を識別するための注意動態をモニタする軽量検出フレームワークである textttD-SCAN を提案する。
論文 参考訳(メタデータ) (2026-08-07T08:23:26Z) - Beyond Attack Success Rate: Examining Trigger Leakage in Vision-Language Agentic Systems [36.30772806498619]
VLAS(Vision-Language Agentic Systems)は、視覚を計画、道具の使用、身体行動に結びつけるシステムである。
バックドアタイプのトリガーは、決定パイプラインと接続されたインターフェースの両方を通じて伝搬することができる。
論文 参考訳(メタデータ) (2026-06-10T18:33:52Z) - Reasoning-Style Poisoning of LLM Agents via Stealthy Style Transfer: Process-Level Attacks and Runtime Monitoring in RSV Space [4.699272847316498]
Reasoning-Style Poisoning (RSP)は、エージェントが処理するものよりも情報を処理する方法を操作する。
Generative Style Injection (GSI)は、検索した文書を病的トーンに書き換える。
RSP-Mは軽量なランタイムモニタで、RSVメトリクスをリアルタイムで計算し、安全性の閾値を超える値にアラートをトリガーする。
論文 参考訳(メタデータ) (2025-12-16T14:34:10Z) - TokenSwap: Backdoor Attack on the Compositional Understanding of Large Vision-Language Models [57.32952956674526]
大規模視覚言語モデル(LVLM)に対するより回避的でステルス的なバックドア攻撃であるTokenSwapを紹介する。
固定されたターゲットコンテンツを強制するのではなく、TokenSwapはテキスト内のオブジェクト関係の理解を微妙に妨害する。
TokenSwapは、優れた回避性とステルス性を維持しながら、高い攻撃成功率を達成する。
論文 参考訳(メタデータ) (2025-09-29T10:19:22Z) - Poison Once, Control Anywhere: Clean-Text Visual Backdoors in VLM-based Mobile Agents [54.35629963816521]
この研究は、VLMベースのモバイルエージェントをターゲットにした最初のクリーンテキストバックドアアタックであるVIBMAを紹介する。
この攻撃は、視覚的な入力だけを変更することによって、悪意ある振る舞いをモデルに注入する。
クリーンタスクの動作を保ちながら高い成功率を達成できることを示す。
論文 参考訳(メタデータ) (2025-06-16T08:09:32Z) - Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
完全無害データを用いた新しい毒殺法を提案する。
自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。
LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
論文 参考訳(メタデータ) (2025-05-23T08:13:59Z) - Practical Poisoning Attacks against Retrieval-Augmented Generation [9.320227105592917]
大規模言語モデル(LLM)は、印象的な自然言語処理能力を示しているが、幻覚や時代遅れの知識といった課題に直面している。
Retrieval-Augmented Generation (RAG)は、これらの問題を緩和するための最先端のアプローチとして登場した。
我々は、攻撃者が1つの有毒テキストだけを注入するRAGシステムに対する実用的な中毒攻撃であるCorruptRAGを提案する。
論文 参考訳(メタデータ) (2025-04-04T21:49:42Z) - Poisoned-MRAG: Knowledge Poisoning Attacks to Multimodal Retrieval Augmented Generation [71.32665836294103]
マルチモーダル検索強化世代(RAG)は視覚言語モデル(VLM)の視覚的推論能力を向上させる
本研究では,マルチモーダルRAGシステムに対する最初の知識中毒攻撃であるtextitPoisoned-MRAGを紹介する。
論文 参考訳(メタデータ) (2025-03-08T15:46:38Z) - Rethinking Graph Backdoor Attacks: A Distribution-Preserving Perspective [33.35835060102069]
グラフニューラルネットワーク(GNN)は、様々なタスクにおいて顕著なパフォーマンスを示している。
バックドア攻撃は、トレーニンググラフ内のノードのセットにバックドアトリガとターゲットクラスラベルをアタッチすることで、グラフを汚染する。
本稿では,IDトリガによる無意味なグラフバックドア攻撃の新たな問題について検討する。
論文 参考訳(メタデータ) (2024-05-17T13:09:39Z) - PoisonedRAG: Knowledge Corruption Attacks to Retrieval-Augmented Generation of Large Language Models [45.409248316497674]
大規模言語モデル(LLM)は、その例外的な生成能力により、顕著な成功を収めた。
Retrieval-Augmented Generation (RAG)は、これらの制限を緩和するための最先端技術である。
RAGシステムにおける知識データベースは,新たな,実用的な攻撃面を導入している。
この攻撃面に基づいて,RAGに対する最初の知識汚職攻撃であるPoisonedRAGを提案する。
論文 参考訳(メタデータ) (2024-02-12T18:28:36Z) - Vision-LLMs Can Fool Themselves with Self-Generated Typographic Attacks [58.10730906004818]
画像に誤解を招くテキストを追加するタイポグラフィー攻撃は、視覚言語モデル(LVLM)を欺くことができる
実験の結果,これらの攻撃は分類性能を最大60%低下させることがわかった。
論文 参考訳(メタデータ) (2024-02-01T14:41:20Z) - Exploring Model Dynamics for Accumulative Poisoning Discovery [62.08553134316483]
そこで我々は,モデルレベルの情報を通して,防衛を探索するための新しい情報尺度,すなわち,記憶の離散性(Memorization Discrepancy)を提案する。
暗黙的にデータ操作の変更をモデル出力に転送することで、メモリ識別は許容できない毒のサンプルを発見することができる。
我々は、その性質を徹底的に探求し、累積中毒に対する防御のために、離散型サンプル補正(DSC)を提案する。
論文 参考訳(メタデータ) (2023-06-06T14:45:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。