論文の概要: Addressing Corpus Knowledge Poisoning Attacks on RAG Using Sparse Attention
- arxiv url: http://arxiv.org/abs/2602.04711v2
- Date: Thu, 05 Feb 2026 07:59:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-06 14:11:23.890769
- Title: Addressing Corpus Knowledge Poisoning Attacks on RAG Using Sparse Attention
- Title(参考訳): スパースアテンションを用いたRAG攻撃に対する企業知識の対応
- Authors: Sagie Dekel, Moshe Tennenholtz, Oren Kurland,
- Abstract要約: Sparse Document Attention RAG (SDAG) の新たな防衛手法について紹介する。
SDAGは、取得したドキュメント間の相互アテンションを許可するブロックスパースアテンションメカニズムである。
我々は,SDAG法が攻撃成功率において標準的な因果注意機構を大幅に上回ることを示す。
- 参考スコア(独自算出の注目度): 10.71610316323851
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieval Augmented Generation (RAG) is a highly effective paradigm for keeping LLM-based responses up-to-date and reducing the likelihood of hallucinations. Yet, RAG was recently shown to be quite vulnerable to corpus knowledge poisoning: an attacker injects misleading documents to the corpus to steer an LLM's output to an undesired response. We argue that the standard causal attention mechanism in LLMs enables harmful cross-document interactions, specifically in cases of attacks. Accordingly, we introduce a novel defense approach for RAG: Sparse Document Attention RAG (SDAG). This is a block-sparse attention mechanism that disallows cross-attention between retrieved documents. SDAG requires a minimal inference-time change to the attention mask; furthermore, no fine-tuning or additional architectural changes are needed. We present an empirical evaluation of LLM-based question answering (QA) with a variety of attack strategies on RAG. We show that our SDAG method substantially outperforms the standard causal attention mechanism in terms of attack success rate. We further demonstrate the clear merits of integrating SDAG with state-of-the-art RAG defense methods. Specifically, the integration results in performance that is statistically significantly better than the state-of-the-art.
- Abstract(参考訳): Retrieval Augmented Generation(RAG)は、LLMベースの応答を最新に保つために非常に効果的なパラダイムであり、幻覚の可能性を減らす。
攻撃者は、LLMの出力を望ましくない応答に操るために、誤解を招く文書をコーパスに注入する。
LLMの標準的な因果的注意機構は、特に攻撃の場合に有害な文書間相互作用を可能にすると論じる。
そこで本研究では,DAG(Sparse Document Attention RAG: Sparse Document Attention RAG)の新たな防衛手法を提案する。
これは、取得したドキュメント間のクロスアテンションを許可するブロックスパースアテンションメカニズムである。
SDAGはアテンションマスクに最小限の推論時間変更を必要とし、さらに微調整や追加のアーキテクチャ変更は不要である。
本稿では, LLM を用いた質問応答 (QA) の実験的評価を行い, RAG に対する様々な攻撃戦略について述べる。
我々は,SDAG法が攻撃成功率において標準的な因果注意機構を大幅に上回ることを示す。
さらに, SDAG と最先端RAG 防御手法の統合のメリットを実証する。
特に、統合は、最先端技術よりも統計的にかなり良いパフォーマンスをもたらす。
関連論文リスト
- RAGPart & RAGMask: Retrieval-Stage Defenses Against Corpus Poisoning in Retrieval-Augmented Generation [43.85099769473328]
Retrieval-Augmented Generation (RAG)は、大規模言語モデルを強化するための有望なパラダイムとして登場した。
近年の研究では、悪意のある文書を検索コーパスに注入し、モデル出力を操作できるRAGパイプラインコーパス中毒の致命的な脆弱性が明らかにされている。
本稿では、RAGPartとRAGMaskの2つの相補的な検索ステージディフェンスを提案する。
論文 参考訳(メタデータ) (2025-12-30T14:43:57Z) - RIPRAG: Hack a Black-box Retrieval-Augmented Generation Question-Answering System with Reinforcement Learning [23.957879891712306]
本稿では,ターゲットRAGシステムをブラックボックスとして扱うエンドツーエンド攻撃パイプラインを提案する。
本手法は,ほとんどの複雑なRAGシステムに対する毒性攻撃を効果的に実行できることを実証する。
論文 参考訳(メタデータ) (2025-10-11T04:23:20Z) - The Silent Saboteur: Imperceptible Adversarial Attacks against Black-Box Retrieval-Augmented Generation Systems [101.68501850486179]
本稿では,RAGシステムに対する敵攻撃について検討し,その脆弱性を同定する。
このタスクは、ターゲット文書を検索する非知覚的な摂動を見つけることを目的としており、もともとはトップ$k$の候補セットから除外されていた。
本稿では、攻撃者とターゲットRAG間の相互作用を追跡する強化学習ベースのフレームワークであるReGENTを提案する。
論文 参考訳(メタデータ) (2025-05-24T08:19:25Z) - Benchmarking Poisoning Attacks against Retrieval-Augmented Generation [12.573766276297441]
Retrieval-Augmented Generation (RAG) は、推論中に外部知識を取り入れることで、大規模言語モデルにおける幻覚の緩和に有効であることが証明されている。
我々は、RAGに対する中毒攻撃を評価するための、最初の包括的なベンチマークフレームワークを提案する。
論文 参考訳(メタデータ) (2025-05-24T06:17:59Z) - Poisoned-MRAG: Knowledge Poisoning Attacks to Multimodal Retrieval Augmented Generation [71.32665836294103]
マルチモーダル検索強化世代(RAG)は視覚言語モデル(VLM)の視覚的推論能力を向上させる
本研究では,マルチモーダルRAGシステムに対する最初の知識中毒攻撃であるtextitPoisoned-MRAGを紹介する。
論文 参考訳(メタデータ) (2025-03-08T15:46:38Z) - MM-PoisonRAG: Disrupting Multimodal RAG with Local and Global Poisoning Attacks [104.50239783909063]
Retrieval Augmented Generation (RAG) を用いた多モーダル大規模言語モデルは、多モーダル質問応答のようなかなり高度なタスクを持つ。
この外部知識への依存は、知識中毒攻撃(英語版)という、危険だが未発見の安全リスクを引き起こす。
マルチモーダルRAGにおける知識中毒を体系的に設計する最初のフレームワークであるMM-PoisonRAGを提案する。
論文 参考訳(メタデータ) (2025-02-25T04:23:59Z) - FlippedRAG: Black-Box Opinion Manipulation Adversarial Attacks to Retrieval-Augmented Generation Models [22.35026334463735]
我々は、ブラックボックスRAGシステムに対するトランスファーベースの敵攻撃であるFlippedRAGを提案する。
FlippedRAGは、RAG生成反応の意見において平均50%の方向シフトを達成する。
これらの結果は、RAGシステムのセキュリティと信頼性を確保するために革新的な防衛ソリューションを開発する緊急の必要性を浮き彫りにしている。
論文 参考訳(メタデータ) (2025-01-06T12:24:57Z) - PoisonedRAG: Knowledge Corruption Attacks to Retrieval-Augmented Generation of Large Language Models [45.409248316497674]
大規模言語モデル(LLM)は、その例外的な生成能力により、顕著な成功を収めた。
Retrieval-Augmented Generation (RAG)は、これらの制限を緩和するための最先端技術である。
RAGシステムにおける知識データベースは,新たな,実用的な攻撃面を導入している。
この攻撃面に基づいて,RAGに対する最初の知識汚職攻撃であるPoisonedRAGを提案する。
論文 参考訳(メタデータ) (2024-02-12T18:28:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。