論文の概要: Knowledge Database or Poison Base? Detecting RAG Poisoning Attack through LLM Activations

• arxiv url: http://arxiv.org/abs/2411.18948v1
• Date: Thu, 28 Nov 2024 06:29:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:21:08.271432
• Title: Knowledge Database or Poison Base? Detecting RAG Poisoning Attack through LLM Activations
• Title（参考訳）: 知識データベースかポゾンベースか? : LLM活性化によるRAG攻撃の検出
• Authors: Xue Tan, Hao Luan, Mingyu Luo, Xiaoyan Sun, Ping Chen, Jun Dai,
• Abstract要約: Retrieval-Augmented Generation (RAG) は、大規模言語モデル(LLM)の限界に対処するために設計された最先端のアプローチである。 RAG中毒は、悪意のあるテキストを知識データベースに注入し、最終的に攻撃者の標的応答(毒殺反応とも呼ばれる)を発生させる。 本稿では, LLMの活性化を利用したフレキシブルかつ自動化された検出パイプラインであるRevPRAGを紹介した。
• 参考スコア（独自算出の注目度）: 3.706288937295861
• License:
• Abstract: As Large Language Models (LLMs) are progressively deployed across diverse fields and real-world applications, ensuring the security and robustness of LLMs has become ever more critical. Retrieval-Augmented Generation (RAG) is a cutting-edge approach designed to address the limitations of large language models (LLMs). By retrieving information from the relevant knowledge database, RAG enriches the input to LLMs, enabling them to produce responses that are more accurate and contextually appropriate. It is worth noting that the knowledge database, being sourced from publicly available channels such as Wikipedia, inevitably introduces a new attack surface. RAG poisoning involves injecting malicious texts into the knowledge database, ultimately leading to the generation of the attacker's target response (also called poisoned response). However, there are currently limited methods available for detecting such poisoning attacks. We aim to bridge the gap in this work. Particularly, we introduce RevPRAG, a flexible and automated detection pipeline that leverages the activations of LLMs for poisoned response detection. Our investigation uncovers distinct patterns in LLMs' activations when generating correct responses versus poisoned responses. Our results on multiple benchmark datasets and RAG architectures show our approach could achieve 98% true positive rate, while maintaining false positive rates close to 1%. We also evaluate recent backdoor detection methods specifically designed for LLMs and applicable for identifying poisoned responses in RAG. The results demonstrate that our approach significantly surpasses them.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な分野や現実世界のアプリケーションに徐々にデプロイされるため、LLMのセキュリティと堅牢性はますます重要になっている。 Retrieval-Augmented Generation (RAG) は、大規模言語モデル(LLM)の限界に対処するために設計された最先端のアプローチである。 関連する知識データベースから情報を取得することで、RAGはLSMへの入力を強化し、より正確で文脈的に適切な応答を生成することができる。 ウィキペディアのような公開チャネルからソースされた知識データベースには、必然的に新たな攻撃面が導入されている点に注意が必要だ。 RAG中毒は、悪意のあるテキストを知識データベースに注入し、最終的には攻撃者のターゲット応答(毒殺反応とも呼ばれる)を発生させる。 しかし、現在ではこのような毒物攻撃を検出する方法が限られている。 私たちはこの仕事のギャップを埋めることを目指しています。 特に, LLMの活性化を利用したフレキシブルかつ自動化された検出パイプラインであるRevPRAGを導入する。 本研究は, LLMの活性のパターンを解明し, 正しい反応と有毒反応の相関について検討した。 複数のベンチマークデータセットとRAGアーキテクチャによる結果から,提案手法は真正の98%,偽正の1%に近い正の98%を達成できた。 また,LSMに特化して設計された最近のバックドア検出手法について検討し,RAGの毒素応答の同定に応用した。 結果は、我々のアプローチがそれらをはるかに上回っていることを示している。

関連論文リスト

• FlipedRAG: Black-Box Opinion Manipulation Attacks to Retrieval-Augmented Generation of Large Language Models [19.41533176888415]
  Retrieval-Augmented Generation (RAG)は、知識データベースから関連する情報を動的に取得することで、幻覚とリアルタイムの制約に対処する。 本稿では,より現実的で脅迫的なシナリオとして,RAGに対する議論の的となっている論点に対する意見操作について紹介する。 本稿では、転送ベースであるFlipedRAGと呼ばれる新しいRAGブラックボックス攻撃手法を提案する。
  論文  参考訳（メタデータ） (2025-01-06T12:24:57Z)
• Data Extraction Attacks in Retrieval-Augmented Generation via Backdoors [15.861833242429228]
  本稿では,RAG(Retrieval-Augmented Generation)システムの知識データベースを対象としたデータ抽出攻撃について検討する。 この脆弱性を明らかにするために, LLM内にバックドアを作成するために, 微調整期間中に少量の有毒データを注入するバックドアRAGを提案する。
  論文  参考訳（メタデータ） (2024-11-03T22:27:40Z)
• LLM Robustness Against Misinformation in Biomedical Question Answering [50.98256373698759]
  探索拡張生成(RAG)アプローチは,質問応答のための大規模言語モデル(LLM)の折り畳みを低減するために用いられる。 バイオメディカル質問に対する誤報に対する4つのLDMの有効性とロバスト性を評価した。
  論文  参考訳（メタデータ） (2024-10-27T16:23:26Z)
• Backdoored Retrievers for Prompt Injection Attacks on Retrieval Augmented Generation of Large Language Models [0.0]
  Retrieval Augmented Generation (RAG)は、大規模言語モデルと最新の情報検索を組み合わせることでこの問題に対処する。 本稿では、誤報以外の有害な目的に焦点をあて、RAGに対する即時注射攻撃について検討する。 我々は,既存のコーパス中毒技術を構築し,高密度レトリバー部品の微調整を目的とした新しいバックドアアタックを提案する。
  論文  参考訳（メタデータ） (2024-10-18T14:02:34Z)
• AgentPoison: Red-teaming LLM Agents via Poisoning Memory or Knowledge Bases [73.04652687616286]
  本稿では,RAG とRAG をベースとした LLM エージェントを標的とした最初のバックドア攻撃である AgentPoison を提案する。 従来のバックドア攻撃とは異なり、AgentPoisonは追加のモデルトレーニングや微調整を必要としない。 エージェントごとに、AgentPoisonは平均攻撃成功率を80%以上達成し、良質なパフォーマンスに最小限の影響を与える。
  論文  参考訳（メタデータ） (2024-07-17T17:59:47Z)
• BadRAG: Identifying Vulnerabilities in Retrieval Augmented Generation of Large Language Models [18.107026036897132]
  大規模言語モデル(LLM)は時代遅れの情報と誤ったデータを生成する傾向によって制約される。 Retrieval-Augmented Generation (RAG) は、検索手法の強みと生成モデルを組み合わせることで、これらの制限に対処する。 RAG は LLM に対する新たな攻撃面を導入している。特に RAG データベースは Web などの公開データからしばしば引き出されるためである。
  論文  参考訳（メタデータ） (2024-06-03T02:25:33Z)
• The Good and The Bad: Exploring Privacy Issues in Retrieval-Augmented Generation (RAG) [56.67603627046346]
  Retrieval-augmented Generation (RAG)は、プロプライエタリおよびプライベートデータによる言語モデルを容易にする強力な技術である。 本研究では,プライベート検索データベースの漏洩に対するRAGシステムの脆弱性を実証する,新たな攻撃手法による実証的研究を行う。
  論文  参考訳（メタデータ） (2024-02-23T18:35:15Z)
• ActiveRAG: Autonomously Knowledge Assimilation and Accommodation through Retrieval-Augmented Agents [49.30553350788524]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)が外部知識を活用することを可能にする。 既存のRAGモデルは、LLMを受動的情報受信者として扱うことが多い。 人間の学習行動を模倣するマルチエージェントフレームワークであるActiveRAGを紹介する。
  論文  参考訳（メタデータ） (2024-02-21T06:04:53Z)
• Prompt Perturbation in Retrieval-Augmented Generation based Large Language Models [9.688626139309013]
  Retrieval-Augmented Generationは、大規模言語モデルからテキスト生成の信頼性を向上させる手段として考えられている。 本研究では,プロンプトに短い接頭辞を挿入しても,実際の正解から遠く離れたアウトプットを生成することを発見した。 グラディエントガイドプロンプト摂動法(Gradient Guided Prompt Perturbation)と呼ばれる新しい最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-02-11T12:25:41Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Exploring Model Dynamics for Accumulative Poisoning Discovery [62.08553134316483]
  そこで我々は,モデルレベルの情報を通して,防衛を探索するための新しい情報尺度,すなわち,記憶の離散性(Memorization Discrepancy)を提案する。 暗黙的にデータ操作の変更をモデル出力に転送することで、メモリ識別は許容できない毒のサンプルを発見することができる。 我々は、その性質を徹底的に探求し、累積中毒に対する防御のために、離散型サンプル補正(DSC)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T14:45:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。