論文の概要: Data Extraction Attacks in Retrieval-Augmented Generation via Backdoors
- arxiv url: http://arxiv.org/abs/2411.01705v1
- Date: Sun, 03 Nov 2024 22:27:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-05 14:48:56.393291
- Title: Data Extraction Attacks in Retrieval-Augmented Generation via Backdoors
- Title（参考訳）: バックドアによる検索・拡張生成におけるデータ抽出攻撃
- Authors: Yuefeng Peng, Junda Wang, Hong Yu, Amir Houmansadr,
- Abstract要約: 本稿では,RAG(Retrieval-Augmented Generation)システムの知識データベースを対象としたデータ抽出攻撃について検討する。
この脆弱性を明らかにするために, LLM内にバックドアを作成するために, 微調整期間中に少量の有毒データを注入するバックドアRAGを提案する。
- 参考スコア（独自算出の注目度）: 15.861833242429228
- License:
- Abstract: Despite significant advancements, large language models (LLMs) still struggle with providing accurate answers when lacking domain-specific or up-to-date knowledge. Retrieval-Augmented Generation (RAG) addresses this limitation by incorporating external knowledge bases, but it also introduces new attack surfaces. In this paper, we investigate data extraction attacks targeting the knowledge databases of RAG systems. We demonstrate that previous attacks on RAG largely depend on the instruction-following capabilities of LLMs, and that simple fine-tuning can reduce the success rate of such attacks to nearly zero. This makes these attacks impractical since fine-tuning is a common practice when deploying LLMs in specific domains. To further reveal the vulnerability, we propose to backdoor RAG, where a small portion of poisoned data is injected during the fine-tuning phase to create a backdoor within the LLM. When this compromised LLM is integrated into a RAG system, attackers can exploit specific triggers in prompts to manipulate the LLM to leak documents from the retrieval database. By carefully designing the poisoned data, we achieve both verbatim and paraphrased document extraction. We show that with only 3\% poisoned data, our method achieves an average success rate of 79.7\% in verbatim extraction on Llama2-7B, with a ROUGE-L score of 64.21, and a 68.6\% average success rate in paraphrased extraction, with an average ROUGE score of 52.6 across four datasets. These results underscore the privacy risks associated with the supply chain when deploying RAG systems.
- Abstract（参考訳）: 大幅な進歩にもかかわらず、大きな言語モデル(LLM)は、ドメイン固有の知識や最新の知識が欠如している場合に、正確な答えを提供するのに依然として苦労している。
Retrieval-Augmented Generation (RAG)は、外部知識ベースを組み込むことによって、この制限に対処するが、新たな攻撃面も導入する。
本稿では,RAGシステムの知識データベースを対象としたデータ抽出攻撃について検討する。
我々は、従来のRAG攻撃はLLMの命令追従能力に大きく依存しており、単純な微調整は、そのような攻撃の成功率をほぼゼロに抑えることができることを示した。
特定のドメインにLSMをデプロイする場合、微調整が一般的なプラクティスであるため、これらの攻撃は現実的ではない。
この脆弱性をさらに明らかにするため,本研究では,LSM内のバックドアを作成するための微調整期間中に,少量の有毒データを注入するバックドアRAGを提案する。
この妥協されたLLMがRAGシステムに統合されると、攻撃者は特定のトリガを利用してLSMを操作し、検索データベースから文書をリークする。
有毒データを慎重に設計することにより,文章抽出とパラフレーズ抽出を両立させる。
Llama2-7Bでは, 3\%の有毒データで, Llama2-7Bでは平均79.7\%, ROUGE-Lでは64.21, パラフレーズ抽出では平均68.6\%, ROUGEでは4つのデータセットで平均52.6であることがわかった。
これらの結果は、RAGシステムを展開する際のサプライチェーンに関連するプライバシーリスクを浮き彫りにする。
関連論文リスト
- Rag and Roll: An End-to-End Evaluation of Indirect Prompt Manipulations in LLM-based Application Frameworks [12.061098193438022]
Retrieval Augmented Generation (RAG) は、分散知識を欠くモデルによく用いられる手法である。
本稿では,RAGシステムのエンドツーエンドの間接的なプロンプト操作に対する安全性について検討する。
論文 参考訳（メタデータ） (2024-08-09T12:26:05Z) - Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。
11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。
最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
論文 参考訳（メタデータ） (2024-07-23T15:31:26Z) - AgentPoison: Red-teaming LLM Agents via Poisoning Memory or Knowledge Bases [73.04652687616286]
本稿では,RAG とRAG をベースとした LLM エージェントを標的とした最初のバックドア攻撃である AgentPoison を提案する。
従来のバックドア攻撃とは異なり、AgentPoisonは追加のモデルトレーニングや微調整を必要としない。
エージェントごとに、AgentPoisonは平均攻撃成功率を80%以上達成し、良質なパフォーマンスに最小限の影響を与える。
論文 参考訳（メタデータ） (2024-07-17T17:59:47Z) - BadRAG: Identifying Vulnerabilities in Retrieval Augmented Generation of Large Language Models [18.107026036897132]
大規模言語モデル(LLM)は時代遅れの情報と誤ったデータを生成する傾向によって制約される。
Retrieval-Augmented Generation (RAG) は、検索手法の強みと生成モデルを組み合わせることで、これらの制限に対処する。
RAG は LLM に対する新たな攻撃面を導入している。特に RAG データベースは Web などの公開データからしばしば引き出されるためである。
論文 参考訳（メタデータ） (2024-06-03T02:25:33Z) - Is My Data in Your Retrieval Database? Membership Inference Attacks Against Retrieval Augmented Generation [0.9217021281095907]
本稿では,RAGシステムに対して,メンバーシップ推論攻撃(MIA)を行うための効率的かつ使いやすい手法を提案する。
2つのベンチマークデータセットと複数の生成モデルを用いて攻撃の有効性を示す。
本研究は,RAGシステムにおけるセキュリティ対策の実施の重要性を浮き彫りにした。
論文 参考訳（メタデータ） (2024-05-30T19:46:36Z) - Human-Imperceptible Retrieval Poisoning Attacks in LLM-Powered Applications [10.06789804722156]
我々は,攻撃者がRAGプロセス中に悪意のある応答を誘導する,検索中毒と呼ばれるLSMベースのアプリケーションに対する新たな脅威を明らかにした。
我々の予備実験は、攻撃者が88.33%の成功率でLLMを誤解させ、実世界のアプリケーションで66.67%の成功率を達成することを示唆している。
論文 参考訳（メタデータ） (2024-04-26T07:11:18Z) - Prompt Leakage effect and defense strategies for multi-turn LLM interactions [95.33778028192593]
システムプロンプトの漏洩は知的財産を侵害し、攻撃者に対する敵の偵察として機能する可能性がある。
我々は, LLM sycophancy 効果を利用して, 平均攻撃成功率 (ASR) を17.7%から86.2%に高めるユニークな脅威モデルを構築した。
7つのブラックボックス防衛戦略の緩和効果と、漏洩防止のためのオープンソースモデルを微調整する。
論文 参考訳（メタデータ） (2024-04-24T23:39:58Z) - Follow My Instruction and Spill the Beans: Scalable Data Extraction from Retrieval-Augmented Generation Systems [22.142588104314175]
Retrieval-In-Context RAG Language Models (LMs) におけるデータストアリークのリスクについて検討する。
敵はLMの命令追従機能を利用してデータストアからテキストデータを簡単に抽出できることを示す。
ランダムに選択された25個のGPTに対して、100%の成功率でデータストアリークを引き起こす攻撃を設計する。
論文 参考訳（メタデータ） (2024-02-27T19:08:05Z) - The Good and The Bad: Exploring Privacy Issues in Retrieval-Augmented
Generation (RAG) [56.67603627046346]
Retrieval-augmented Generation (RAG)は、プロプライエタリおよびプライベートデータによる言語モデルを容易にする強力な技術である。
本研究では,プライベート検索データベースの漏洩に対するRAGシステムの脆弱性を実証する,新たな攻撃手法による実証的研究を行う。
論文 参考訳（メタデータ） (2024-02-23T18:35:15Z) - PAL: Proxy-Guided Black-Box Attack on Large Language Models [55.57987172146731]
大規模言語モデル(LLM)は近年人気が高まっているが、操作時に有害なコンテンツを生成する能力を示している。
PAL(Proxy-Guided Attack on LLMs)は, ブラックボックスクエリのみの設定で, LLMに対する最初の最適化ベースの攻撃である。
GPT-3.5-Turboの攻撃成功率は84%,Llama-2-7Bの攻撃成功率は48%であった。
論文 参考訳（メタデータ） (2024-02-15T02:54:49Z) - Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs [59.596335292426105]
本稿では,大規模な言語モデルにおけるセーフガードを評価するための,最初のオープンソースデータセットを収集する。
我々は、自動安全性評価において、GPT-4に匹敵する結果を得るために、BERTライクな分類器をいくつか訓練する。
論文 参考訳（メタデータ） (2023-08-25T14:02:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。