論文の概要: PoisonedRAG: Knowledge Corruption Attacks to Retrieval-Augmented Generation of Large Language Models
- arxiv url: http://arxiv.org/abs/2402.07867v2
- Date: Sun, 11 Aug 2024 21:46:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-13 23:57:57.476245
- Title: PoisonedRAG: Knowledge Corruption Attacks to Retrieval-Augmented Generation of Large Language Models
- Title（参考訳）: PoisonedRAG: 大規模言語モデルの検索強化に対する知識破壊攻撃
- Authors: Wei Zou, Runpeng Geng, Binghui Wang, Jinyuan Jia,
- Abstract要約: 大規模言語モデル(LLM)は、その例外的な生成能力により、顕著な成功を収めた。
Retrieval-Augmented Generation (RAG)は、これらの制限を緩和するための最先端技術である。
RAGシステムにおける知識データベースは,新たな,実用的な攻撃面を導入している。
この攻撃面に基づいて,RAGに対する最初の知識汚職攻撃であるPoisonedRAGを提案する。
- 参考スコア（独自算出の注目度）: 45.409248316497674
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have achieved remarkable success due to their exceptional generative capabilities. Despite their success, they also have inherent limitations such as a lack of up-to-date knowledge and hallucination. Retrieval-Augmented Generation (RAG) is a state-of-the-art technique to mitigate these limitations. The key idea of RAG is to ground the answer generation of an LLM on external knowledge retrieved from a knowledge database. Existing studies mainly focus on improving the accuracy or efficiency of RAG, leaving its security largely unexplored. We aim to bridge the gap in this work. We find that the knowledge database in a RAG system introduces a new and practical attack surface. Based on this attack surface, we propose PoisonedRAG, the first knowledge corruption attack to RAG, where an attacker could inject a few malicious texts into the knowledge database of a RAG system to induce an LLM to generate an attacker-chosen target answer for an attacker-chosen target question. We formulate knowledge corruption attacks as an optimization problem, whose solution is a set of malicious texts. Depending on the background knowledge (e.g., black-box and white-box settings) of an attacker on a RAG system, we propose two solutions to solve the optimization problem, respectively. Our results show PoisonedRAG could achieve a 90% attack success rate when injecting five malicious texts for each target question into a knowledge database with millions of texts. We also evaluate several defenses and our results show they are insufficient to defend against PoisonedRAG, highlighting the need for new defenses.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、その例外的な生成能力により、顕著な成功を収めた。
彼らの成功にもかかわらず、それらはまた、最新の知識と幻覚の欠如のような固有の制限も持っている。
Retrieval-Augmented Generation (RAG)は、これらの制限を緩和するための最先端技術である。
RAGの鍵となる考え方は、知識データベースから取得した外部知識に基づいて、LCMの回答生成を行うことである。
既存の研究は主にRAGの正確さや効率の改善に重点を置いており、その安全性は明らかにされていない。
私たちはこの仕事のギャップを埋めることを目指しています。
RAGシステムにおける知識データベースは,新たな,実用的な攻撃面を導入している。
この攻撃面に基づいて、攻撃者はRAGシステムの知識データベースにいくつかの悪意のあるテキストを注入し、LSMを誘導して攻撃長ターゲット質問に対する攻撃長ターゲット応答を生成することができる、RAGに対する最初の知識汚職攻撃であるPoisonedRAGを提案する。
我々は、知識汚職攻撃を最適化問題として定式化し、その解決策は悪意のあるテキストの集合である。
RAGシステムにおける攻撃者の背景知識(例えば、ブラックボックスとホワイトボックスの設定)に応じて、最適化問題の解法を2つ提案する。
その結果,PoisonedRAGは,対象質問に対して悪意のある5つのテキストを数百万のテキストを含む知識データベースに注入することで,90%の攻撃成功率を達成することができた。
我々はまた、いくつかの防衛も評価し、新たな防衛の必要性を強調しながら、ポイセドラグを防衛するには不十分であることを示した。
関連論文リスト
- HijackRAG: Hijacking Attacks against Retrieval-Augmented Large Language Models [18.301965456681764]
我々は、新しい脆弱性、検索プロンプトハイジャック攻撃(HijackRAG)を明らかにする。
HijackRAGは、悪意のあるテキストを知識データベースに注入することで、攻撃者がRAGシステムの検索機構を操作できるようにする。
攻撃者の知識の異なるレベルに合わせたブラックボックスとホワイトボックスの攻撃戦略を提案する。
論文 参考訳（メタデータ） (2024-10-30T09:15:51Z) - Rag and Roll: An End-to-End Evaluation of Indirect Prompt Manipulations in LLM-based Application Frameworks [12.061098193438022]
Retrieval Augmented Generation (RAG) は、分散知識を欠くモデルによく用いられる手法である。
本稿では,RAGシステムのエンドツーエンドの間接的なプロンプト操作に対する安全性について検討する。
論文 参考訳（メタデータ） (2024-08-09T12:26:05Z) - Turning Generative Models Degenerate: The Power of Data Poisoning Attacks [10.36389246679405]
悪意のある俳優は、毒殺攻撃を通じてバックドアを導入し、望ましくないアウトプットを発生させることができる。
本研究では,大規模言語モデルの微調整段階を標的とした多種多様な中毒技術について,PEFT(Efficient Fine-Tuning)法を用いて検討する。
本研究は,PEFTによる微調整中にNLGタスクを標的とした毒殺攻撃を理解するための最初の体系的アプローチである。
論文 参考訳（メタデータ） (2024-07-17T03:02:15Z) - "Glue pizza and eat rocks" -- Exploiting Vulnerabilities in Retrieval-Augmented Generative Models [74.05368440735468]
Retrieval-Augmented Generative (RAG)モデルにより大規模言語モデル(LLM)が強化される
本稿では,これらの知識基盤の開放性を敵が活用できるセキュリティ上の脅威を示す。
論文 参考訳（メタデータ） (2024-06-26T05:36:23Z) - Phantom: General Trigger Attacks on Retrieval Augmented Language Generation [30.63258739968483]
Retrieval Augmented Generation (RAG)は、現代の大規模言語モデル(LLM)の機能を拡張する
本稿では,RAGシステムの知識ベースに悪意ある文書を1つだけ注入し,バックドア中毒攻撃を行う新たな攻撃ベクトルを提案する。
我々はGemma、Vicuna、Llamaを含む複数のLLMアーキテクチャに対する攻撃を実演し、GPT-3.5 TurboおよびGPT-4への移行を示す。
論文 参考訳（メタデータ） (2024-05-30T21:19:24Z) - Certifiably Robust RAG against Retrieval Corruption [58.677292678310934]
Retrieval-augmented Generation (RAG) は、回復汚職攻撃に弱いことが示されている。
本稿では,ロバストRAGを検索汚職攻撃に対する最初の防御フレームワークとして提案する。
論文 参考訳（メタデータ） (2024-05-24T13:44:25Z) - Typos that Broke the RAG's Back: Genetic Attack on RAG Pipeline by Simulating Documents in the Wild via Low-level Perturbations [9.209974698634175]
Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) の限界に対処するための有望なソリューションである。
本研究では,RAGのロバスト性評価における2つの未解明点について検討する。
本稿では,RAG(textitGARAG)を標的とした新たな攻撃手法を提案する。
論文 参考訳（メタデータ） (2024-04-22T07:49:36Z) - The Good and The Bad: Exploring Privacy Issues in Retrieval-Augmented
Generation (RAG) [56.67603627046346]
Retrieval-augmented Generation (RAG)は、プロプライエタリおよびプライベートデータによる言語モデルを容易にする強力な技術である。
本研究では,プライベート検索データベースの漏洩に対するRAGシステムの脆弱性を実証する,新たな攻撃手法による実証的研究を行う。
論文 参考訳（メタデータ） (2024-02-23T18:35:15Z) - On the Security Risks of Knowledge Graph Reasoning [71.64027889145261]
我々は、敵の目標、知識、攻撃ベクトルに応じて、KGRに対するセキュリティ脅威を体系化する。
我々は、このような脅威をインスタンス化する新しいタイプの攻撃であるROARを提示する。
ROARに対する潜在的な対策として,潜在的に有毒な知識のフィルタリングや,対向的な拡張クエリによるトレーニングについて検討する。
論文 参考訳（メタデータ） (2023-05-03T18:47:42Z) - Challenges and Countermeasures for Adversarial Attacks on Deep
Reinforcement Learning [48.49658986576776]
深層強化学習(Dep Reinforcement Learning, DRL)は、周囲の環境に適応する優れた能力のおかげで、現実世界に多くの応用がある。
その大きな利点にもかかわらず、DRLは現実のクリティカルシステムやアプリケーションでの使用を妨げている敵攻撃の影響を受けやすい。
本稿では,DRLベースのシステムにおける新たな攻撃と,これらの攻撃を防御するための潜在的対策について述べる。
論文 参考訳（メタデータ） (2020-01-27T10:53:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。