論文の概要: The RAG Paradox: A Black-Box Attack Exploiting Unintentional Vulnerabilities in Retrieval-Augmented Generation Systems

• arxiv url: http://arxiv.org/abs/2502.20995v1
• Date: Fri, 28 Feb 2025 12:32:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:40:44.520645
• Title: The RAG Paradox: A Black-Box Attack Exploiting Unintentional Vulnerabilities in Retrieval-Augmented Generation Systems
• Title（参考訳）: RAG Paradox: 検索集約システムにおける意図しない脆弱性を爆発させるブラックボックス攻撃
• Authors: Chanwoo Choi, Jinsoo Kim, Sukmin Cho, Soyeong Jeong, Buru Chang,
• Abstract要約: 我々はRAGパラドックスに基づく現実的なブラックボックス攻撃シナリオを導入し、RAGシステムは不注意に脆弱性を暴露し、信頼性を高めようとする。 RAGシステムは応答生成時に外部文書を参照するため、攻撃は内部アクセスを必要とせずにこれらのソースを標的とします。 提案手法はまず、RAGシステムによって開示された外部ソースを特定し、これらのソースにマッチするように設計された誤情報を含む有毒な文書を自動的に生成する。
• 参考スコア（独自算出の注目度）: 8.347617177093056
• License:
• Abstract: With the growing adoption of retrieval-augmented generation (RAG) systems, recent studies have introduced attack methods aimed at degrading their performance. However, these methods rely on unrealistic white-box assumptions, such as attackers having access to RAG systems' internal processes. To address this issue, we introduce a realistic black-box attack scenario based on the RAG paradox, where RAG systems inadvertently expose vulnerabilities while attempting to enhance trustworthiness. Because RAG systems reference external documents during response generation, our attack targets these sources without requiring internal access. Our approach first identifies the external sources disclosed by RAG systems and then automatically generates poisoned documents with misinformation designed to match these sources. Finally, these poisoned documents are newly published on the disclosed sources, disrupting the RAG system's response generation process. Both offline and online experiments confirm that this attack significantly reduces RAG performance without requiring internal access. Furthermore, from an insider perspective within the RAG system, we propose a re-ranking method that acts as a fundamental safeguard, offering minimal protection against unforeseen attacks.
• Abstract（参考訳）: 近年,RAGシステムの普及に伴い,その性能低下を目的とした攻撃手法が提案されている。 しかしながら、これらの手法はRAGシステムの内部プロセスにアクセス可能な攻撃者など、非現実的なホワイトボックスの仮定に依存している。 この問題に対処するため,RAGシステムでは,信頼性を高めつつ脆弱性を不注意に暴露する,RAGパラドックスに基づく現実的なブラックボックス攻撃シナリオを導入する。 RAGシステムは応答生成時に外部文書を参照するため、攻撃は内部アクセスを必要とせずにこれらのソースを標的とします。 提案手法はまずRAGシステムによって開示された外部ソースを識別し,これらのソースにマッチするように設計された誤情報を含む有毒な文書を自動的に生成する。 最後に、これらの有毒な文書が新たに公開され、RAGシステムの応答生成プロセスが中断される。 オフラインとオンラインの両方の実験では、この攻撃によって内部アクセスを必要とせずにRAGのパフォーマンスが大幅に低下することを確認した。 さらに、RAGシステムにおけるインサイダーの観点から、本手法は基本的な安全対策として機能し、予期せぬ攻撃に対する最小限の保護を提供する。

関連論文リスト

• Towards Trustworthy Retrieval Augmented Generation for Large Language Models: A Survey [92.36487127683053]
  Retrieval-Augmented Generation (RAG)は、AIGC(AIGC)の課題に対処するために設計された高度な技術である。 RAGは信頼性と最新の外部知識を提供し、幻覚を減らし、幅広いタスクで関連するコンテキストを保証する。 RAGの成功と可能性にもかかわらず、最近の研究により、RAGパラダイムはプライバシーの懸念、敵対的攻撃、説明責任の問題など、新たなリスクももたらしていることが示されている。
  論文  参考訳（メタデータ） (2025-02-08T06:50:47Z)
• Pirates of the RAG: Adaptively Attacking LLMs to Leak Knowledge Bases [11.101624331624933]
  本稿では,RAGシステムにプライベート知識ベースを漏洩させるブラックボックス攻撃を提案する。 関連性に基づくメカニズムとアタッカーサイドのオープンソース LLM は、(隠された)知識ベースの大部分をリークする効果的なクエリの生成を好んでいる。
  論文  参考訳（メタデータ） (2024-12-24T09:03:57Z)
• Towards More Robust Retrieval-Augmented Generation: Evaluating RAG Under Adversarial Poisoning Attacks [45.07581174558107]
  Retrieval-Augmented Generation (RAG) システムは幻覚を緩和するための有望な解決策として登場した。 RAGシステムは、検索データベースに注入された悪意のあるパスが、モデルを誤誘導し、事実的に誤ったアウトプットを発生させるような、敵の毒殺攻撃に弱い。 本稿では,RAGシステムの検索と生成の両要素について検討し,攻撃に対するロバスト性を高める方法について考察する。
  論文  参考訳（メタデータ） (2024-12-21T17:31:52Z)
• HijackRAG: Hijacking Attacks against Retrieval-Augmented Large Language Models [18.301965456681764]
  我々は、新しい脆弱性、検索プロンプトハイジャック攻撃(HijackRAG)を明らかにする。 HijackRAGは、悪意のあるテキストを知識データベースに注入することで、攻撃者がRAGシステムの検索機構を操作できるようにする。 攻撃者の知識の異なるレベルに合わせたブラックボックスとホワイトボックスの攻撃戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-30T09:15:51Z)
• ConfusedPilot: Confused Deputy Risks in RAG-based LLMs [2.423202571519879]
  我々は、Copilotを混乱させ、応答に完全性と機密性を侵害するRAGシステムのセキュリティ脆弱性のクラスであるConfusedPilotを紹介します。 本研究は,現在のRAGベースのシステムにおけるセキュリティ脆弱性を強調し,今後のRAGベースのシステムを保護するための設計ガイドラインを提案する。
  論文  参考訳（メタデータ） (2024-08-09T05:20:05Z)
• AgentPoison: Red-teaming LLM Agents via Poisoning Memory or Knowledge Bases [73.04652687616286]
  本稿では,RAG とRAG をベースとした LLM エージェントを標的とした最初のバックドア攻撃である AgentPoison を提案する。 従来のバックドア攻撃とは異なり、AgentPoisonは追加のモデルトレーニングや微調整を必要としない。 エージェントごとに、AgentPoisonは平均攻撃成功率を80%以上達成し、良質なパフォーマンスに最小限の影響を与える。
  論文  参考訳（メタデータ） (2024-07-17T17:59:47Z)
• "Glue pizza and eat rocks" -- Exploiting Vulnerabilities in Retrieval-Augmented Generative Models [74.05368440735468]
  Retrieval-Augmented Generative (RAG)モデルにより大規模言語モデル(LLM)が強化される 本稿では,これらの知識基盤の開放性を敵が活用できるセキュリティ上の脅威を示す。
  論文  参考訳（メタデータ） (2024-06-26T05:36:23Z)
• Is My Data in Your Retrieval Database? Membership Inference Attacks Against Retrieval Augmented Generation [0.9217021281095907]
  本稿では,RAGシステムに対して,メンバーシップ推論攻撃(MIA)を行うための効率的かつ使いやすい手法を提案する。 2つのベンチマークデータセットと複数の生成モデルを用いて攻撃の有効性を示す。 本研究は,RAGシステムにおけるセキュリティ対策の実施の重要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-05-30T19:46:36Z)
• Rethinking the Vulnerabilities of Face Recognition Systems:From a Practical Perspective [53.24281798458074]
  顔認識システム(FRS)は、監視やユーザー認証を含む重要なアプリケーションにますます統合されている。 最近の研究によると、FRSの脆弱性は敵(例えば、敵パッチ攻撃)やバックドア攻撃(例えば、データ中毒の訓練)であることが明らかになっている。
  論文  参考訳（メタデータ） (2024-05-21T13:34:23Z)
• Certifiers Make Neural Networks Vulnerable to Availability Attacks [70.69104148250614]
  私たちは初めて、逆転戦略が敵によって意図的に引き起こされる可能性があることを示します。 いくつかの入力や摂動のために自然に発生する障害に加えて、敵は故意にフォールバックを誘発するために訓練時間攻撃を使用することができる。 我々は2つの新しいアベイラビリティーアタックを設計し、これらの脅威の実用的妥当性を示す。
  論文  参考訳（メタデータ） (2021-08-25T15:49:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。