論文の概要: The RAG Paradox: A Black-Box Attack Exploiting Unintentional Vulnerabilities in Retrieval-Augmented Generation Systems
- arxiv url: http://arxiv.org/abs/2502.20995v2
- Date: Fri, 30 May 2025 08:19:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-02 15:03:34.247643
- Title: The RAG Paradox: A Black-Box Attack Exploiting Unintentional Vulnerabilities in Retrieval-Augmented Generation Systems
- Title（参考訳）: RAG Paradox: 検索集約システムにおける意図しない脆弱性を爆発させるブラックボックス攻撃
- Authors: Chanwoo Choi, Jinsoo Kim, Sukmin Cho, Soyeong Jeong, Buru Chang,
- Abstract要約: RAGパラドックスに基づく現実的なブラックボックス攻撃を導入する。
文書検索性の改善に重点を置く以前の作業とは異なり,攻撃手法は検索可能性とユーザ信頼の両方を明示的に考慮している。
本手法は, 内部アクセスのないシステム性能を著しく低下させるとともに, 自然に見える有毒な文書を生成する。
- 参考スコア（独自算出の注目度）: 8.347617177093056
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the growing adoption of retrieval-augmented generation (RAG) systems, various attack methods have been proposed to degrade their performance. However, most existing approaches rely on unrealistic assumptions in which external attackers have access to internal components such as the retriever. To address this issue, we introduce a realistic black-box attack based on the RAG paradox, a structural vulnerability arising from the system's effort to enhance trust by revealing both the retrieved documents and their sources to users. This transparency enables attackers to observe which sources are used and how information is phrased, allowing them to craft poisoned documents that are more likely to be retrieved and upload them to the identified sources. Moreover, as RAG systems directly provide retrieved content to users, these documents must not only be retrievable but also appear natural and credible to maintain user confidence in the search results. Unlike prior work that focuses solely on improving document retrievability, our attack method explicitly considers both retrievability and user trust in the retrieved content. Both offline and online experiments demonstrate that our method significantly degrades system performance without internal access, while generating natural-looking poisoned documents.
- Abstract（参考訳）: 検索強化世代 (RAG) システムの普及に伴い, 様々な攻撃手法が提案され, 性能が低下している。
しかし、既存のほとんどのアプローチは、外部攻撃者がレトリバーのような内部コンポーネントにアクセス可能な非現実的な仮定に依存している。
この問題に対処するために,RAGパラドックスに基づく現実的なブラックボックス攻撃を導入する。これは,検索した文書とソースの両方をユーザに公開することにより,信頼性を高めるためのシステムの取り組みから生じる構造的脆弱性である。
この透明性により、攻撃者はどのソースが使われているか、どのように情報がフレーズ化されているかを観察し、検索されやすい有毒なドキュメントを作成し、特定されたソースにアップロードすることができる。
さらに,RAGシステムは検索したコンテンツを直接ユーザに提供するため,検索可能なだけでなく,検索結果に対するユーザの信頼を維持するためにも,自然で信頼性の高い文書として表示されなければならない。
文書検索性の改善に重点を置く先行研究とは異なり,本手法では,検索可能性と検索内容に対するユーザ信頼の両方を明示的に考慮している。
オフラインとオンラインの両方の実験により、本手法は内部アクセスなしでシステム性能を著しく低下させ、自然に見える有毒な文書を生成することを示した。
関連論文リスト
- Traceback of Poisoning Attacks to Retrieval-Augmented Generation [10.19539347377776]
研究によると、RAGの毒殺攻撃に対する感受性が明らかとなり、攻撃者は知識データベースに有毒なテキストを注入した。
既存の防衛は、主に推論時間の緩和に焦点を当てており、高度な攻撃に対して不十分であることが証明されている。
本稿では,RAGの最初のトレースバックシステムであるRAGForensicsを紹介し,攻撃に責任を持つ知識データベース内の有毒テキストを識別する。
論文 参考訳（メタデータ） (2025-04-30T14:10:02Z) - ControlNET: A Firewall for RAG-based LLM System [9.362574883495927]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の事実精度と領域適応性を著しく向上させた。
RAGは外部知識を統合することで幻覚を緩和するが、プライバシのリスクとセキュリティのリスク、特にデータ侵害のリスクとデータ中毒のリスクを導入する。
本稿では,これらの脆弱性からRAGベースのLLMシステムを保護するために設計された,AIファイアウォールであるControlNETを提案する。
論文 参考訳（メタデータ） (2025-04-13T14:18:35Z) - MM-PoisonRAG: Disrupting Multimodal RAG with Local and Global Poisoning Attacks [109.53357276796655]
Retrieval Augmented Generation (RAG) を備えたマルチモーダル大言語モデル(MLLM)
RAGはクエリ関連外部知識の応答を基盤としてMLLMを強化する。
この依存は、知識中毒攻撃(英語版)という、危険だが未発見の安全リスクを生じさせる。
本稿では,2つの攻撃戦略を持つ新しい知識中毒攻撃フレームワークMM-PoisonRAGを提案する。
論文 参考訳（メタデータ） (2025-02-25T04:23:59Z) - Towards Trustworthy Retrieval Augmented Generation for Large Language Models: A Survey [92.36487127683053]
Retrieval-Augmented Generation (RAG)は、AIGC(AIGC)の課題に対処するために設計された高度な技術である。
RAGは信頼性と最新の外部知識を提供し、幻覚を減らし、幅広いタスクで関連するコンテキストを保証する。
RAGの成功と可能性にもかかわらず、最近の研究により、RAGパラダイムはプライバシーの懸念、敵対的攻撃、説明責任の問題など、新たなリスクももたらしていることが示されている。
論文 参考訳（メタデータ） (2025-02-08T06:50:47Z) - Pirates of the RAG: Adaptively Attacking LLMs to Leak Knowledge Bases [11.101624331624933]
本稿では,RAGシステムにプライベート知識ベースを漏洩させるブラックボックス攻撃を提案する。
関連性に基づくメカニズムとアタッカーサイドのオープンソース LLM は、(隠された)知識ベースの大部分をリークする効果的なクエリの生成を好んでいる。
論文 参考訳（メタデータ） (2024-12-24T09:03:57Z) - Towards More Robust Retrieval-Augmented Generation: Evaluating RAG Under Adversarial Poisoning Attacks [45.07581174558107]
Retrieval-Augmented Generation (RAG) システムは幻覚を緩和するための有望な解決策として登場した。
RAGシステムは、検索データベースに注入された悪意のあるパスが、モデルを誤誘導し、事実的に誤ったアウトプットを発生させるような、敵の毒殺攻撃に弱い。
本稿では,RAGシステムの検索と生成の両要素について検討し,攻撃に対するロバスト性を高める方法について考察する。
論文 参考訳（メタデータ） (2024-12-21T17:31:52Z) - HijackRAG: Hijacking Attacks against Retrieval-Augmented Large Language Models [18.301965456681764]
我々は、新しい脆弱性、検索プロンプトハイジャック攻撃(HijackRAG)を明らかにする。
HijackRAGは、悪意のあるテキストを知識データベースに注入することで、攻撃者がRAGシステムの検索機構を操作できるようにする。
攻撃者の知識の異なるレベルに合わせたブラックボックスとホワイトボックスの攻撃戦略を提案する。
論文 参考訳（メタデータ） (2024-10-30T09:15:51Z) - ConfusedPilot: Confused Deputy Risks in RAG-based LLMs [2.423202571519879]
我々は、Copilotを混乱させ、応答に完全性と機密性を侵害するRAGシステムのセキュリティ脆弱性のクラスであるConfusedPilotを紹介します。
本研究は,現在のRAGベースのシステムにおけるセキュリティ脆弱性を強調し,今後のRAGベースのシステムを保護するための設計ガイドラインを提案する。
論文 参考訳（メタデータ） (2024-08-09T05:20:05Z) - "Glue pizza and eat rocks" -- Exploiting Vulnerabilities in Retrieval-Augmented Generative Models [74.05368440735468]
Retrieval-Augmented Generative (RAG)モデルにより大規模言語モデル(LLM)が強化される
本稿では,これらの知識基盤の開放性を敵が活用できるセキュリティ上の脅威を示す。
論文 参考訳（メタデータ） (2024-06-26T05:36:23Z) - Rethinking the Vulnerabilities of Face Recognition Systems:From a Practical Perspective [53.24281798458074]
顔認識システム(FRS)は、監視やユーザー認証を含む重要なアプリケーションにますます統合されている。
最近の研究によると、FRSの脆弱性は敵(例えば、敵パッチ攻撃)やバックドア攻撃(例えば、データ中毒の訓練)であることが明らかになっている。
論文 参考訳（メタデータ） (2024-05-21T13:34:23Z) - Certifiers Make Neural Networks Vulnerable to Availability Attacks [70.69104148250614]
私たちは初めて、逆転戦略が敵によって意図的に引き起こされる可能性があることを示します。
いくつかの入力や摂動のために自然に発生する障害に加えて、敵は故意にフォールバックを誘発するために訓練時間攻撃を使用することができる。
我々は2つの新しいアベイラビリティーアタックを設計し、これらの脅威の実用的妥当性を示す。
論文 参考訳（メタデータ） (2021-08-25T15:49:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。