論文の概要: Towards Secure Retrieval-Augmented Generation: A Comprehensive Review of Threats, Defenses and Benchmarks
- arxiv url: http://arxiv.org/abs/2603.21654v1
- Date: Mon, 23 Mar 2026 07:32:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-24 19:11:39.542438
- Title: Towards Secure Retrieval-Augmented Generation: A Comprehensive Review of Threats, Defenses and Benchmarks
- Title(参考訳): 安全回復型世代に向けて:脅威・防衛・ベンチマークの総合的レビュー
- Authors: Yanming Mu, Hao Hu, Feiyang Li, Qiao Yuan, Jiang Wu, Zichuan Liu, Pengcheng Liu, Mei Wang, Hongwei Zhou, Yuling Liu,
- Abstract要約: Retrieval-Augmented Generation (RAG)は、大規模言語モデルにおける幻覚とドメイン知識の欠如を、外部知識ベースを組み込むことによって著しく軽減する。
本稿では、その基盤となる脆弱性メカニズムを分析し、データ中毒、敵攻撃、メンバシップ推論攻撃などのコア脅威ベクトルを体系的に分類する。
潜在的なリスクについて深い洞察を得ることにより、この研究は、高度に堅牢で信頼性の高い次世代RAGシステムの開発を促進することを目指している。
- 参考スコア(独自算出の注目度): 21.880338678029503
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval-Augmented Generation (RAG) significantly mitigates the hallucinations and domain knowledge deficiency in large language models by incorporating external knowledge bases. However, the multi-module architecture of RAG introduces complex system-level security vulnerabilities. Guided by the RAG workflow, this paper analyzes the underlying vulnerability mechanisms and systematically categorizes core threat vectors such as data poisoning, adversarial attacks, and membership inference attacks. Based on this threat assessment, we construct a taxonomy of RAG defense technologies from a dual perspective encompassing both input and output stages. The input-side analysis reviews data protection mechanisms including dynamic access control, homomorphic encryption retrieval, and adversarial pre-filtering. The output-side examination summarizes advanced leakage prevention techniques such as federated learning isolation, differential privacy perturbation, and lightweight data sanitization. To establish a unified benchmark for future experimental design, we consolidate authoritative test datasets, security standards, and evaluation frameworks. To the best of our knowledge, this paper presents the first end-to-end survey dedicated to the security of RAG systems. Distinct from existing literature that isolates specific vulnerabilities, we systematically map the entire pipeline-providing a unified analysis of threat models, defense mechanisms, and evaluation benchmarks. By enabling deep insights into potential risks, this work seeks to foster the development of highly robust and trustworthy next-generation RAG systems.
- Abstract(参考訳): Retrieval-Augmented Generation (RAG)は、大規模言語モデルにおける幻覚とドメイン知識の欠如を、外部知識ベースを組み込むことによって著しく軽減する。
しかしながら、RAGのマルチモジュールアーキテクチャは複雑なシステムレベルのセキュリティ脆弱性を導入している。
本稿では、RAGワークフローでガイドされた脆弱性メカニズムを分析し、データ中毒、敵攻撃、メンバシップ推論攻撃などの中核的な脅威ベクトルを体系的に分類する。
この脅威評価に基づいて、入力と出力の両方の段階を含む二重視点からRAG防衛技術の分類を構築した。
入力側分析は、動的アクセス制御、同型暗号化検索、および対向前フィルタリングを含むデータ保護機構をレビューする。
出力側試験では、フェデレーション学習分離、差分プライバシー摂動、軽量データ衛生などの高度な漏洩防止手法を要約する。
将来の実験設計のための統一ベンチマークを確立するため、信頼性テストデータセット、セキュリティ標準、評価フレームワークを統合する。
そこで本研究では,RAGシステムのセキュリティに関するエンド・ツー・エンド調査を初めて実施する。
特定の脆弱性を分離する既存の文献とは違い、脅威モデル、防御メカニズム、評価ベンチマークの統一分析を提供するパイプライン全体を体系的にマッピングする。
この研究は、潜在的なリスクに対する深い洞察を可能にすることで、高度に堅牢で信頼性の高い次世代RAGシステムの開発を促進することを目指している。
関連論文リスト
- SoK: Harmonizing Attack Graphs and Intrusion Detection Systems [70.34940998791319]
アタックグラフ(AG)は、アタック戦略を分析し、応答を通知するための主要な脅威モデルである。
初期の研究で概念的なつながりが認識されているにもかかわらず、AGとIDSの統合の分野は共通の構造を欠いている。
本稿では,AG-IDS統合に関する最初の体系的分析を行い,73の総合的な文献を概説する。
論文 参考訳(メタデータ) (2026-03-09T12:16:51Z) - Benchmarking Knowledge-Extraction Attack and Defense on Retrieval-Augmented Generation [50.87199039334856]
Retrieval-Augmented Generation (RAG) は知識集約型アプリケーションの基礎となっている。
近年の研究では、悪意あるクエリによって知識抽出攻撃が機密知識ベースコンテンツを回復できることが示されている。
本稿では,RAGシステムに対する知識抽出攻撃のための最初の体系的ベンチマークを紹介する。
論文 参考訳(メタデータ) (2026-02-10T01:27:46Z) - RAG Security and Privacy: Formalizing the Threat Model and Attack Surface [4.823988025629304]
Retrieval-Augmented Generation (RAG) は、大規模言語モデル(LLM)と外部文書検索を組み合わせて、より正確で基礎的な応答を生成する自然言語処理における新興のアプローチである。
既存の研究では、RAGがトレーニングデータ記憶や敵対的プロンプトを通じて機密情報を漏洩し、RAGシステムがこれらの脆弱性の多くを継承していることが示されている。
これらのリスクにもかかわらず、現在、RAGシステムの脅威状況を定義する公式なフレームワークは存在しない。
論文 参考訳(メタデータ) (2025-09-24T17:11:35Z) - Towards a rigorous evaluation of RAG systems: the challenge of due diligence [39.577682622066256]
生成的AIの台頭は、医療や金融といったリスクの高い分野に大きな進歩をもたらした。
Retrieval-Augmented Generation (RAG)アーキテクチャは、言語モデル(LLM)と検索エンジンを組み合わせたもので、特に文書コーパスから応答を生成する能力で有名である。
本研究では、投資ファンドのデューディリジェンスに使用されるRAGシステムを評価する。
論文 参考訳(メタデータ) (2025-07-29T12:33:16Z) - A Survey on Model Extraction Attacks and Defenses for Large Language Models [55.60375624503877]
モデル抽出攻撃は、デプロイされた言語モデルに重大なセキュリティ脅威をもたらす。
この調査は、抽出攻撃と防御攻撃の包括的分類、機能抽出への攻撃の分類、データ抽出の訓練、およびプロンプトターゲット攻撃を提供する。
モデル保護,データプライバシ保護,迅速なターゲット戦略に編成された防御機構について検討し,その効果を異なる展開シナリオで評価する。
論文 参考訳(メタデータ) (2025-06-26T22:02:01Z) - AILuminate: Introducing v1.0 of the AI Risk and Reliability Benchmark from MLCommons [62.374792825813394]
本稿ではAI製品リスクと信頼性を評価するための業界標準ベンチマークとして,AIluminate v1.0を紹介する。
このベンチマークは、危険、違法、または望ましくない行動を12の危険カテゴリーで引き起こすように設計されたプロンプトに対するAIシステムの抵抗を評価する。
論文 参考訳(メタデータ) (2025-02-19T05:58:52Z) - Towards More Robust Retrieval-Augmented Generation: Evaluating RAG Under Adversarial Poisoning Attacks [45.07581174558107]
Retrieval-Augmented Generation (RAG) システムは幻覚を緩和するための有望な解決策として登場した。
RAGシステムは、検索コーパスに注入された悪意のある通路が、モデルに誤った結果をもたらす可能性がある、敵の毒殺攻撃に対して脆弱である。
本稿では、RAGシステムがこのような攻撃下でどのように振る舞うか、その堅牢性がどのように改善されるかについて、厳密に制御された実証研究を示す。
論文 参考訳(メタデータ) (2024-12-21T17:31:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。