論文の概要: On the Vulnerability of Applying Retrieval-Augmented Generation within
Knowledge-Intensive Application Domains
- arxiv url: http://arxiv.org/abs/2409.17275v1
- Date: Thu, 12 Sep 2024 02:43:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-30 12:52:34.759643
- Title: On the Vulnerability of Applying Retrieval-Augmented Generation within
Knowledge-Intensive Application Domains
- Title（参考訳）: 再検索型世代を内部に導入する際の脆弱性について
知識集約型アプリケーションドメイン
- Authors: Xun Xian, Ganghua Wang, Xuan Bi, Jayanth Srinivasa, Ashish Kundu,
Charles Fleming, Mingyi Hong, Jie Ding
- Abstract要約: Retrieval-Augmented Generation (RAG)は、知識集約ドメインにおける大規模言語モデル(LLM)の性能向上を実証的に示している。
医学的Q&Aにおいて,RAGは普遍的な毒殺攻撃に弱いことが示唆された。
我々は、RAGの安全な使用を保証するために、新しい検出ベースの防御を開発する。
- 参考スコア（独自算出の注目度）: 34.122040172188406
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval-Augmented Generation (RAG) has been empirically shown to enhance
the performance of large language models (LLMs) in knowledge-intensive domains
such as healthcare, finance, and legal contexts. Given a query, RAG retrieves
relevant documents from a corpus and integrates them into the LLMs' generation
process. In this study, we investigate the adversarial robustness of RAG,
focusing specifically on examining the retrieval system. First, across 225
different setup combinations of corpus, retriever, query, and targeted
information, we show that retrieval systems are vulnerable to universal
poisoning attacks in medical Q\&A. In such attacks, adversaries generate
poisoned documents containing a broad spectrum of targeted information, such as
personally identifiable information. When these poisoned documents are inserted
into a corpus, they can be accurately retrieved by any users, as long as
attacker-specified queries are used. To understand this vulnerability, we
discovered that the deviation from the query's embedding to that of the
poisoned document tends to follow a pattern in which the high similarity
between the poisoned document and the query is retained, thereby enabling
precise retrieval. Based on these findings, we develop a new detection-based
defense to ensure the safe use of RAG. Through extensive experiments spanning
various Q\&A domains, we observed that our proposed method consistently
achieves excellent detection rates in nearly all cases.
- Abstract（参考訳）: Retrieval-Augmented Generation (RAG)は、医療、金融、法的文脈といった知識集約的な領域において、大規模言語モデル(LLM)の性能を高めるために実証的に示されている。
クエリが与えられたら、RAGはコーパスから関連文書を取得し、それらをLLMの生成プロセスに統合する。
本研究では,RAGの対角的ロバスト性について検討し,検索システムの検討に焦点をあてた。
まず, コーパス, 検索, クエリ, ターゲット情報の組み合わせを225種類に分けて, 医療用Q\&Aにおける普遍的な毒殺攻撃に対して, 検索システムが脆弱であることを示す。
このような攻撃では、敵は個人が特定できる情報など、標的とする幅広い情報を含む有毒な文書を生成する。
これらの有毒な文書をコーパスに挿入すると、攻撃者が特定したクエリを使用する限り、どのユーザでも正確に検索することができる。
この脆弱性を理解するために, クエリの埋め込みから有毒文書へのずれは, 有毒文書と有毒文書との高い類似性が保たれるパターンに従う傾向にあり, 正確な検索を可能にすることを発見した。
これらの知見に基づいて,RAGの安全性を確保するために,新たな検出ベースの防御法を開発した。
様々なQ\&A領域にまたがる広範囲な実験を通して,提案手法がほぼ全てのケースにおいて常に優れた検出率を達成できることを示した。
関連論文リスト
- Riddle Me This! Stealthy Membership Inference for Retrieval-Augmented Generation [18.098228823748617]
本稿では,RAGデータストア内の文書を対象としたメンバシップ推論手法であるInterrogation Attack (IA)を提案する。
ステルス性を維持しながら、たった30クエリで推論に成功したことを実証します。
我々は,様々なRAG構成に対する事前推論攻撃に対して,TPR@1%FPRの2倍の改善が観察された。
論文 参考訳（メタデータ） (2025-02-01T04:01:18Z) - Illusions of Relevance: Using Content Injection Attacks to Deceive Retrievers, Rerankers, and LLM Judges [52.96987928118327]
検索,リランカー,大型言語モデル(LLM)の埋め込みモデルは,コンテンツインジェクション攻撃に対して脆弱であることがわかった。
主な脅威は,(1) 意味不明な内容や有害な内容の挿入,(2) 関連性を高めるために,問合せ全体あるいはキークエリ用語の挿入,の2つである。
本研究は, 注射内容の配置や関連物質と非関連物質とのバランスなど, 攻撃の成功に影響を与える要因を系統的に検討した。
論文 参考訳（メタデータ） (2025-01-30T18:02:15Z) - Document Screenshot Retrievers are Vulnerable to Pixel Poisoning Attacks [72.4498910775871]
ヴィジュアル言語モデル(VLM)ベースのレトリバーは、ベクターとして埋め込まれた文書のスクリーンショットを活用して、効率的な検索を可能にし、従来のテキストのみの手法よりも単純化されたパイプラインを提供する。
本研究では,VLMをベースとしたレトリバーを危険にさらすために,3つのピクセル中毒攻撃手法を提案する。
論文 参考訳（メタデータ） (2025-01-28T12:40:37Z) - TrustRAG: Enhancing Robustness and Trustworthiness in RAG [31.231916859341865]
TrustRAGは、世代ごとに取得される前に、妥協されたコンテンツと無関係なコンテンツを体系的にフィルタリングするフレームワークである。
TrustRAGは、既存のアプローチと比較して、検索精度、効率、攻撃抵抗を大幅に改善している。
論文 参考訳（メタデータ） (2025-01-01T15:57:34Z) - Do You Know What You Are Talking About? Characterizing Query-Knowledge Relevance For Reliable Retrieval Augmented Generation [19.543102037001134]
言語モデル(LM)は幻覚や誤報に悩まされていることが知られている。
外部知識コーパスから検証可能な情報を検索する検索拡張生成(RAG)は、これらの問題に対する具体的な解決策を提供する。
RAG生成品質は、ユーザのクエリと検索したドキュメントの関連性に大きく依存する。
論文 参考訳（メタデータ） (2024-10-10T19:14:55Z) - Corpus Poisoning via Approximate Greedy Gradient Descent [48.5847914481222]
本稿では,HotFlip法をベースとした高密度検索システムに対する新たな攻撃手法として,近似グレディ・グラディエント・Descentを提案する。
提案手法は,複数のデータセットと複数のレトリバーを用いて高い攻撃成功率を達成し,未知のクエリや新しいドメインに一般化可能であることを示す。
論文 参考訳（メタデータ） (2024-06-07T17:02:35Z) - Poisoning Retrieval Corpora by Injecting Adversarial Passages [79.14287273842878]
本稿では,悪意のあるユーザが少数の逆行を発生させるような,高密度検索システムに対する新たな攻撃を提案する。
これらの逆行路を大規模な検索コーパスに挿入すると、この攻撃はこれらのシステムを騙すのに非常に効果的であることを示す。
また、教師なしと教師なしの両方の最先端の高密度レトリバーをベンチマークし、比較する。
論文 参考訳（メタデータ） (2023-10-29T21:13:31Z) - Defense of Adversarial Ranking Attack in Text Retrieval: Benchmark and
Baseline via Detection [12.244543468021938]
本稿では,敵対的文書に対する2種類の検出タスクを提案する。
敵のランク防衛の調査を容易にするために、ベンチマークデータセットが確立されている。
いくつかの検出基準線の性能を総合的に調査する。
論文 参考訳（メタデータ） (2023-07-31T16:31:24Z) - ADC: Adversarial attacks against object Detection that evade Context
consistency checks [55.8459119462263]
文脈整合性チェックさえも、適切に構築された敵の例に対して脆弱であることを示す。
このような防御を覆す実例を生成するための適応型フレームワークを提案する。
我々の結果は、コンテキストを堅牢にモデル化し、一貫性をチェックする方法はまだ未解決の問題であることを示している。
論文 参考訳（メタデータ） (2021-10-24T00:25:09Z) - Multi-Expert Adversarial Attack Detection in Person Re-identification
Using Context Inconsistency [47.719533482898306]
本稿では,個人再識別(ReID)システムに対する悪意のある攻撃を検知するための,Multi-Expert Adversarial Detection(MEAAD)アプローチを提案する。
ReIDに対する最初の敵攻撃検出アプローチとして、MEAADは様々な敵攻撃を効果的に検出し、高いROC-AUC(97.5%以上)を達成する。
論文 参考訳（メタデータ） (2021-08-23T01:59:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。