論文の概要: On the Vulnerability of Applying Retrieval-Augmented Generation within
Knowledge-Intensive Application Domains
- arxiv url: http://arxiv.org/abs/2409.17275v1
- Date: Thu, 12 Sep 2024 02:43:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-30 12:52:34.759643
- Title: On the Vulnerability of Applying Retrieval-Augmented Generation within
Knowledge-Intensive Application Domains
- Title（参考訳）: 再検索型世代を内部に導入する際の脆弱性について
知識集約型アプリケーションドメイン
- Authors: Xun Xian, Ganghua Wang, Xuan Bi, Jayanth Srinivasa, Ashish Kundu,
Charles Fleming, Mingyi Hong, Jie Ding
- Abstract要約: Retrieval-Augmented Generation (RAG)は、知識集約ドメインにおける大規模言語モデル(LLM)の性能向上を実証的に示している。
医学的Q&Aにおいて,RAGは普遍的な毒殺攻撃に弱いことが示唆された。
我々は、RAGの安全な使用を保証するために、新しい検出ベースの防御を開発する。
- 参考スコア（独自算出の注目度）: 34.122040172188406
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval-Augmented Generation (RAG) has been empirically shown to enhance
the performance of large language models (LLMs) in knowledge-intensive domains
such as healthcare, finance, and legal contexts. Given a query, RAG retrieves
relevant documents from a corpus and integrates them into the LLMs' generation
process. In this study, we investigate the adversarial robustness of RAG,
focusing specifically on examining the retrieval system. First, across 225
different setup combinations of corpus, retriever, query, and targeted
information, we show that retrieval systems are vulnerable to universal
poisoning attacks in medical Q\&A. In such attacks, adversaries generate
poisoned documents containing a broad spectrum of targeted information, such as
personally identifiable information. When these poisoned documents are inserted
into a corpus, they can be accurately retrieved by any users, as long as
attacker-specified queries are used. To understand this vulnerability, we
discovered that the deviation from the query's embedding to that of the
poisoned document tends to follow a pattern in which the high similarity
between the poisoned document and the query is retained, thereby enabling
precise retrieval. Based on these findings, we develop a new detection-based
defense to ensure the safe use of RAG. Through extensive experiments spanning
various Q\&A domains, we observed that our proposed method consistently
achieves excellent detection rates in nearly all cases.
- Abstract（参考訳）: Retrieval-Augmented Generation (RAG)は、医療、金融、法的文脈といった知識集約的な領域において、大規模言語モデル(LLM)の性能を高めるために実証的に示されている。
クエリが与えられたら、RAGはコーパスから関連文書を取得し、それらをLLMの生成プロセスに統合する。
本研究では,RAGの対角的ロバスト性について検討し,検索システムの検討に焦点をあてた。
まず, コーパス, 検索, クエリ, ターゲット情報の組み合わせを225種類に分けて, 医療用Q\&Aにおける普遍的な毒殺攻撃に対して, 検索システムが脆弱であることを示す。
このような攻撃では、敵は個人が特定できる情報など、標的とする幅広い情報を含む有毒な文書を生成する。
これらの有毒な文書をコーパスに挿入すると、攻撃者が特定したクエリを使用する限り、どのユーザでも正確に検索することができる。
この脆弱性を理解するために, クエリの埋め込みから有毒文書へのずれは, 有毒文書と有毒文書との高い類似性が保たれるパターンに従う傾向にあり, 正確な検索を可能にすることを発見した。
これらの知見に基づいて,RAGの安全性を確保するために,新たな検出ベースの防御法を開発した。
様々なQ\&A領域にまたがる広範囲な実験を通して,提案手法がほぼ全てのケースにおいて常に優れた検出率を達成できることを示した。
関連論文リスト
- Do You Know What You Are Talking About? Characterizing Query-Knowledge Relevance For Reliable Retrieval Augmented Generation [19.543102037001134]
言語モデル(LM)は幻覚や誤報に悩まされていることが知られている。
外部知識コーパスから検証可能な情報を検索する検索拡張生成(RAG)は、これらの問題に対する具体的な解決策を提供する。
RAG生成品質は、ユーザのクエリと検索したドキュメントの関連性に大きく依存する。
論文 参考訳（メタデータ） (2024-10-10T19:14:55Z) - Enhanced document retrieval with topic embeddings [0.0]
文書検索システムは、検索強化世代(RAG)の出現にともなって、再活性化された関心を経験してきた。
RAGアーキテクチャはLLMのみのアプリケーションよりも幻覚率が低い。
我々は文書の話題情報を考慮した新しいベクトル化手法を考案した。
論文 参考訳（メタデータ） (2024-08-19T22:01:45Z) - Corpus Poisoning via Approximate Greedy Gradient Descent [48.5847914481222]
本稿では,HotFlip法をベースとした高密度検索システムに対する新たな攻撃手法として,近似グレディ・グラディエント・Descentを提案する。
提案手法は,複数のデータセットと複数のレトリバーを用いて高い攻撃成功率を達成し,未知のクエリや新しいドメインに一般化可能であることを示す。
論文 参考訳（メタデータ） (2024-06-07T17:02:35Z) - CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。
本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
論文 参考訳（メタデータ） (2024-01-30T14:25:32Z) - Corrective Retrieval Augmented Generation [36.04062963574603]
Retrieval-augmented Generation (RAG) は、検索された文書の関連性に大きく依存しており、検索が失敗した場合のモデルがどのように振る舞うかについての懸念を提起する。
生成の堅牢性を改善するために,CRAG(Corrective Retrieval Augmented Generation)を提案する。
CRAGはプラグアンドプレイであり、様々なRAGベースのアプローチとシームレスに結合できる。
論文 参考訳（メタデータ） (2024-01-29T04:36:39Z) - Poisoning Retrieval Corpora by Injecting Adversarial Passages [79.14287273842878]
本稿では,悪意のあるユーザが少数の逆行を発生させるような,高密度検索システムに対する新たな攻撃を提案する。
これらの逆行路を大規模な検索コーパスに挿入すると、この攻撃はこれらのシステムを騙すのに非常に効果的であることを示す。
また、教師なしと教師なしの両方の最先端の高密度レトリバーをベンチマークし、比較する。
論文 参考訳（メタデータ） (2023-10-29T21:13:31Z) - Defense of Adversarial Ranking Attack in Text Retrieval: Benchmark and
Baseline via Detection [12.244543468021938]
本稿では,敵対的文書に対する2種類の検出タスクを提案する。
敵のランク防衛の調査を容易にするために、ベンチマークデータセットが確立されている。
いくつかの検出基準線の性能を総合的に調査する。
論文 参考訳（メタデータ） (2023-07-31T16:31:24Z) - ADC: Adversarial attacks against object Detection that evade Context
consistency checks [55.8459119462263]
文脈整合性チェックさえも、適切に構築された敵の例に対して脆弱であることを示す。
このような防御を覆す実例を生成するための適応型フレームワークを提案する。
我々の結果は、コンテキストを堅牢にモデル化し、一貫性をチェックする方法はまだ未解決の問題であることを示している。
論文 参考訳（メタデータ） (2021-10-24T00:25:09Z) - Multi-Expert Adversarial Attack Detection in Person Re-identification
Using Context Inconsistency [47.719533482898306]
本稿では,個人再識別(ReID)システムに対する悪意のある攻撃を検知するための,Multi-Expert Adversarial Detection(MEAAD)アプローチを提案する。
ReIDに対する最初の敵攻撃検出アプローチとして、MEAADは様々な敵攻撃を効果的に検出し、高いROC-AUC(97.5%以上)を達成する。
論文 参考訳（メタデータ） (2021-08-23T01:59:09Z) - Detection of Adversarial Supports in Few-shot Classifiers Using Feature
Preserving Autoencoders and Self-Similarity [89.26308254637702]
敵対的なサポートセットを強調するための検出戦略を提案する。
我々は,特徴保存型オートエンコーダフィルタリングと,この検出を行うサポートセットの自己相似性の概念を利用する。
提案手法は攻撃非依存であり, 最善の知識まで, 数発分類器の検出を探索する最初の方法である。
論文 参考訳（メタデータ） (2020-12-09T14:13:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。