論文の概要: On the Vulnerability of Applying Retrieval-Augmented Generation within Knowledge-Intensive Application Domains

• arxiv url: http://arxiv.org/abs/2409.17275v1
• Date: Thu, 12 Sep 2024 02:43:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-09-30 12:52:34.759643
• Title: On the Vulnerability of Applying Retrieval-Augmented Generation within Knowledge-Intensive Application Domains
• Title（参考訳）: 再検索型世代を内部に導入する際の脆弱性について 知識集約型アプリケーションドメイン
• Authors: Xun Xian, Ganghua Wang, Xuan Bi, Jayanth Srinivasa, Ashish Kundu, Charles Fleming, Mingyi Hong, Jie Ding
• Abstract要約: Retrieval-Augmented Generation (RAG)は、知識集約ドメインにおける大規模言語モデル(LLM)の性能向上を実証的に示している。 医学的Q&Aにおいて,RAGは普遍的な毒殺攻撃に弱いことが示唆された。 我々は、RAGの安全な使用を保証するために、新しい検出ベースの防御を開発する。
• 参考スコア（独自算出の注目度）: 34.122040172188406
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-Augmented Generation (RAG) has been empirically shown to enhance the performance of large language models (LLMs) in knowledge-intensive domains such as healthcare, finance, and legal contexts. Given a query, RAG retrieves relevant documents from a corpus and integrates them into the LLMs' generation process. In this study, we investigate the adversarial robustness of RAG, focusing specifically on examining the retrieval system. First, across 225 different setup combinations of corpus, retriever, query, and targeted information, we show that retrieval systems are vulnerable to universal poisoning attacks in medical Q\&A. In such attacks, adversaries generate poisoned documents containing a broad spectrum of targeted information, such as personally identifiable information. When these poisoned documents are inserted into a corpus, they can be accurately retrieved by any users, as long as attacker-specified queries are used. To understand this vulnerability, we discovered that the deviation from the query's embedding to that of the poisoned document tends to follow a pattern in which the high similarity between the poisoned document and the query is retained, thereby enabling precise retrieval. Based on these findings, we develop a new detection-based defense to ensure the safe use of RAG. Through extensive experiments spanning various Q\&A domains, we observed that our proposed method consistently achieves excellent detection rates in nearly all cases.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG)は、医療、金融、法的文脈といった知識集約的な領域において、大規模言語モデル(LLM)の性能を高めるために実証的に示されている。 クエリが与えられたら、RAGはコーパスから関連文書を取得し、それらをLLMの生成プロセスに統合する。 本研究では,RAGの対角的ロバスト性について検討し,検索システムの検討に焦点をあてた。 まず, コーパス, 検索, クエリ, ターゲット情報の組み合わせを225種類に分けて, 医療用Q\&Aにおける普遍的な毒殺攻撃に対して, 検索システムが脆弱であることを示す。 このような攻撃では、敵は個人が特定できる情報など、標的とする幅広い情報を含む有毒な文書を生成する。 これらの有毒な文書をコーパスに挿入すると、攻撃者が特定したクエリを使用する限り、どのユーザでも正確に検索することができる。 この脆弱性を理解するために, クエリの埋め込みから有毒文書へのずれは, 有毒文書と有毒文書との高い類似性が保たれるパターンに従う傾向にあり, 正確な検索を可能にすることを発見した。 これらの知見に基づいて,RAGの安全性を確保するために,新たな検出ベースの防御法を開発した。 様々なQ\&A領域にまたがる広範囲な実験を通して,提案手法がほぼ全てのケースにおいて常に優れた検出率を達成できることを示した。

関連論文リスト

• Benchmarking Knowledge-Extraction Attack and Defense on Retrieval-Augmented Generation [50.87199039334856]
  Retrieval-Augmented Generation (RAG) は知識集約型アプリケーションの基礎となっている。 近年の研究では、悪意あるクエリによって知識抽出攻撃が機密知識ベースコンテンツを回復できることが示されている。 本稿では,RAGシステムに対する知識抽出攻撃のための最初の体系的ベンチマークを紹介する。
  論文  参考訳（メタデータ） (2026-02-10T01:27:46Z)
• Query Decomposition for RAG: Balancing Exploration-Exploitation [83.79639293409802]
  RAGシステムは複雑なユーザ要求に対処し、それらをサブクエリに分解し、それぞれに関連する可能性のあるドキュメントを取得し、それを集約して回答を生成する。 クエリの分解とドキュメントの検索をエクスプロレーション探索設定で定式化し、一度に1つのドキュメントを検索すると、与えられたサブクエリの有用性についての信念が構築される。 我々の主な発見は、ランク情報と人的判断を用いた文書関連性の推定により、文書レベルの精度が35%向上し、α-nDCGが15%向上し、長文生成の下流タスクの性能が向上するということである。
  論文  参考訳（メタデータ） (2025-10-21T13:37:11Z)
• Who Stole Your Data? A Method for Detecting Unauthorized RAG Theft [16.826893547339548]
  本稿では,RAGプラジャリズム検出に特化して設計された新しいデータセットであるRADを紹介する。 セマンティックレベルと語彙レベルの両方で保護を埋め込んだ二重層透かしシステムを開発した。 この研究は、検索強化AIシステムにおける知的財産権保護の基盤となる枠組みを確立する。
  論文  参考訳（メタデータ） (2025-10-09T03:09:18Z)
• Towards Reliable Retrieval in RAG Systems for Large Legal Datasets [6.376251215279889]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)における幻覚を緩和するための有望なアプローチである これは、構造的に類似したドキュメントの大規模なデータベースが、しばしば検索システムに障害を引き起こす、法的領域において特に困難である。 文書レベルの合成要約で各テキストチャンクを拡大する,単純で効率的な手法について検討する。 我々の研究は、この実用的でスケーラブルで、容易に統合可能な手法が、大規模法的文書データセットに適用した場合、RAGシステムの信頼性を高める証拠を提供する。
  論文  参考訳（メタデータ） (2025-10-08T13:22:20Z)
• ReliabilityRAG: Effective and Provably Robust Defense for RAG-based Web-Search [69.60882125603133]
  本稿では,検索した文書の信頼性情報を明確に活用する,敵対的堅牢性のためのフレームワークであるReliabilityRAGを提案する。 我々の研究は、RAGの回収されたコーパスの腐敗に対するより効果的で確実に堅牢な防御に向けた重要な一歩である。
  論文  参考訳（メタデータ） (2025-09-27T22:36:42Z)
• DATABench: Evaluating Dataset Auditing in Deep Learning from an Adversarial Perspective [59.66984417026933]
  内的特徴(IF)と外的特徴(EF)(監査のための技術導入)に依存した既存手法の分類を新たに導入する。 回避攻撃(evasion attack)は、データセットの使用を隠蔽するために設計されたもので、偽造攻撃(forgery attack)は、未使用のデータセットを誤って含んでいることを意図している。 さらに,既存手法の理解と攻撃目標に基づいて,回避のための分離・除去・検出,偽造の逆例に基づく攻撃方法など,系統的な攻撃戦略を提案する。 私たちのベンチマークであるData dataBenchは、17の回避攻撃、5の偽攻撃、9の攻撃で構成されています。
  論文  参考訳（メタデータ） (2025-07-08T03:07:15Z)
• Controlled Retrieval-augmented Context Evaluation for Long-form RAG [58.14561461943611]
  Retrieval-augmented Generation (RAG)は、外部知識ソースから取得したコンテキストを組み込むことで、大規模言語モデルを強化する。 我々は、レポート生成のような長期RAGタスクにおいて、包括的な検索強化コンテキストを提供することが重要であると論じる。 本稿では,検索拡張コンテキストを直接評価するフレームワークであるCRUXを紹介する。
  論文  参考訳（メタデータ） (2025-06-24T23:17:48Z)
• Traceback of Poisoning Attacks to Retrieval-Augmented Generation [10.19539347377776]
  研究によると、RAGの毒殺攻撃に対する感受性が明らかとなり、攻撃者は知識データベースに有毒なテキストを注入した。 既存の防衛は、主に推論時間の緩和に焦点を当てており、高度な攻撃に対して不十分であることが証明されている。 本稿では,RAGの最初のトレースバックシステムであるRAGForensicsを紹介し,攻撃に責任を持つ知識データベース内の有毒テキストを識別する。
  論文  参考訳（メタデータ） (2025-04-30T14:10:02Z)
• The RAG Paradox: A Black-Box Attack Exploiting Unintentional Vulnerabilities in Retrieval-Augmented Generation Systems [8.347617177093056]
  RAGパラドックスに基づく現実的なブラックボックス攻撃を導入する。 文書検索性の改善に重点を置く以前の作業とは異なり,攻撃手法は検索可能性とユーザ信頼の両方を明示的に考慮している。 本手法は, 内部アクセスのないシステム性能を著しく低下させるとともに, 自然に見える有毒な文書を生成する。
  論文  参考訳（メタデータ） (2025-02-28T12:32:53Z)
• Towards Copyright Protection for Knowledge Bases of Retrieval-augmented Language Models via Ownership Verification with Reasoning [58.57194301645823]
  大規模言語モデル (LLM) は、検索強化生成機構 (RAG) を通じて現実のアプリケーションに統合されつつある。 これらの知識基盤を保護するための透かし技術として一般化できる既存の方法は、通常、中毒攻撃を伴う。 我々は、無害な」知識基盤の著作権保護の名称を提案する。
  論文  参考訳（メタデータ） (2025-02-10T09:15:56Z)
• Illusions of Relevance: Using Content Injection Attacks to Deceive Retrievers, Rerankers, and LLM Judges [52.96987928118327]
  検索,リランカー,大型言語モデル(LLM)の埋め込みモデルは,コンテンツインジェクション攻撃に対して脆弱であることがわかった。 主な脅威は,(1) 意味不明な内容や有害な内容の挿入,(2) 関連性を高めるために,問合せ全体あるいはキークエリ用語の挿入,の2つである。 本研究は, 注射内容の配置や関連物質と非関連物質とのバランスなど, 攻撃の成功に影響を与える要因を系統的に検討した。
  論文  参考訳（メタデータ） (2025-01-30T18:02:15Z)
• Document Screenshot Retrievers are Vulnerable to Pixel Poisoning Attacks [72.4498910775871]
  ヴィジュアル言語モデル(VLM)ベースのレトリバーは、ベクターとして埋め込まれた文書のスクリーンショットを活用して、効率的な検索を可能にし、従来のテキストのみの手法よりも単純化されたパイプラインを提供する。 本研究では,VLMをベースとしたレトリバーを危険にさらすために,3つのピクセル中毒攻撃手法を提案する。
  論文  参考訳（メタデータ） (2025-01-28T12:40:37Z)
• TrustRAG: Enhancing Robustness and Trustworthiness in RAG [31.231916859341865]
  TrustRAGは、世代ごとに取得される前に、妥協されたコンテンツと無関係なコンテンツを体系的にフィルタリングするフレームワークである。 TrustRAGは、既存のアプローチと比較して、検索精度、効率、攻撃抵抗を大幅に改善している。
  論文  参考訳（メタデータ） (2025-01-01T15:57:34Z)
• Do You Know What You Are Talking About? Characterizing Query-Knowledge Relevance For Reliable Retrieval Augmented Generation [19.543102037001134]
  言語モデル(LM)は幻覚や誤報に悩まされていることが知られている。 外部知識コーパスから検証可能な情報を検索する検索拡張生成(RAG)は、これらの問題に対する具体的な解決策を提供する。 RAG生成品質は、ユーザのクエリと検索したドキュメントの関連性に大きく依存する。
  論文  参考訳（メタデータ） (2024-10-10T19:14:55Z)
• Enhanced document retrieval with topic embeddings [0.0]
  文書検索システムは、検索強化世代(RAG)の出現にともなって、再活性化された関心を経験してきた。 RAGアーキテクチャはLLMのみのアプリケーションよりも幻覚率が低い。 我々は文書の話題情報を考慮した新しいベクトル化手法を考案した。
  論文  参考訳（メタデータ） (2024-08-19T22:01:45Z)
• Corpus Poisoning via Approximate Greedy Gradient Descent [48.5847914481222]
  本稿では,HotFlip法をベースとした高密度検索システムに対する新たな攻撃手法として,近似グレディ・グラディエント・Descentを提案する。 提案手法は,複数のデータセットと複数のレトリバーを用いて高い攻撃成功率を達成し,未知のクエリや新しいドメインに一般化可能であることを示す。
  論文  参考訳（メタデータ） (2024-06-07T17:02:35Z)
• CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。 本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
  論文  参考訳（メタデータ） (2024-01-30T14:25:32Z)
• Corrective Retrieval Augmented Generation [36.04062963574603]
  Retrieval-augmented Generation (RAG) は、検索された文書の関連性に大きく依存しており、検索が失敗した場合のモデルがどのように振る舞うかについての懸念を提起する。 生成の堅牢性を改善するために,CRAG(Corrective Retrieval Augmented Generation)を提案する。 CRAGはプラグアンドプレイであり、様々なRAGベースのアプローチとシームレスに結合できる。
  論文  参考訳（メタデータ） (2024-01-29T04:36:39Z)
• Poisoning Retrieval Corpora by Injecting Adversarial Passages [79.14287273842878]
  本稿では,悪意のあるユーザが少数の逆行を発生させるような,高密度検索システムに対する新たな攻撃を提案する。 これらの逆行路を大規模な検索コーパスに挿入すると、この攻撃はこれらのシステムを騙すのに非常に効果的であることを示す。 また、教師なしと教師なしの両方の最先端の高密度レトリバーをベンチマークし、比較する。
  論文  参考訳（メタデータ） (2023-10-29T21:13:31Z)
• Defense of Adversarial Ranking Attack in Text Retrieval: Benchmark and Baseline via Detection [12.244543468021938]
  本稿では,敵対的文書に対する2種類の検出タスクを提案する。 敵のランク防衛の調査を容易にするために、ベンチマークデータセットが確立されている。 いくつかの検出基準線の性能を総合的に調査する。
  論文  参考訳（メタデータ） (2023-07-31T16:31:24Z)
• ADC: Adversarial attacks against object Detection that evade Context consistency checks [55.8459119462263]
  文脈整合性チェックさえも、適切に構築された敵の例に対して脆弱であることを示す。 このような防御を覆す実例を生成するための適応型フレームワークを提案する。 我々の結果は、コンテキストを堅牢にモデル化し、一貫性をチェックする方法はまだ未解決の問題であることを示している。
  論文  参考訳（メタデータ） (2021-10-24T00:25:09Z)
• Multi-Expert Adversarial Attack Detection in Person Re-identification Using Context Inconsistency [47.719533482898306]
  本稿では,個人再識別(ReID)システムに対する悪意のある攻撃を検知するための,Multi-Expert Adversarial Detection(MEAAD)アプローチを提案する。 ReIDに対する最初の敵攻撃検出アプローチとして、MEAADは様々な敵攻撃を効果的に検出し、高いROC-AUC(97.5%以上)を達成する。
  論文  参考訳（メタデータ） (2021-08-23T01:59:09Z)
• Detection of Adversarial Supports in Few-shot Classifiers Using Feature Preserving Autoencoders and Self-Similarity [89.26308254637702]
  敵対的なサポートセットを強調するための検出戦略を提案する。 我々は,特徴保存型オートエンコーダフィルタリングと,この検出を行うサポートセットの自己相似性の概念を利用する。 提案手法は攻撃非依存であり, 最善の知識まで, 数発分類器の検出を探索する最初の方法である。
  論文  参考訳（メタデータ） (2020-12-09T14:13:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。