Fugu-MT 論文翻訳(概要): Is My Data in Your Retrieval Database? Membership Inference Attacks Against Retrieval Augmented Generation

論文の概要: Is My Data in Your Retrieval Database? Membership Inference Attacks Against Retrieval Augmented Generation

arxiv url: http://arxiv.org/abs/2405.20446v2
Date: Fri, 7 Jun 2024 09:39:39 GMT
ステータス: 処理完了
システム内更新日: 2024-06-10 18:58:44.769598
Title: Is My Data in Your Retrieval Database? Membership Inference Attacks Against Retrieval Augmented Generation
Title（参考訳）: 私のデータは検索データベースにあるか? : 検索世代に対する会員推測攻撃
Authors: Maya Anderson, Guy Amit, Abigail Goldsteen,
Abstract要約: 本稿では,RAGシステムに対して,メンバーシップ推論攻撃(MIA)を行うための効率的かつ使いやすい手法を提案する。 2つのベンチマークデータセットと複数の生成モデルを用いて攻撃の有効性を示す。本研究は,RAGシステムにおけるセキュリティ対策の実施の重要性を浮き彫りにした。
参考スコア（独自算出の注目度）: 0.9217021281095907
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Retrieval Augmented Generation (RAG) systems have shown great promise in natural language processing. However, their reliance on data stored in a retrieval database, which may contain proprietary or sensitive information, introduces new privacy concerns. Specifically, an attacker may be able to infer whether a certain text passage appears in the retrieval database by observing the outputs of the RAG system, an attack known as a Membership Inference Attack (MIA). Despite the significance of this threat, MIAs against RAG systems have yet remained under-explored. This study addresses this gap by introducing an efficient and easy-to-use method for conducting MIA against RAG systems. We demonstrate the effectiveness of our attack using two benchmark datasets and multiple generative models, showing that the membership of a document in the retrieval database can be efficiently determined through the creation of an appropriate prompt in both black-box and gray-box settings. Moreover, we introduce an initial defense strategy based on adding instructions to the RAG template, which shows high effectiveness for some datasets and models. Our findings highlight the importance of implementing security countermeasures in deployed RAG systems and developing more advanced defenses to protect the privacy and security of retrieval databases.
Abstract（参考訳）: Retrieval Augmented Generation (RAG) システムは自然言語処理において大きな可能性を秘めている。しかし、プロプライエタリまたはセンシティブな情報を含む検索データベースに格納されたデータへの依存は、新たなプライバシー上の懸念をもたらす。具体的には、攻撃者は、RAGシステムの出力を観察して、あるテキストパスが検索データベースに現れるかどうかを推測することができる。この脅威の重要性にもかかわらず、RAGシステムに対するMIAはまだ未調査のままである。本研究では、RAGシステムに対してMIAを実行するための効率的で使いやすい手法を導入することにより、このギャップを解消する。 2つのベンチマークデータセットと複数の生成モデルを用いて攻撃の有効性を実証し、ブラックボックスとグレーボックスの両方の設定において適切なプロンプトを作成することによって、検索データベース内の文書のメンバシップを効率的に決定できることを示した。さらに,RAGテンプレートに命令を追加することで,いくつかのデータセットやモデルに対して高い有効性を示す初期防衛戦略を導入する。本研究は,RAGシステムにおけるセキュリティ対策の実施の重要性と,検索データベースのプライバシとセキュリティを保護するために,より高度な防御を開発することの重要性を強調した。

関連論文リスト

HijackRAG: Hijacking Attacks against Retrieval-Augmented Large Language Models [18.301965456681764]
我々は、新しい脆弱性、検索プロンプトハイジャック攻撃(HijackRAG)を明らかにする。 HijackRAGは、悪意のあるテキストを知識データベースに注入することで、攻撃者がRAGシステムの検索機構を操作できるようにする。攻撃者の知識の異なるレベルに合わせたブラックボックスとホワイトボックスの攻撃戦略を提案する。
論文参考訳（メタデータ） (2024-10-30T09:15:51Z)
Mask-based Membership Inference Attacks for Retrieval-Augmented Generation [25.516648802281626]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)における幻覚を緩和するための効果的なアプローチである。近年,LLMトレーニングに使用せず,RAGナレッジデータベースに最新のデータや著作権データを格納する傾向にある。このプラクティスは、特定のターゲットドキュメントがRAGシステムのナレッジデータベースに格納されているかどうかを検出することを目的とした、メンバーシップ推論攻撃(MIAs)に対する懸念を提起している。
論文参考訳（メタデータ） (2024-10-26T10:43:39Z)
Rag and Roll: An End-to-End Evaluation of Indirect Prompt Manipulations in LLM-based Application Frameworks [12.061098193438022]
Retrieval Augmented Generation (RAG) は、分散知識を欠くモデルによく用いられる手法である。本稿では,RAGシステムのエンドツーエンドの間接的なプロンプト操作に対する安全性について検討する。
論文参考訳（メタデータ） (2024-08-09T12:26:05Z)
Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
テキストの匿名化は、プライバシーを維持しながら機密データを共有するために重要である。既存の技術は、大規模言語モデルの再識別攻撃能力の新たな課題に直面している。本稿では,3つのLCMベースコンポーネント – プライバシ評価器,ユーティリティ評価器,最適化コンポーネント – で構成されるフレームワークを提案する。
論文参考訳（メタデータ） (2024-07-16T14:28:56Z)
Generating Is Believing: Membership Inference Attacks against Retrieval-Augmented Generation [9.73190366574692]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)における幻覚や知識の安定化といった問題を緩和する手法である。既存の研究では、RAGのLCMに関連する潜在的なプライバシーリスクが示されている。 S$2$MIA, underlineMembership underlineInference underlineAttack, which uses the underlineSemantic underlineSimilarity between a given sample and the content generated by the RAG system。
論文参考訳（メタデータ） (2024-06-27T14:58:38Z)
"Glue pizza and eat rocks" -- Exploiting Vulnerabilities in Retrieval-Augmented Generative Models [74.05368440735468]
Retrieval-Augmented Generative (RAG)モデルにより大規模言語モデル(LLM)が強化される本稿では,これらの知識基盤の開放性を敵が活用できるセキュリティ上の脅威を示す。
論文参考訳（メタデータ） (2024-06-26T05:36:23Z)
Corpus Poisoning via Approximate Greedy Gradient Descent [48.5847914481222]
本稿では,HotFlip法をベースとした高密度検索システムに対する新たな攻撃手法として,近似グレディ・グラディエント・Descentを提案する。提案手法は,複数のデータセットと複数のレトリバーを用いて高い攻撃成功率を達成し,未知のクエリや新しいドメインに一般化可能であることを示す。
論文参考訳（メタデータ） (2024-06-07T17:02:35Z)
Certifiably Robust RAG against Retrieval Corruption [58.677292678310934]
Retrieval-augmented Generation (RAG) は、回復汚職攻撃に弱いことが示されている。本稿では,ロバストRAGを検索汚職攻撃に対する最初の防御フレームワークとして提案する。
論文参考訳（メタデータ） (2024-05-24T13:44:25Z)
The Good and The Bad: Exploring Privacy Issues in Retrieval-Augmented Generation (RAG) [56.67603627046346]
Retrieval-augmented Generation (RAG)は、プロプライエタリおよびプライベートデータによる言語モデルを容易にする強力な技術である。本研究では,プライベート検索データベースの漏洩に対するRAGシステムの脆弱性を実証する,新たな攻撃手法による実証的研究を行う。
論文参考訳（メタデータ） (2024-02-23T18:35:15Z)
Model Stealing Attack against Recommender System [85.1927483219819]
いくつかの敵攻撃は、レコメンデーターシステムに対するモデル盗難攻撃を成し遂げた。本稿では、利用可能なターゲットデータとクエリの量を制限し、対象データとセットされたアイテムを共有する補助データを活用して、モデル盗難攻撃を促進する。
論文参考訳（メタデータ） (2023-12-18T05:28:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。