論文の概要: Is My Data in Your Retrieval Database? Membership Inference Attacks Against Retrieval Augmented Generation

• arxiv url: http://arxiv.org/abs/2405.20446v2
• Date: Fri, 7 Jun 2024 09:39:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 18:58:44.769598
• Title: Is My Data in Your Retrieval Database? Membership Inference Attacks Against Retrieval Augmented Generation
• Title（参考訳）: 私のデータは検索データベースにあるか? : 検索世代に対する会員推測攻撃
• Authors: Maya Anderson, Guy Amit, Abigail Goldsteen,
• Abstract要約: 本稿では,RAGシステムに対して,メンバーシップ推論攻撃(MIA)を行うための効率的かつ使いやすい手法を提案する。 2つのベンチマークデータセットと複数の生成モデルを用いて攻撃の有効性を示す。 本研究は,RAGシステムにおけるセキュリティ対策の実施の重要性を浮き彫りにした。
• 参考スコア（独自算出の注目度）: 0.9217021281095907
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval Augmented Generation (RAG) systems have shown great promise in natural language processing. However, their reliance on data stored in a retrieval database, which may contain proprietary or sensitive information, introduces new privacy concerns. Specifically, an attacker may be able to infer whether a certain text passage appears in the retrieval database by observing the outputs of the RAG system, an attack known as a Membership Inference Attack (MIA). Despite the significance of this threat, MIAs against RAG systems have yet remained under-explored. This study addresses this gap by introducing an efficient and easy-to-use method for conducting MIA against RAG systems. We demonstrate the effectiveness of our attack using two benchmark datasets and multiple generative models, showing that the membership of a document in the retrieval database can be efficiently determined through the creation of an appropriate prompt in both black-box and gray-box settings. Moreover, we introduce an initial defense strategy based on adding instructions to the RAG template, which shows high effectiveness for some datasets and models. Our findings highlight the importance of implementing security countermeasures in deployed RAG systems and developing more advanced defenses to protect the privacy and security of retrieval databases.
• Abstract（参考訳）: Retrieval Augmented Generation (RAG) システムは自然言語処理において大きな可能性を秘めている。 しかし、プロプライエタリまたはセンシティブな情報を含む検索データベースに格納されたデータへの依存は、新たなプライバシー上の懸念をもたらす。 具体的には、攻撃者は、RAGシステムの出力を観察して、あるテキストパスが検索データベースに現れるかどうかを推測することができる。 この脅威の重要性にもかかわらず、RAGシステムに対するMIAはまだ未調査のままである。 本研究では、RAGシステムに対してMIAを実行するための効率的で使いやすい手法を導入することにより、このギャップを解消する。 2つのベンチマークデータセットと複数の生成モデルを用いて攻撃の有効性を実証し、ブラックボックスとグレーボックスの両方の設定において適切なプロンプトを作成することによって、検索データベース内の文書のメンバシップを効率的に決定できることを示した。 さらに,RAGテンプレートに命令を追加することで,いくつかのデータセットやモデルに対して高い有効性を示す初期防衛戦略を導入する。 本研究は,RAGシステムにおけるセキュリティ対策の実施の重要性と,検索データベースのプライバシとセキュリティを保護するために,より高度な防御を開発することの重要性を強調した。

関連論文リスト

• Black-Box Opinion Manipulation Attacks to Retrieval-Augmented Generation of Large Language Models [21.01313168005792]
  我々は、意見操作のためのブラックボックス攻撃に直面した場合、検索強化生成(RAG)モデルの脆弱性を明らかにする。 このような攻撃がユーザの認知と意思決定に与える影響について検討する。
  論文  参考訳（メタデータ） (2024-07-18T17:55:55Z)
• Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
  テキストの匿名化は、プライバシーを維持しながら機密データを共有するために重要である。 既存の技術は、大規模言語モデルの再識別攻撃能力の新たな課題に直面している。 本稿では,3つのLCMベースコンポーネント – プライバシ評価器,ユーティリティ評価器,最適化コンポーネント – で構成されるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T14:28:56Z)
• Seeing Is Believing: Black-Box Membership Inference Attacks Against Retrieval Augmented Generation [9.731903665746918]
  我々は、サンプルがRAGシステムの知識データベースの一部であるかどうかを判断するために、メンバーシップ推論攻撃(MIA)を用いる。 次に、Thresholdベースのアタックと機械学習ベースのアタックという、2つの新しいアタック戦略を紹介します。 提案手法を実験的に検証した結果,ROC AUCは82%であった。
  論文  参考訳（メタデータ） (2024-06-27T14:58:38Z)
• "Glue pizza and eat rocks" -- Exploiting Vulnerabilities in Retrieval-Augmented Generative Models [74.05368440735468]
  Retrieval-Augmented Generative (RAG)モデルにより大規模言語モデル(LLM)が強化される 本稿では,これらの知識基盤の開放性を敵が活用できるセキュリティ上の脅威を示す。
  論文  参考訳（メタデータ） (2024-06-26T05:36:23Z)
• Certifiably Robust RAG against Retrieval Corruption [58.677292678310934]
  Retrieval-augmented Generation (RAG) は、回復汚職攻撃に弱いことが示されている。 本稿では,ロバストRAGを検索汚職攻撃に対する最初の防御フレームワークとして提案する。
  論文  参考訳（メタデータ） (2024-05-24T13:44:25Z)
• Defense against Joint Poison and Evasion Attacks: A Case Study of DERMS [2.632261166782093]
  IDSの第1の枠組みは, ジョイント中毒や回避攻撃に対して堅牢である。 IEEE-13バスフィードモデルにおける本手法のロバスト性を検証する。
  論文  参考訳（メタデータ） (2024-05-05T16:24:30Z)
• The Good and The Bad: Exploring Privacy Issues in Retrieval-Augmented Generation (RAG) [56.67603627046346]
  Retrieval-augmented Generation (RAG)は、プロプライエタリおよびプライベートデータによる言語モデルを容易にする強力な技術である。 本研究では,プライベート検索データベースの漏洩に対するRAGシステムの脆弱性を実証する,新たな攻撃手法による実証的研究を行う。
  論文  参考訳（メタデータ） (2024-02-23T18:35:15Z)
• Model Stealing Attack against Recommender System [85.1927483219819]
  いくつかの敵攻撃は、レコメンデーターシステムに対するモデル盗難攻撃を成し遂げた。 本稿では、利用可能なターゲットデータとクエリの量を制限し、対象データとセットされたアイテムを共有する補助データを活用して、モデル盗難攻撃を促進する。
  論文  参考訳（メタデータ） (2023-12-18T05:28:02Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。