Fugu-MT 論文翻訳(概要): Riddle Me This! Stealthy Membership Inference for Retrieval-Augmented Generation

論文の概要: Riddle Me This! Stealthy Membership Inference for Retrieval-Augmented Generation

arxiv url: http://arxiv.org/abs/2502.00306v1
Date: Sat, 01 Feb 2025 04:01:18 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-05 15:06:29.903195
Title: Riddle Me This! Stealthy Membership Inference for Retrieval-Augmented Generation
Title（参考訳）: Riddle Me This! Retrieval-Augmented GenerationのためのStealthy Membership Inference
Authors: Ali Naseh, Yuefeng Peng, Anshuman Suri, Harsh Chaudhari, Alina Oprea, Amir Houmansadr,
Abstract要約: 本稿では,RAGデータストア内の文書を対象としたメンバシップ推論手法であるInterrogation Attack (IA)を提案する。ステルス性を維持しながら、たった30クエリで推論に成功したことを実証します。我々は,様々なRAG構成に対する事前推論攻撃に対して,TPR@1%FPRの2倍の改善が観察された。
参考スコア（独自算出の注目度）: 18.098228823748617
License:
Abstract: Retrieval-Augmented Generation (RAG) enables Large Language Models (LLMs) to generate grounded responses by leveraging external knowledge databases without altering model parameters. Although the absence of weight tuning prevents leakage via model parameters, it introduces the risk of inference adversaries exploiting retrieved documents in the model's context. Existing methods for membership inference and data extraction often rely on jailbreaking or carefully crafted unnatural queries, which can be easily detected or thwarted with query rewriting techniques common in RAG systems. In this work, we present Interrogation Attack (IA), a membership inference technique targeting documents in the RAG datastore. By crafting natural-text queries that are answerable only with the target document's presence, our approach demonstrates successful inference with just 30 queries while remaining stealthy; straightforward detectors identify adversarial prompts from existing methods up to ~76x more frequently than those generated by our attack. We observe a 2x improvement in TPR@1%FPR over prior inference attacks across diverse RAG configurations, all while costing less than $0.02 per document inference.
Abstract（参考訳）: Retrieval-Augmented Generation (RAG) により、Large Language Models (LLMs) は、モデルパラメータを変更することなく、外部知識データベースを活用することにより、基礎的な応答を生成することができる。重み調整の欠如は、モデルパラメータによる漏洩を防ぐが、モデルコンテキストにおける検索された文書を悪用する推論敵のリスクを生じさせる。既存のメンバーシップ推論とデータ抽出の方法は、しばしばジェイルブレイクや慎重に作られた不自然なクエリに依存しており、RAGシステムで一般的なクエリ書き換え技術で容易に検出または妨害することができる。本稿では,RAGデータストア内の文書を対象としたメンバシップ推論手法であるIA(Interrogation Attack)を提案する。提案手法は,対象文書の存在下でのみ応答可能な自然言語クエリを作成することで,ステルス処理を継続しながら,30クエリの推測に成功したことを実証する。 TPR@1%FPRの2倍の改善が、様々なRAG構成をまたいだ事前推論攻撃よりも見受けられ、ドキュメントの推測に0.02ドル未満のコストがかかる。

関連論文リスト

ScopeQA: A Framework for Generating Out-of-Scope Questions for RAG [52.33835101586687]
会話AIエージェントはRetrieval Augmented Generation(RAG)を使用して、ユーザからの問い合わせに対して検証可能なドキュメント地上応答を提供する。本稿では,多様な境界線外質問を効率よく生成する,ガイド付き幻覚に基づく新しい手法を提案する。
論文参考訳（メタデータ） (2024-10-18T16:11:29Z)
On the Vulnerability of Applying Retrieval-Augmented Generation within Knowledge-Intensive Application Domains [34.122040172188406]
Retrieval-Augmented Generation (RAG)は、知識集約ドメインにおける大規模言語モデル(LLM)の性能向上を実証的に示している。医学的Q&Aにおいて,RAGは普遍的な毒殺攻撃に弱いことが示唆された。我々は、RAGの安全な使用を保証するために、新しい検出ベースの防御を開発する。
論文参考訳（メタデータ） (2024-09-12T02:43:40Z)
Rag and Roll: An End-to-End Evaluation of Indirect Prompt Manipulations in LLM-based Application Frameworks [12.061098193438022]
Retrieval Augmented Generation (RAG) は、分散知識を欠くモデルによく用いられる手法である。本稿では,RAGシステムのエンドツーエンドの間接的なプロンプト操作に対する安全性について検討する。
論文参考訳（メタデータ） (2024-08-09T12:26:05Z)
SparseCL: Sparse Contrastive Learning for Contradiction Retrieval [87.02936971689817]
コントラディション検索(Contradiction Search)とは、クエリの内容に明示的に異を唱える文書を識別し、抽出することである。類似性探索やクロスエンコーダモデルといった既存の手法には、大きな制限がある。文間の微妙で矛盾したニュアンスを保存するために特別に訓練された文埋め込みを利用するSparseCLを導入する。
論文参考訳（メタデータ） (2024-06-15T21:57:03Z)
BadRAG: Identifying Vulnerabilities in Retrieval Augmented Generation of Large Language Models [18.107026036897132]
大規模言語モデル(LLM)は時代遅れの情報と誤ったデータを生成する傾向によって制約される。 Retrieval-Augmented Generation (RAG) は、検索手法の強みと生成モデルを組み合わせることで、これらの制限に対処する。 RAG は LLM に対する新たな攻撃面を導入している。特に RAG データベースは Web などの公開データからしばしば引き出されるためである。
論文参考訳（メタデータ） (2024-06-03T02:25:33Z)
CONFLARE: CONFormal LArge language model REtrieval [0.0]
Retrieval-augmented Generation (RAG)フレームワークは、大規模言語モデル(LLM)が知識ベースから関連する情報を検索し、応答を生成するコンテキストに組み込むことを可能にする。 RAGは、検索が必要な情報を応答生成のコンテキストとして識別できない場合、有効な応答を保証しない。本稿では,RAGフレームワークにおける検索不確実性を定量化するために,共形予測を適用するための4段階のフレームワークを提案する。
論文参考訳（メタデータ） (2024-04-04T02:58:21Z)
Corrective Retrieval Augmented Generation [36.04062963574603]
Retrieval-augmented Generation (RAG) は、検索された文書の関連性に大きく依存しており、検索が失敗した場合のモデルがどのように振る舞うかについての懸念を提起する。生成の堅牢性を改善するために,CRAG(Corrective Retrieval Augmented Generation)を提案する。 CRAGはプラグアンドプレイであり、様々なRAGベースのアプローチとシームレスに結合できる。
論文参考訳（メタデータ） (2024-01-29T04:36:39Z)
HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
論文参考訳（メタデータ） (2023-09-27T14:44:10Z)
Elastic Weight Removal for Faithful and Abstractive Dialogue Generation [61.40951756070646]
対話システムは、関連する文書に含まれる知識に忠実な応答を生成するべきである。多くのモデルは、それと矛盾したり、検証不可能な情報を含んでいる代わりに幻覚応答を生成する。本手法は,幻覚と抽出反応を同時に阻止するために拡張できることが示唆された。
論文参考訳（メタデータ） (2023-03-30T17:40:30Z)
Generate rather than Retrieve: Large Language Models are Strong Context Generators [74.87021992611672]
本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
論文参考訳（メタデータ） (2022-09-21T01:30:59Z)
Generation-Augmented Retrieval for Open-domain Question Answering [134.27768711201202]
GAR(Generation-Augmented Retrieval)は、オープンドメインの質問に答える機能である。クエリーに対して多様なコンテキストを生成することは、結果の融合が常により良い検索精度をもたらすので有益であることを示す。 GARは、抽出読取装置を備えた場合、抽出QA設定の下で、自然質問およびトリビアQAデータセットの最先端性能を達成する。
論文参考訳（メタデータ） (2020-09-17T23:08:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。