論文の概要: RAG with Differential Privacy
- arxiv url: http://arxiv.org/abs/2412.19291v2
- Date: Wed, 22 Jan 2025 14:50:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-23 16:42:35.525004
- Title: RAG with Differential Privacy
- Title(参考訳): 微分プライバシーを備えたRAG
- Authors: Nicolas Grislain,
- Abstract要約: Retrieval-Augmented Generation (RAG) は、新鮮で関連するコンテキストを持つ大規模言語モデルを提供する主要な技術として登場した。
外部文書を生成プロセスに統合することは、重大なプライバシー上の懸念を引き起こす。
本稿では,個人データから一般知識を抽出する手法を提案する。
- 参考スコア(独自算出の注目度): 3.009591302286514
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval-Augmented Generation (RAG) has emerged as the dominant technique to provide \emph{Large Language Models} (LLM) with fresh and relevant context, mitigating the risk of hallucinations and improving the overall quality of responses in environments with large and fast moving knowledge bases. However, the integration of external documents into the generation process raises significant privacy concerns. Indeed, when added to a prompt, it is not possible to guarantee a response will not inadvertently expose confidential data, leading to potential breaches of privacy and ethical dilemmas. This paper explores a practical solution to this problem suitable to general knowledge extraction from personal data. It shows \emph{differentially private token generation} is a viable approach to private RAG.
- Abstract(参考訳): Retrieval-Augmented Generation (RAG) は、新鮮で関連する文脈で 'emph{Large Language Models} (LLM) を提供する主要な技術として登場し、幻覚のリスクを軽減し、大規模かつ高速に動く知識ベースを持つ環境における応答の全体的な品質を改善する。
しかし、外部文書を生成プロセスに統合することは、重大なプライバシー上の懸念を引き起こす。
実際、プロンプトに追加されると、応答が故意に機密データを公開しないことを保証できないため、プライバシーと倫理上のジレンマが潜在的に侵害される可能性がある。
本稿では,個人データから一般知識を抽出する手法を提案する。
これは、'emph{differentially private token generation} がプライベートRAGに対する実行可能なアプローチであることを示している。
関連論文リスト
- A False Sense of Privacy: Evaluating Textual Data Sanitization Beyond Surface-level Privacy Leakage [77.83757117924995]
我々は、データリリース時の個人のプライバシーリスクを定量化するために、再識別攻撃を評価する新しいフレームワークを提案する。
本手法は, 衛生データから年齢や物質使用履歴などのセンシティブな属性を推測するために, 一見無害な補助情報を利用できることを示す。
論文 参考訳(メタデータ) (2025-04-28T01:16:27Z) - Privacy-Preserving Federated Embedding Learning for Localized Retrieval-Augmented Generation [60.81109086640437]
我々はFedE4RAG(Federated Retrieval-Augmented Generation)と呼ばれる新しいフレームワークを提案する。
FedE4RAGはクライアント側RAG検索モデルの協調トレーニングを容易にする。
モデルパラメータの保護にフェデレート学習の準同型暗号化を適用する。
論文 参考訳(メタデータ) (2025-04-27T04:26:02Z) - Learning to Erase Private Knowledge from Multi-Documents for Retrieval-Augmented Large Language Models [30.143809176910185]
本稿では、検索型拡張世代(RAG)のプライバシ消去タスクを紹介する。
我々はまず、匿名化攻撃に対する防御を目的として、文書間の潜在的な知識を特定するために、グローバルな知識グラフを構築した。
4つのQAデータセットに対する実験により、Eraser4RAGはGPT-4oよりも優れた消去性能を示した。
論文 参考訳(メタデータ) (2025-04-14T06:10:31Z) - Privacy-Preserving Retrieval Augmented Generation with Differential Privacy [25.896416088293908]
検索拡張生成(RAG)は、外部知識ソースから直接関連する情報を提供することで、大規模言語モデル(LLM)を支援する。
RAGは、外部データソースから機密情報を漏洩するリスクを出力する。
本研究では、データプライバシの正式な保証である差分プライバシ(DP)の下でRAGを探索する。
論文 参考訳(メタデータ) (2024-12-06T01:20:16Z) - RAG-Thief: Scalable Extraction of Private Data from Retrieval-Augmented Generation Applications with Agent-based Attacks [18.576435409729655]
本稿では,RAG-Thiefと呼ばれるエージェントベースの自動プライバシ攻撃を提案する。
RAGアプリケーションで使用されるプライベートデータベースから、スケーラブルな量のプライベートデータを抽出することができる。
我々の発見は、現在のRAGアプリケーションにおけるプライバシー上の脆弱性を強調し、より強力な保護の必要性を強調します。
論文 参考訳(メタデータ) (2024-11-21T13:18:03Z) - PrivacyLens: Evaluating Privacy Norm Awareness of Language Models in Action [54.11479432110771]
PrivacyLensは、プライバシに敏感な種子を表現的なヴィグネットに拡張し、さらにエージェントの軌跡に拡張するために設計された新しいフレームワークである。
プライバシの文献とクラウドソーシングされたシードに基づいて、プライバシの規範のコレクションをインスタンス化する。
GPT-4やLlama-3-70Bのような最先端のLMは、プライバシー強化の指示が出されたとしても、機密情報を25.68%、38.69%のケースでリークしている。
論文 参考訳(メタデータ) (2024-08-29T17:58:38Z) - Mitigating the Privacy Issues in Retrieval-Augmented Generation (RAG) via Pure Synthetic Data [51.41288763521186]
Retrieval-augmented Generation (RAG)は、外部知識ソースから取得した関連情報を統合することにより、言語モデルの出力を強化する。
RAGシステムは、プライベートデータを取得する際に深刻なプライバシーリスクに直面する可能性がある。
検索データに対するプライバシー保護の代替として,合成データを用いる方法を提案する。
論文 参考訳(メタデータ) (2024-06-20T22:53:09Z) - The Good and The Bad: Exploring Privacy Issues in Retrieval-Augmented
Generation (RAG) [56.67603627046346]
Retrieval-augmented Generation (RAG)は、プロプライエタリおよびプライベートデータによる言語モデルを容易にする強力な技術である。
本研究では,プライベート検索データベースの漏洩に対するRAGシステムの脆弱性を実証する,新たな攻撃手法による実証的研究を行う。
論文 参考訳(メタデータ) (2024-02-23T18:35:15Z) - InferDPT: Privacy-Preserving Inference for Black-box Large Language Model [66.07752875835506]
InferDPTは、ブラックボックスLSMのプライバシ保護推論のための最初の実用的なフレームワークである。
RANTEXTはInferDPTの摂動モジュールに組み込まれた新しい微分プライバシー機構である。
論文 参考訳(メタデータ) (2023-10-18T18:00:11Z) - A Unified View of Differentially Private Deep Generative Modeling [60.72161965018005]
プライバシー上の懸念のあるデータには、データアクセスとデータ共有を頻繁に禁止する厳格な規制が伴う。
これらの障害を克服することは、プライバシーに敏感なデータを含む多くの現実世界のアプリケーションシナリオにおいて、技術的進歩の鍵となる。
差分的プライベート(DP)データパブリッシングは、データの衛生化された形式のみを公開する、魅力的なソリューションを提供する。
論文 参考訳(メタデータ) (2023-09-27T14:38:16Z) - How Do Input Attributes Impact the Privacy Loss in Differential Privacy? [55.492422758737575]
DPニューラルネットワークにおけるオブジェクトごとの規範と個人のプライバシ損失との関係について検討する。
プライバシ・ロス・インプット・サセプティビリティ(PLIS)と呼ばれる新しい指標を導入し、被験者のプライバシ・ロスを入力属性に適応させることを可能にした。
論文 参考訳(メタデータ) (2022-11-18T11:39:03Z) - Privacy-Preserving Distributed Expectation Maximization for Gaussian
Mixture Model using Subspace Perturbation [4.2698418800007865]
フェデレーション学習は、プライベートデータの送信を許可せず、中間更新のみを許可するため、プライバシー上の懸念によって動機付けられている。
我々は、各ステップの更新を安全に計算できる、完全に分散化されたプライバシ保存ソリューションを提案する。
数値検証により,提案手法は,精度とプライバシの両面において,既存手法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2022-09-16T09:58:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。