論文の概要: Privacy-Preserving Retrieval Augmented Generation with Differential Privacy

• arxiv url: http://arxiv.org/abs/2412.04697v1
• Date: Fri, 06 Dec 2024 01:20:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:57:50.720237
• Title: Privacy-Preserving Retrieval Augmented Generation with Differential Privacy
• Title（参考訳）: 差分プライバシによるプライバシ保護検索生成
• Authors: Tatsuki Koga, Ruihan Wu, Kamalika Chaudhuri,
• Abstract要約: 検索拡張生成(RAG)は、外部知識ソースから直接関連する情報を提供することで、大規模言語モデル(LLM)を支援する。 RAGは、外部データソースから機密情報を漏洩するリスクを出力する。 本研究では、データプライバシの正式な保証である差分プライバシ(DP)の下でRAGを探索する。
• 参考スコア（独自算出の注目度）: 25.896416088293908
• License:
• Abstract: With the recent remarkable advancement of large language models (LLMs), there has been a growing interest in utilizing them in the domains with highly sensitive data that lies outside their training data. For this purpose, retrieval augmented generation (RAG) is particularly effective -- it assists LLMs by directly providing relevant information from the external knowledge sources. However, without extra privacy safeguards, RAG outputs risk leaking sensitive information from the external data source. In this work, we explore RAG under differential privacy (DP), a formal guarantee of data privacy. The main challenge with differentially private RAG is how to generate long accurate answers within a moderate privacy budget. We address this by proposing an algorithm that smartly spends privacy budget only for the tokens that require the sensitive information and uses the non-private LLM for other tokens. Our extensive empirical evaluations reveal that our algorithm outperforms the non-RAG baseline under a reasonable privacy budget of $\epsilon\approx 10$ across different models and datasets.
• Abstract（参考訳）: 近年の大規模言語モデル(LLM)の顕著な進歩により、トレーニングデータの外部にある高度に機密性の高いデータを持つドメインでそれらを活用することへの関心が高まっている。 この目的のために、検索強化生成(RAG)は特に効果的であり、外部知識ソースから直接関連する情報を提供することでLLMを支援する。 しかしながら、追加のプライバシー保護がなければ、RAGは外部データソースから機密情報を漏洩するリスクを出力する。 本研究では、データプライバシの正式な保証である差分プライバシ(DP)の下でRAGを探索する。 異なるプライベートなRAGの主な課題は、適度なプライバシー予算の中で、どのようにして長い正確な回答を生成するかである。 我々は、機密情報を必要とするトークンに対してのみ、プライバシー予算を賢く費やし、他のトークンに非私的LPMを使用するアルゴリズムを提案することで、この問題に対処する。 私たちのアルゴリズムは、さまざまなモデルやデータセットに対して、適切なプライバシ予算である$\epsilon\approx 10$で、RAGベースラインを上回ります。

関連論文リスト

• Calibrating Practical Privacy Risks for Differentially Private Machine Learning [5.363664265121231]
  モデルトレーニングにおいて、より柔軟なプライバシ予算設定を可能にするために、攻撃の成功率を下げるアプローチについて検討する。 プライバシに敏感な機能を選択的に抑制することで、アプリケーション固有のデータユーティリティを損なうことなく、低いASR値を達成できることがわかりました。
  論文  参考訳（メタデータ） (2024-10-30T03:52:01Z)
• The Good and The Bad: Exploring Privacy Issues in Retrieval-Augmented Generation (RAG) [56.67603627046346]
  Retrieval-augmented Generation (RAG)は、プロプライエタリおよびプライベートデータによる言語モデルを容易にする強力な技術である。 本研究では,プライベート検索データベースの漏洩に対するRAGシステムの脆弱性を実証する,新たな攻撃手法による実証的研究を行う。
  論文  参考訳（メタデータ） (2024-02-23T18:35:15Z)
• Privacy Preserving Large Language Models: ChatGPT Case Study Based Vision and Framework [6.828884629694705]
  本稿では,LLMのプライバシ生成モデルであるPrivChatGPTという概念モデルを提案する。 PrivChatGPTは、データキュレーション/前処理中にユーザのプライバシを保護し、プライベートコンテキストの保存と大規模データのプライベートトレーニングプロセスという2つの主要コンポーネントから構成される。
  論文  参考訳（メタデータ） (2023-10-19T06:55:13Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• A Unified View of Differentially Private Deep Generative Modeling [60.72161965018005]
  プライバシー上の懸念のあるデータには、データアクセスとデータ共有を頻繁に禁止する厳格な規制が伴う。 これらの障害を克服することは、プライバシーに敏感なデータを含む多くの現実世界のアプリケーションシナリオにおいて、技術的進歩の鍵となる。 差分的プライベート(DP)データパブリッシングは、データの衛生化された形式のみを公開する、魅力的なソリューションを提供する。
  論文  参考訳（メタデータ） (2023-09-27T14:38:16Z)
• Privacy Implications of Retrieval-Based Language Models [26.87950501433784]
  本稿では,検索に基づくLM,特に$k$NN-LMにおけるプライバシリスクに関する最初の研究について述べる。 パラメトリックモデルよりも、$k$NN-LMsの方がプライベートデータストアから個人情報をリークする可能性が高いことがわかりました。
  論文  参考訳（メタデータ） (2023-05-24T08:37:27Z)
• Algorithms with More Granular Differential Privacy Guarantees [65.3684804101664]
  我々は、属性ごとのプライバシー保証を定量化できる部分微分プライバシー(DP)について検討する。 本研究では,複数の基本データ分析および学習タスクについて検討し,属性ごとのプライバシパラメータが個人全体のプライバシーパラメータよりも小さい設計アルゴリズムについて検討する。
  論文  参考訳（メタデータ） (2022-09-08T22:43:50Z)
• Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
  DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。 ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。 これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
  論文  参考訳（メタデータ） (2022-06-06T13:49:37Z)
• Production of Categorical Data Verifying Differential Privacy: Conception and Applications to Machine Learning [0.0]
  差別化プライバシは、プライバシとユーティリティのトレードオフの定量化を可能にする正式な定義である。 ローカルDP(LDP)モデルでは、ユーザはデータをサーバに送信する前に、ローカルにデータをサニタイズすることができる。 いずれの場合も、微分プライベートなMLモデルは、非プライベートなモデルとほぼ同じユーティリティメトリクスを達成できると結論付けました。
  論文  参考訳（メタデータ） (2022-04-02T12:50:14Z)
• Private Reinforcement Learning with PAC and Regret Guarantees [69.4202374491817]
  エピソード強化学習(RL)のためのプライバシー保護探索ポリシーを設計する。 まず、共同微分プライバシー(JDP)の概念を用いた有意義なプライバシー定式化を提供する。 そこで我々は,強いPACと後悔境界を同時に達成し,JDP保証を享受する,プライベートな楽観主義に基づく学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-09-18T20:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。