論文の概要: InferDPT: Privacy-Preserving Inference for Black-box Large Language Model
- arxiv url: http://arxiv.org/abs/2310.12214v5
- Date: Mon, 11 Dec 2023 09:59:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 02:03:55.766465
- Title: InferDPT: Privacy-Preserving Inference for Black-box Large Language Model
- Title(参考訳): InferDPT:ブラックボックス大言語モデルのプライバシ保護推論
- Authors: Meng Tong, Kejiang Chen, Jie Zhang, Yuang Qi, Weiming Zhang, Nenghai Yu,
- Abstract要約: InferDPTは、ブラックボックスLSMのプライバシ保護推論のための最初の実用的なフレームワークである。
RANTEXTはInferDPTの摂動モジュールに組み込まれた新しい微分プライバシー機構である。
- 参考スコア(独自算出の注目度): 61.86446190374506
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs), like ChatGPT, have greatly simplified text generation tasks. However, they have also raised concerns about privacy risks such as data leakage and unauthorized data collection. Existing solutions for privacy-preserving inference face practical challenges related to computation time and communication costs. In this paper, we propose InferDPT, the first practical framework for the privacy-preserving Inference of black-box LLMs, implementing Differential Privacy in Text generation. InferDPT comprises two key modules: the "perturbation module" utilizes the exponential mechanism to generate a perturbed prompt, facilitating privacy-preserving inference with black-box LLMs, and the "extraction module", inspired by knowledge distillation and retrieval-augmented generation, extracts coherent and consistent text from the perturbed generation result, ensuring successful text generation completion. To address privacy concerns related to previous exponential mechanisms' susceptibility to embedding revision attacks, we introduce RANTEXT, a novel differential privacy mechanism integrated into the perturbation module of InferDPT, which introduces the concept of "RANdom adjacency" for TEXT perturbation within the prompt. Experimental results across three datasets demonstrate that the text generation quality of InferDPT is comparable to that of non-private GPT-4, and RANTEXT surpasses existing state-of-the-art mechanisms, namely, SANTEXT+ and CUSTEXT+ in the trade-off between privacy and utility. Even with an privacy parameter epsilon value of 6.0, RANTEXT achieves an average privacy protection rate exceeding 90% against embedding revision attacks, which is 0.58 times higher than that of SANTEXT+ and 3.35 times higher than that of CUSTEXT+.
- Abstract(参考訳): 大型言語モデル(LLM)は、ChatGPTと同様、テキスト生成タスクを非常に単純化している。
しかし、データ漏洩や不正なデータ収集などのプライバシーリスクへの懸念も持ち上がっている。
既存のプライバシ保護推論のソリューションは、計算時間と通信コストに関連する現実的な課題に直面している。
本稿では,テキスト生成における差分プライバシーを実装した,ブラックボックスLLMのプライバシ保護のための最初の実践的フレームワークであるInferDPTを提案する。
InferDPTは、2つの主要なモジュールから構成される:「摂動モジュール」は、指数的なメカニズムを利用して摂動的なプロンプトを生成し、ブラックボックスのLCMとのプライバシー保護推論を容易にし、"抽出モジュール"は知識の蒸留と検索拡張生成にインスパイアされ、摂動生成結果から一貫性のある一貫性のあるテキストを抽出し、テキスト生成を成功させる。
InferDPTの摂動モジュールに組み込まれた新たな差分プライバシー機構であるRANTEXTを導入し、そのプロンプト内でのTEXT摂動に対する「ランダム・アジャクティ」の概念を導入する。
3つのデータセットにわたる実験結果から、InferDPTのテキスト生成品質は非プライベートなGPT-4と同等であり、プライバシとユーティリティのトレードオフにおいて、RANTEXTは既存の最先端メカニズムであるSANTEXT+とCUSTEXT+を上回っていることが示されている。
プライバシーパラメータのepsilon値が6.0であっても、RANTEXTは埋め込みリビジョン攻撃に対して90%を超える平均プライバシー保護率を達成する。
関連論文リスト
- JAMDEC: Unsupervised Authorship Obfuscation using Constrained Decoding
over Small Language Models [53.83273575102087]
著者の難読化に対する教師なし推論時間アプローチを提案する。
本稿では,著者難読化のためのユーザ制御推論時間アルゴリズムであるJAMDECを紹介する。
提案手法は,GPT2-XL などの小型言語モデルに基づいて,オリジナルコンテンツをプロプライエタリな LLM の API に公開するのを防ぐ。
論文 参考訳(メタデータ) (2024-02-13T19:54:29Z) - Privacy-Preserving Language Model Inference with Instance Obfuscation [33.86459812694288]
言語モデル・アズ・ア・サービス(LM)は、開発者や研究者が事前訓練された言語モデルを使用して推論を行うための便利なアクセスを提供する。
入力データとプライベート情報を含む推論結果は、サービスコール中にプレーンテキストとして公開され、プライバシー上の問題が発生する。
本稿では,自然言語理解タスクにおける決定プライバシ問題に対処することに焦点を当てた,インスタンス・オブフルスケート推論(IOI)手法を提案する。
論文 参考訳(メタデータ) (2024-02-13T05:36:54Z) - A Randomized Approach for Tight Privacy Accounting [63.67296945525791]
推定検証リリース(EVR)と呼ばれる新しい差分プライバシーパラダイムを提案する。
EVRパラダイムは、まずメカニズムのプライバシパラメータを推定し、その保証を満たすかどうかを確認し、最後にクエリ出力を解放する。
我々の実証的な評価は、新たに提案されたEVRパラダイムが、プライバシ保護機械学習のユーティリティプライバシトレードオフを改善することを示している。
論文 参考訳(メタデータ) (2023-04-17T00:38:01Z) - Breaking the Communication-Privacy-Accuracy Tradeoff with
$f$-Differential Privacy [51.11280118806893]
サーバが複数のユーザの協調的なデータ分析を,プライバシの懸念と限られた通信能力で調整する,フェデレートされたデータ分析問題を考える。
有限出力空間を有する離散値機構の局所的差分プライバシー保証を$f$-differential privacy (DP) レンズを用いて検討する。
より具体的には、様々な離散的評価機構の厳密な$f$-DP保証を導出することにより、既存の文献を前進させる。
論文 参考訳(メタデータ) (2023-02-19T16:58:53Z) - Synthetic Text Generation with Differential Privacy: A Simple and
Practical Recipe [32.63295550058343]
テキスト領域におけるシンプルで実用的なレシピは、強力なプライバシー保護を備えた有用な合成テキストを生成するのに有効であることを示す。
提案手法は,非私的テキストと実用性で競合する合成テキストを生成する。
論文 参考訳(メタデータ) (2022-10-25T21:21:17Z) - Privacy-Preserving Distributed Expectation Maximization for Gaussian
Mixture Model using Subspace Perturbation [4.2698418800007865]
フェデレーション学習は、プライベートデータの送信を許可せず、中間更新のみを許可するため、プライバシー上の懸念によって動機付けられている。
我々は、各ステップの更新を安全に計算できる、完全に分散化されたプライバシ保存ソリューションを提案する。
数値検証により,提案手法は,精度とプライバシの両面において,既存手法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2022-09-16T09:58:03Z) - THE-X: Privacy-Preserving Transformer Inference with Homomorphic
Encryption [112.02441503951297]
トランスフォーマーモデルのプライバシ保護推論は、クラウドサービスユーザの要求に基づいています。
我々は、事前訓練されたモデルのプライバシ保存推論を可能にするトランスフォーマーの近似アプローチである$textitTHE-X$を紹介した。
論文 参考訳(メタデータ) (2022-06-01T03:49:18Z) - Just Fine-tune Twice: Selective Differential Privacy for Large Language
Models [69.66654761324702]
本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。
実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
論文 参考訳(メタデータ) (2022-04-15T22:36:55Z) - HyObscure: Hybrid Obscuring for Privacy-Preserving Data Publishing [7.554593344695387]
データユーティリティを確保しながらプライバシリークを最小限に抑えることは、プライバシ保存データパブリッシングタスクにおけるデータホルダーにとって重要な問題である。
これまでのほとんどの研究は、1つの種類のデータにのみ関心を持ち、単一のオブスカー法に頼っている。
本研究は,一般化操作と難読化操作の両方を併用する場合に,プライバシ保護データ公開に関する試行的な研究を行う。
論文 参考訳(メタデータ) (2021-12-15T03:04:00Z) - Research Challenges in Designing Differentially Private Text Generation
Mechanisms [5.123298347655088]
我々は、異なるプライベートテキストメカニズムのプライバシーとユーティリティのトレードオフのバランスにおけるいくつかの課題について説明します。
私たちの目標は、単一のソリューションを評価するのではなく、これらの課題とより良いメカニズムを構築するためのチャートパスに関する会話をさらに進めることです。
論文 参考訳(メタデータ) (2020-12-10T01:44:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。