Fugu-MT 論文翻訳(概要): InferDPT: Privacy-Preserving Inference for Black-box Large Language Model

論文の概要: InferDPT: Privacy-Preserving Inference for Black-box Large Language Model

arxiv url: http://arxiv.org/abs/2310.12214v6
Date: Wed, 27 Mar 2024 09:19:01 GMT
ステータス: 処理完了
システム内更新日: 2024-03-28 22:52:43.085636
Title: InferDPT: Privacy-Preserving Inference for Black-box Large Language Model
Title（参考訳）: InferDPT:ブラックボックス大言語モデルのプライバシ保護推論
Authors: Meng Tong, Kejiang Chen, Jie Zhang, Yuang Qi, Weiming Zhang, Nenghai Yu, Tianwei Zhang, Zhikun Zhang,
Abstract要約: InferDPTは、ブラックボックスLSMのプライバシ保護推論のための最初の実用的なフレームワークである。 RANTEXTはInferDPTの摂動モジュールに組み込まれた新しい微分プライバシー機構である。
参考スコア（独自算出の注目度）: 66.07752875835506
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models (LLMs), like ChatGPT, have greatly simplified text generation tasks. However, they have also raised concerns about privacy risks such as data leakage and unauthorized data collection. Existing solutions for privacy-preserving inference face practical challenges related to computation time and communication costs. In this paper, we propose InferDPT, the first practical framework for the privacy-preserving Inference of black-box LLMs, implementing Differential Privacy in Text generation. InferDPT comprises two key modules: the "perturbation module" utilizes the exponential mechanism to generate a perturbed prompt, facilitating privacy-preserving inference with black-box LLMs, and the "extraction module", inspired by knowledge distillation and retrieval-augmented generation, extracts coherent and consistent text from the perturbed generation result, ensuring successful text generation completion. To address privacy concerns related to previous exponential mechanisms' susceptibility to embedding revision attacks, we introduce RANTEXT, a novel differential privacy mechanism integrated into the perturbation module of InferDPT, which introduces the concept of "RANdom adjacency" for TEXT perturbation within the prompt. Experimental results across three datasets demonstrate that the text generation quality of InferDPT is comparable to that of non-private GPT-4, and RANTEXT surpasses existing state-of-the-art mechanisms, namely, SANTEXT+ and CUSTEXT+ in the trade-off between privacy and utility. Even with an privacy parameter epsilon value of 6.0, RANTEXT achieves an average privacy protection rate exceeding 90% against embedding revision attacks, which is 0.58 times higher than that of SANTEXT+ and 3.35 times higher than that of CUSTEXT+.
Abstract（参考訳）: 大型言語モデル(LLM)は、ChatGPTと同様、テキスト生成タスクを非常に単純化している。しかし、データ漏洩や不正なデータ収集などのプライバシーリスクへの懸念も持ち上がっている。既存のプライバシ保護推論のソリューションは、計算時間と通信コストに関連する現実的な課題に直面している。本稿では,テキスト生成における差分プライバシーを実装した,ブラックボックスLLMのプライバシ保護のための最初の実践的フレームワークであるInferDPTを提案する。 InferDPTは、2つの主要なモジュールから構成される:「摂動モジュール」は、指数的なメカニズムを利用して摂動的なプロンプトを生成し、ブラックボックスのLCMとのプライバシー保護推論を容易にし、"抽出モジュール"は知識の蒸留と検索拡張生成にインスパイアされ、摂動生成結果から一貫性のある一貫性のあるテキストを抽出し、テキスト生成を成功させる。 InferDPTの摂動モジュールに組み込まれた新たな差分プライバシー機構であるRANTEXTを導入し、そのプロンプト内でのTEXT摂動に対する「ランダム・アジャクティ」の概念を導入する。 3つのデータセットにわたる実験結果から、InferDPTのテキスト生成品質は非プライベートなGPT-4と同等であり、プライバシとユーティリティのトレードオフにおいて、RANTEXTは既存の最先端メカニズムであるSANTEXT+とCUSTEXT+を上回っていることが示されている。プライバシーパラメータのepsilon値が6.0であっても、RANTEXTは埋め込みリビジョン攻撃に対して90%を超える平均プライバシー保護率を達成する。

関連論文リスト

On Active Privacy Auditing in Supervised Fine-tuning for White-Box Language Models [7.275432177367344]
パーシングは、言語モデル(LM)の教師付き微調整中にプライバシー漏洩リスクを特定し定量化するように設計されている。我々は,GPT-2,Llama2などの大規模LMに対するMIA(White-box Membering Inference attack)の有効性を改善した。本研究の目的は,LMのSFTコミュニティに対して,信頼性と使用可能なプライバシ監査ツールの提供と,微調整プロセス中のプライバシ保護に関する貴重な洞察を提供することである。
論文参考訳（メタデータ） (2024-11-11T15:46:07Z)
Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
論文参考訳（メタデータ） (2024-06-20T13:54:32Z)
Privacy-Preserving Language Model Inference with Instance Obfuscation [33.86459812694288]
言語モデル・アズ・ア・サービス(LM)は、開発者や研究者が事前訓練された言語モデルを使用して推論を行うための便利なアクセスを提供する。入力データとプライベート情報を含む推論結果は、サービスコール中にプレーンテキストとして公開され、プライバシー上の問題が発生する。本稿では,自然言語理解タスクにおける決定プライバシ問題に対処することに焦点を当てた,インスタンス・オブフルスケート推論(IOI)手法を提案する。
論文参考訳（メタデータ） (2024-02-13T05:36:54Z)
PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
論文参考訳（メタデータ） (2023-10-03T22:37:01Z)
A Randomized Approach for Tight Privacy Accounting [63.67296945525791]
推定検証リリース(EVR)と呼ばれる新しい差分プライバシーパラダイムを提案する。 EVRパラダイムは、まずメカニズムのプライバシパラメータを推定し、その保証を満たすかどうかを確認し、最後にクエリ出力を解放する。我々の実証的な評価は、新たに提案されたEVRパラダイムが、プライバシ保護機械学習のユーティリティプライバシトレードオフを改善することを示している。
論文参考訳（メタデータ） (2023-04-17T00:38:01Z)
Rethinking Disclosure Prevention with Pointwise Maximal Leakage [36.3895452861944]
本稿では,秘密の$X$の低エントロピー機能の価値を開示し,実用性を実現するユーティリティとプライバシの一般モデルを提案する。我々は、大衆の意見に反して、有意義な推論によるプライバシー保証を提供することを証明している。 PMLベースのプライバシは互換性があることを示し、差分プライバシーのような既存の概念に対する洞察を提供する。
論文参考訳（メタデータ） (2023-03-14T10:47:40Z)
Breaking the Communication-Privacy-Accuracy Tradeoff with $f$-Differential Privacy [51.11280118806893]
サーバが複数のユーザの協調的なデータ分析を,プライバシの懸念と限られた通信能力で調整する,フェデレートされたデータ分析問題を考える。有限出力空間を有する離散値機構の局所的差分プライバシー保証を$f$-differential privacy (DP) レンズを用いて検討する。より具体的には、様々な離散的評価機構の厳密な$f$-DP保証を導出することにより、既存の文献を前進させる。
論文参考訳（メタデータ） (2023-02-19T16:58:53Z)
THE-X: Privacy-Preserving Transformer Inference with Homomorphic Encryption [112.02441503951297]
トランスフォーマーモデルのプライバシ保護推論は、クラウドサービスユーザの要求に基づいています。我々は、事前訓練されたモデルのプライバシ保存推論を可能にするトランスフォーマーの近似アプローチである$textitTHE-X$を紹介した。
論文参考訳（メタデータ） (2022-06-01T03:49:18Z)
HyObscure: Hybrid Obscuring for Privacy-Preserving Data Publishing [7.554593344695387]
データユーティリティを確保しながらプライバシリークを最小限に抑えることは、プライバシ保存データパブリッシングタスクにおけるデータホルダーにとって重要な問題である。これまでのほとんどの研究は、1つの種類のデータにのみ関心を持ち、単一のオブスカー法に頼っている。本研究は,一般化操作と難読化操作の両方を併用する場合に,プライバシ保護データ公開に関する試行的な研究を行う。
論文参考訳（メタデータ） (2021-12-15T03:04:00Z)
Research Challenges in Designing Differentially Private Text Generation Mechanisms [5.123298347655088]
我々は、異なるプライベートテキストメカニズムのプライバシーとユーティリティのトレードオフのバランスにおけるいくつかの課題について説明します。私たちの目標は、単一のソリューションを評価するのではなく、これらの課題とより良いメカニズムを構築するためのチャートパスに関する会話をさらに進めることです。
論文参考訳（メタデータ） (2020-12-10T01:44:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。