論文の概要: P-Bench: A Multi-level Privacy Evaluation Benchmark for Language Models
- arxiv url: http://arxiv.org/abs/2311.04044v1
- Date: Tue, 7 Nov 2023 14:55:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 15:10:51.882363
- Title: P-Bench: A Multi-level Privacy Evaluation Benchmark for Language Models
- Title(参考訳): p-bench: 言語モデルのための多レベルプライバシー評価ベンチマーク
- Authors: Haoran Li, Dadi Guo, Donghao Li, Wei Fan, Qi Hu, Xin Liu, Chunkit
Chan, Duanyi Yao, Yangqiu Song
- Abstract要約: 言語モデル(LM)のプライバシー漏洩を経験的かつ直感的に定量化するベンチマークであるP-Benchを提案する。
DPパラメータで保護されたデータのプライバシを保護し、測定する代わりに、P-Benchは実際の使用中に無視された推論データのプライバシに光を当てる。
P-Benchは、実証的な評価結果として、予め定義されたプライバシー目標を持つLMに対する既存のプライバシ攻撃を実行する。
- 参考スコア(独自算出の注目度): 41.86590537265852
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid development of language models (LMs) brings unprecedented
accessibility and usage for both models and users. On the one hand, powerful
LMs, trained with massive textual data, achieve state-of-the-art performance
over numerous downstream NLP tasks. On the other hand, more and more attention
is paid to unrestricted model accesses that may bring malicious privacy risks
of data leakage. To address these issues, many recent works propose
privacy-preserving language models (PPLMs) with differential privacy (DP).
Unfortunately, different DP implementations make it challenging for a fair
comparison among existing PPLMs. In this paper, we present P-Bench, a
multi-perspective privacy evaluation benchmark to empirically and intuitively
quantify the privacy leakage of LMs. Instead of only protecting and measuring
the privacy of protected data with DP parameters, P-Bench sheds light on the
neglected inference data privacy during actual usage. P-Bench first clearly
defines multi-faceted privacy objectives during private fine-tuning. Then,
P-Bench constructs a unified pipeline to perform private fine-tuning. Lastly,
P-Bench performs existing privacy attacks on LMs with pre-defined privacy
objectives as the empirical evaluation results. The empirical attack results
are used to fairly and intuitively evaluate the privacy leakage of various
PPLMs. We conduct extensive experiments on three datasets of GLUE for
mainstream LMs.
- Abstract(参考訳): 言語モデル(LM)の急速な開発は、モデルとユーザの両方に前例のないアクセシビリティと利用をもたらす。
一方、大量のテキストデータで訓練された強力なLMは、多くの下流NLPタスクに対して最先端のパフォーマンスを達成する。
一方で、データ漏洩の悪意あるプライバシーリスクをもたらす未制限のモデルアクセスには、ますます多くの注意が払われている。
これらの問題に対処するため、近年の多くの研究で、差分プライバシー(DP)を用いたプライバシー保護言語モデル(PPLM)が提案されている。
残念ながら、異なるDP実装は既存のPPLMと公正な比較を困難にしている。
本稿では,LMのプライバシー漏洩を経験的かつ直感的に定量化する多視点プライバシー評価ベンチマークであるP-Benchを提案する。
DPパラメータで保護されたデータのプライバシを保護し、測定する代わりに、P-Benchは実際の使用中に無視された推論データのプライバシに光を当てる。
P-Benchは最初、プライベートな微調整中に多面的なプライバシーの目的を明確に定義した。
次に、P-Benchは、プライベートな微調整を行う統一パイプラインを構築する。
最後に、P-Benchは、実証的な評価結果として、予め定義されたプライバシー目標を持つLMに対する既存のプライバシ攻撃を実行する。
様々なPPLMのプライバシー漏洩を公平かつ直感的に評価するために,経験的攻撃結果を用いている。
メインストリームLMのためのGLUEの3つのデータセットについて広範な実験を行った。
関連論文リスト
- Personalized Differential Privacy for Ridge Regression [3.4751583941317166]
我々はPDP-OP(Personalized-DP Output Perturbation Method)を導入し、データポイントごとのプライバシレベルに応じてリッジ回帰モデルのトレーニングを可能にする。
我々は、PDP-OPの厳密なプライバシー証明と、結果モデルの正確性を保証する。
我々はPDP-OPがJorgensenらのパーソナライズされたプライバシー技術よりも優れていることを示す。
論文 参考訳(メタデータ) (2024-01-30T16:00:14Z) - Can LLMs Keep a Secret? Testing Privacy Implications of Language Models
via Contextual Integrity Theory [86.8514623654506]
私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。
我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-10-27T04:15:30Z) - Large Language Models Can Be Good Privacy Protection Learners [53.07930843882592]
本稿では,プライバシ保護言語モデル(PPLM)を紹介する。
本研究は, コーパスキュレーション, ペナルティに基づくトレーニング損失の相違, 命令に基づくチューニングなど, モデル設計の理論的解析を行う。
特に、肯定的な例と否定的な例の両方による命令チューニングは、モデルの知識を高めながら、個人データを効果的に保護する、有望な方法として際立っている。
論文 参考訳(メタデータ) (2023-10-03T22:37:01Z) - Privacy Implications of Retrieval-Based Language Models [26.87950501433784]
本稿では,検索に基づくLM,特に$k$NN-LMにおけるプライバシリスクに関する最初の研究について述べる。
パラメトリックモデルよりも、$k$NN-LMsの方がプライベートデータストアから個人情報をリークする可能性が高いことがわかりました。
論文 参考訳(メタデータ) (2023-05-24T08:37:27Z) - A Randomized Approach for Tight Privacy Accounting [63.67296945525791]
推定検証リリース(EVR)と呼ばれる新しい差分プライバシーパラダイムを提案する。
EVRパラダイムは、まずメカニズムのプライバシパラメータを推定し、その保証を満たすかどうかを確認し、最後にクエリ出力を解放する。
我々の実証的な評価は、新たに提案されたEVRパラダイムが、プライバシ保護機械学習のユーティリティプライバシトレードオフを改善することを示している。
論文 参考訳(メタデータ) (2023-04-17T00:38:01Z) - How Do Input Attributes Impact the Privacy Loss in Differential Privacy? [55.492422758737575]
DPニューラルネットワークにおけるオブジェクトごとの規範と個人のプライバシ損失との関係について検討する。
プライバシ・ロス・インプット・サセプティビリティ(PLIS)と呼ばれる新しい指標を導入し、被験者のプライバシ・ロスを入力属性に適応させることを可能にした。
論文 参考訳(メタデータ) (2022-11-18T11:39:03Z) - A Critical Review on the Use (and Misuse) of Differential Privacy in
Machine Learning [5.769445676575767]
機械学習(ML)におけるプライバシー保護のための差分プライバシー(DP)の利用について概観する。
学習モデルの精度を保つことを目的として,DPベースのML実装が非常に緩いため,DPの高度なプライバシー保証を提供していないことを示す。
論文 参考訳(メタデータ) (2022-06-09T17:13:10Z) - Just Fine-tune Twice: Selective Differential Privacy for Large Language
Models [69.66654761324702]
本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。
実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
論文 参考訳(メタデータ) (2022-04-15T22:36:55Z) - Production of Categorical Data Verifying Differential Privacy:
Conception and Applications to Machine Learning [0.0]
差別化プライバシは、プライバシとユーティリティのトレードオフの定量化を可能にする正式な定義である。
ローカルDP(LDP)モデルでは、ユーザはデータをサーバに送信する前に、ローカルにデータをサニタイズすることができる。
いずれの場合も、微分プライベートなMLモデルは、非プライベートなモデルとほぼ同じユーティリティメトリクスを達成できると結論付けました。
論文 参考訳(メタデータ) (2022-04-02T12:50:14Z) - Personalized PATE: Differential Privacy for Machine Learning with
Individual Privacy Guarantees [1.2691047660244335]
トレーニングデータ内に、パーソナライズされたプライバシ保証の異なるMLモデルのトレーニングを支援する3つの新しい方法を提案する。
実験により, 個人化されたプライバシ手法は, 非個人化されたベースラインよりも高い精度のモデルが得られることがわかった。
論文 参考訳(メタデータ) (2022-02-21T20:16:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。