論文の概要: Personalized PATE: Differential Privacy for Machine Learning with
Individual Privacy Guarantees
- arxiv url: http://arxiv.org/abs/2202.10517v2
- Date: Wed, 23 Feb 2022 21:27:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-25 12:33:21.627474
- Title: Personalized PATE: Differential Privacy for Machine Learning with
Individual Privacy Guarantees
- Title（参考訳）: パーソナライズされたpate:個別プライバシ保証を備えた機械学習のためのディファレンシャルプライバシ
- Authors: Christopher M\"uhl, Franziska Boenisch
- Abstract要約: トレーニングデータ内に、パーソナライズされたプライバシ保証の異なるMLモデルのトレーニングを支援する3つの新しい方法を提案する。
実験により, 個人化されたプライバシ手法は, 非個人化されたベースラインよりも高い精度のモデルが得られることがわかった。
- 参考スコア（独自算出の注目度）: 1.2691047660244335
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Applying machine learning (ML) to sensitive domains requires privacy
protection of the underlying training data through formal privacy frameworks,
such as differential privacy (DP). Yet, usually, the privacy of the training
data comes at the costs of the resulting ML models' utility. One reason for
this is that DP uses one homogeneous privacy budget epsilon for all training
data points, which has to align with the strictest privacy requirement
encountered among all data holders. In practice, different data holders might
have different privacy requirements and data points of data holders with lower
requirements could potentially contribute more information to the training
process of the ML models. To account for this possibility, we propose three
novel methods that extend the DP framework Private Aggregation of Teacher
Ensembles (PATE) to support training an ML model with different personalized
privacy guarantees within the training data. We formally describe the methods,
provide theoretical analyses of their privacy bounds, and experimentally
evaluate their effect on the final model's utility at the example of the MNIST
and Adult income datasets. Our experiments show that our personalized privacy
methods yield higher accuracy models than the non-personalized baseline.
Thereby, our methods can improve the privacy-utility trade-off in scenarios in
which different data holders consent to contribute their sensitive data at
different privacy levels.
- Abstract（参考訳）: マシンラーニング(ML)を機密ドメインに適用するには、差分プライバシ(DP)などの正式なプライバシフレームワークを通じて、基礎となるトレーニングデータをプライバシ保護する必要がある。
しかし、通常、トレーニングデータのプライバシは、結果のMLモデルのユーティリティのコストを伴います。
この理由の1つは、dpがすべてのトレーニングデータポイントに対して1つの均質なプライバシ予算epsilonを使用しているためである。
実際には、異なるデータ保持者が異なるプライバシ要件と低い要件を持つデータ保持者のデータポイントを持つ場合、MLモデルのトレーニングプロセスにより多くの情報を提供する可能性がある。
そこで本研究では,pate(教師アンサンブル)のプライベートアグリゲーションをdpフレームワークに拡張し,トレーニングデータ内のプライバシ保証の異なるmlモデルのトレーニングを支援する3つの新しい手法を提案する。
提案手法を形式的に記述し,プライバシ境界の理論解析を行い,mnistおよび成人所得データセットの例として,最終モデルの有用性に対する効果を実験的に評価する。
実験により, 個人化されたプライバシ手法は, 非個人化されたベースラインよりも高い精度のモデルが得られることがわかった。
これにより、異なるデータ保有者が異なるプライバシーレベルで機密データの提供に同意するシナリオにおいて、プライバシユーティリティのトレードオフを改善することができる。
関連論文リスト
- Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。
ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
論文 参考訳（メタデータ） (2024-06-20T13:54:32Z) - LLM-based Privacy Data Augmentation Guided by Knowledge Distillation
with a Distribution Tutor for Medical Text Classification [67.92145284679623]
ノイズの多いプライベートディストリビューションをモデル化し,プライバシコストの低いサンプル生成を制御するDPベースのチュータを提案する。
理論的には、モデルのプライバシ保護を分析し、モデルを実証的に検証する。
論文 参考訳（メタデータ） (2024-02-26T11:52:55Z) - Differentially Private Model-Based Offline Reinforcement Learning [51.1231068185106]
DP-MORLは差分プライバシーを保証するアルゴリズムである。
環境のプライベートモデルは、まずオフラインデータから学習される。
次に、モデルベースのポリシー最適化を使用して、プライベートモデルからポリシーを導出します。
論文 参考訳（メタデータ） (2024-02-08T10:05:11Z) - Personalized Differential Privacy for Ridge Regression [3.4751583941317166]
我々はPDP-OP(Personalized-DP Output Perturbation Method)を導入し、データポイントごとのプライバシレベルに応じてリッジ回帰モデルのトレーニングを可能にする。
我々は、PDP-OPの厳密なプライバシー証明と、結果モデルの正確性を保証する。
我々はPDP-OPがJorgensenらのパーソナライズされたプライバシー技術よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-01-30T16:00:14Z) - Private Fine-tuning of Large Language Models with Zeroth-order
Optimization [54.24600476755372]
DP-ZO(DP-ZO)は、ゼロオーダー最適化を民営化し、トレーニングデータのプライバシを保存する、大規模言語モデルを微調整する新しい手法である。
DP-ZOは、SQuADから1000のトレーニングサンプルにOPT-66Bを微調整すると、プライバシが1,10-5)$-DPになるため、わずか1.86%のパフォーマンス低下を示す。
論文 参考訳（メタデータ） (2024-01-09T03:53:59Z) - Privacy Preserving Large Language Models: ChatGPT Case Study Based Vision and Framework [6.828884629694705]
本稿では,LLMのプライバシ生成モデルであるPrivChatGPTという概念モデルを提案する。
PrivChatGPTは、データキュレーション/前処理中にユーザのプライバシを保護し、プライベートコンテキストの保存と大規模データのプライベートトレーニングプロセスという2つの主要コンポーネントから構成される。
論文 参考訳（メタデータ） (2023-10-19T06:55:13Z) - Probing the Transition to Dataset-Level Privacy in ML Models Using an
Output-Specific and Data-Resolved Privacy Profile [23.05994842923702]
差分プライバシーメカニズムを用いてデータセットでトレーニングされたモデルが、近隣のデータセットでトレーニングされた結果の分布によってカバーされる範囲を定量化するプライバシー指標について検討する。
プライバシプロファイルは、近隣のディストリビューションで発生する不明瞭性への観察された遷移を、$epsilon$の減少として調査するために使用できることを示す。
論文 参考訳（メタデータ） (2023-06-27T20:39:07Z) - Have it your way: Individualized Privacy Assignment for DP-SGD [33.758209383275926]
我々は、すべての点で均一なプライバシー予算を設定することは、一部のユーザーにとって過度に保守的であるか、あるいは他のユーザーにとって十分な保護がないかを論じる。
プライバシー予算の個別化を通じて、これらの選好を捉えます。
これは、プライバシーとユーティリティのトレードオフを実証的に改善する。
論文 参考訳（メタデータ） (2023-03-29T22:18:47Z) - Position: Considerations for Differentially Private Learning with Large-Scale Public Pretraining [75.25943383604266]
大規模なWebスクレイプデータセットの使用は、差分プライバシ保存と見なすべきかどうかを疑問視する。
Webデータ上で事前訓練されたこれらのモデルを“プライベート”として公開することで、市民のプライバシーに対する信頼を意味のあるプライバシの定義として損なう可能性があることを警告します。
公的な事前学習がより普及し、強力になるにつれて、私的な学習分野への道のりを議論することで、我々は結論づける。
論文 参考訳（メタデータ） (2022-12-13T10:41:12Z) - Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。
ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。
これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
論文 参考訳（メタデータ） (2022-06-06T13:49:37Z) - Production of Categorical Data Verifying Differential Privacy:
Conception and Applications to Machine Learning [0.0]
差別化プライバシは、プライバシとユーティリティのトレードオフの定量化を可能にする正式な定義である。
ローカルDP(LDP)モデルでは、ユーザはデータをサーバに送信する前に、ローカルにデータをサニタイズすることができる。
いずれの場合も、微分プライベートなMLモデルは、非プライベートなモデルとほぼ同じユーティリティメトリクスを達成できると結論付けました。
論文 参考訳（メタデータ） (2022-04-02T12:50:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。