論文の概要: Attack-Aware Noise Calibration for Differential Privacy
- arxiv url: http://arxiv.org/abs/2407.02191v2
- Date: Thu, 07 Nov 2024 21:51:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-11 14:53:11.094066
- Title: Attack-Aware Noise Calibration for Differential Privacy
- Title(参考訳): ディファレンシャルプライバシのためのアタック・アウェアノイズ校正
- Authors: Bogdan Kulynych, Juan Felipe Gomez, Georgios Kaissis, Flavio du Pin Calmon, Carmela Troncoso,
- Abstract要約: 差分プライバシー(DP)は、機密データに基づいて機械学習モデルをトレーニングする際のプライバシーリスクを軽減するために広く用いられるアプローチである。
プライバシとユーティリティのトレードオフを決定するため、追加されるノイズの規模は極めて重要です。
まず、ノイズスケールをプライバシー予算$varepsilon$に調整し、それからリスクを攻撃するためにepsilonを翻訳すると、過度に保守的なリスク評価につながることを示す。
- 参考スコア(独自算出の注目度): 11.222654178949234
- License:
- Abstract: Differential privacy (DP) is a widely used approach for mitigating privacy risks when training machine learning models on sensitive data. DP mechanisms add noise during training to limit the risk of information leakage. The scale of the added noise is critical, as it determines the trade-off between privacy and utility. The standard practice is to select the noise scale to satisfy a given privacy budget $\varepsilon$. This privacy budget is in turn interpreted in terms of operational attack risks, such as accuracy, sensitivity, and specificity of inference attacks aimed to recover information about the training data records. We show that first calibrating the noise scale to a privacy budget $\varepsilon$, and then translating {\epsilon} to attack risk leads to overly conservative risk assessments and unnecessarily low utility. Instead, we propose methods to directly calibrate the noise scale to a desired attack risk level, bypassing the step of choosing $\varepsilon$. For a given notion of attack risk, our approach significantly decreases noise scale, leading to increased utility at the same level of privacy. We empirically demonstrate that calibrating noise to attack sensitivity/specificity, rather than $\varepsilon$, when training privacy-preserving ML models substantially improves model accuracy for the same risk level. Our work provides a principled and practical way to improve the utility of privacy-preserving ML without compromising on privacy. The code is available at https://github.com/Felipe-Gomez/riskcal
- Abstract(参考訳): 差分プライバシー(DP)は、機密データに基づいて機械学習モデルをトレーニングする際のプライバシーリスクを軽減するために広く用いられるアプローチである。
DPメカニズムは、情報漏洩のリスクを制限するために、トレーニング中にノイズを追加する。
プライバシとユーティリティのトレードオフを決定するため、追加されるノイズの規模は極めて重要です。
標準のプラクティスは、所定のプライバシー予算を満足させるためにノイズスケールを選択することです。
このプライバシー予算は、トレーニングデータレコードに関する情報を回復することを目的とした推論攻撃の正確性、感度、特異性といった、運用上の攻撃リスクの観点から解釈される。
まず、ノイズスケールをプライバシー予算の$\varepsilonに調整し、次にリスクを攻撃するために {\epsilon} を翻訳すると、過度に保守的なリスク評価と不必要に低いユーティリティにつながります。
代わりに、我々は、$\varepsilon$を選択するステップを回避して、ノイズスケールを直接、望ましい攻撃リスクレベルに調整する方法を提案する。
特定の攻撃リスクの概念では、我々のアプローチはノイズスケールを著しく減らし、同じレベルのプライバシで実用性が向上する。
プライバシ保存MLモデルのトレーニングにおいて、$\varepsilon$ではなく、感度/特異性を攻撃するためのノイズの校正が、同じリスクレベルのモデル精度を大幅に向上することを示す。
私たちの仕事は、プライバシを犠牲にすることなく、プライバシ保護MLの有用性を改善するための原則的で実用的な方法を提供します。
コードはhttps://github.com/Felipe-Gomez/riskcalで入手できる。
関連論文リスト
- Calibrating Practical Privacy Risks for Differentially Private Machine Learning [5.363664265121231]
モデルトレーニングにおいて、より柔軟なプライバシ予算設定を可能にするために、攻撃の成功率を下げるアプローチについて検討する。
プライバシに敏感な機能を選択的に抑制することで、アプリケーション固有のデータユーティリティを損なうことなく、低いASR値を達成できることがわかりました。
論文 参考訳(メタデータ) (2024-10-30T03:52:01Z) - Adaptive Differential Privacy in Federated Learning: A Priority-Based
Approach [0.0]
フェデレートラーニング(FL)は、ローカルデータセットに直接アクセスせずにグローバルモデルを開発する。
DPはパラメータに一定のノイズを加えることで、プライバシーを保証するフレームワークを提供する。
本稿では,特徴量の相対的重要度に基づいて入射雑音の値を決定するFLの適応雑音付加法を提案する。
論文 参考訳(メタデータ) (2024-01-04T03:01:15Z) - To share or not to share: What risks would laypeople accept to give sensitive data to differentially-private NLP systems? [14.586789605230672]
私たちは、$varepsilon$の値を決定することは、研究者やシステム開発者の手だけにすべきではない、と論じています。
我々は,不確実な意思決定状況における人々の行動を研究するために,行動実験(311名)を実施している。
論文 参考訳(メタデータ) (2023-07-13T12:06:48Z) - Analyzing Privacy Leakage in Machine Learning via Multiple Hypothesis
Testing: A Lesson From Fano [83.5933307263932]
本研究では,離散データに対するデータ再構成攻撃について検討し,仮説テストの枠組みの下で解析する。
基礎となるプライベートデータが$M$のセットから値を取ると、ターゲットのプライバシパラメータ$epsilon$が$O(log M)$になる。
論文 参考訳(メタデータ) (2022-10-24T23:50:12Z) - TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。
プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。
我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
論文 参考訳(メタデータ) (2022-10-07T08:44:35Z) - Fine-Tuning with Differential Privacy Necessitates an Additional
Hyperparameter Search [38.83524780461911]
トレーニング済みニューラルネットワークで微調整されたレイヤを慎重に選択することで、プライバシと正確性の間に新たな最先端のトレードオフを確立することができることを示す。
ImageNetで事前トレーニングされたモデルに対して、CIFAR-100上で$(varepsilon, delta)= (2, 10-5)$に対して77.9%の精度を達成する。
論文 参考訳(メタデータ) (2022-10-05T11:32:49Z) - Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。
ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。
これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
論文 参考訳(メタデータ) (2022-06-06T13:49:37Z) - Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for
Private Learning [74.73901662374921]
差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。
偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
論文 参考訳(メタデータ) (2021-02-25T04:29:58Z) - Learning with User-Level Privacy [61.62978104304273]
ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。
個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。
プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
論文 参考訳(メタデータ) (2021-02-23T18:25:13Z) - RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial
Network [75.81653258081435]
GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。
しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。
本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
論文 参考訳(メタデータ) (2020-07-04T09:51:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。