論文の概要: Attack-Aware Noise Calibration for Differential Privacy
- arxiv url: http://arxiv.org/abs/2407.02191v1
- Date: Tue, 2 Jul 2024 11:49:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-03 15:35:30.800322
- Title: Attack-Aware Noise Calibration for Differential Privacy
- Title(参考訳): ディファレンシャルプライバシのためのアタック・アウェアノイズ校正
- Authors: Bogdan Kulynych, Juan Felipe Gomez, Georgios Kaissis, Flavio du Pin Calmon, Carmela Troncoso,
- Abstract要約: 差分プライバシー(DP)は、機密データに基づいて機械学習モデルをトレーニングする際のプライバシーリスクを軽減するために広く用いられるアプローチである。
標準のプラクティスは、プライバシ予算パラメータ$epsilon$という観点からノイズスケールを選択することです。
本稿では,エプシロン$を選択する中間ステップを回避して,ノイズスケールを所望の攻撃リスクレベルに調整する方法を提案する。
- 参考スコア(独自算出の注目度): 11.222654178949234
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differential privacy (DP) is a widely used approach for mitigating privacy risks when training machine learning models on sensitive data. DP mechanisms add noise during training to limit the risk of information leakage. The scale of the added noise is critical, as it determines the trade-off between privacy and utility. The standard practice is to select the noise scale in terms of a privacy budget parameter $\epsilon$. This parameter is in turn interpreted in terms of operational attack risk, such as accuracy, or sensitivity and specificity of inference attacks against the privacy of the data. We demonstrate that this two-step procedure of first calibrating the noise scale to a privacy budget $\epsilon$, and then translating $\epsilon$ to attack risk leads to overly conservative risk assessments and unnecessarily low utility. We propose methods to directly calibrate the noise scale to a desired attack risk level, bypassing the intermediate step of choosing $\epsilon$. For a target attack risk, our approach significantly decreases noise scale, leading to increased utility at the same level of privacy. We empirically demonstrate that calibrating noise to attack sensitivity/specificity, rather than $\epsilon$, when training privacy-preserving ML models substantially improves model accuracy for the same risk level. Our work provides a principled and practical way to improve the utility of privacy-preserving ML without compromising on privacy.
- Abstract(参考訳): 差分プライバシー(DP)は、機密データに基づいて機械学習モデルをトレーニングする際のプライバシーリスクを軽減するために広く用いられるアプローチである。
DPメカニズムは、情報漏洩のリスクを制限するために、トレーニング中にノイズを追加する。
プライバシとユーティリティのトレードオフを決定するため、追加されるノイズの規模は極めて重要です。
標準のプラクティスは、プライバシ予算パラメータ$\epsilon$という観点からノイズスケールを選択することです。
このパラメータは、データのプライバシに対する推論攻撃の正確性や感度、特異性といった、運用上の攻撃リスクの観点から解釈される。
ノイズスケールをプライバシー予算$\epsilon$に調整し、リスクを攻撃するために$\epsilon$を翻訳するこの2段階の手順が、過度に保守的なリスク評価と必要最低限のユーティリティにつながることを実証する。
本稿では,ノイズスケールを望ましい攻撃リスクレベルに調整する手法を提案し,$\epsilon$を選択する中間ステップを回避した。
ターゲット攻撃リスクに対して、我々のアプローチはノイズスケールを著しく減少させ、同一のプライバシーレベルでの実用性の向上につながる。
プライバシ保存型MLモデルをトレーニングする場合、$\epsilon$ではなく、感度/特異性を攻撃するためのノイズの校正が、同じリスクレベルのモデル精度を大幅に向上することを示す。
私たちの仕事は、プライバシを犠牲にすることなく、プライバシ保護MLの有用性を改善するための原則的で実用的な方法を提供します。
関連論文リスト
- Calibrating Practical Privacy Risks for Differentially Private Machine Learning [5.363664265121231]
モデルトレーニングにおいて、より柔軟なプライバシ予算設定を可能にするために、攻撃の成功率を下げるアプローチについて検討する。
プライバシに敏感な機能を選択的に抑制することで、アプリケーション固有のデータユーティリティを損なうことなく、低いASR値を達成できることがわかりました。
論文 参考訳(メタデータ) (2024-10-30T03:52:01Z) - Adaptive Differential Privacy in Federated Learning: A Priority-Based
Approach [0.0]
フェデレートラーニング(FL)は、ローカルデータセットに直接アクセスせずにグローバルモデルを開発する。
DPはパラメータに一定のノイズを加えることで、プライバシーを保証するフレームワークを提供する。
本稿では,特徴量の相対的重要度に基づいて入射雑音の値を決定するFLの適応雑音付加法を提案する。
論文 参考訳(メタデータ) (2024-01-04T03:01:15Z) - To share or not to share: What risks would laypeople accept to give sensitive data to differentially-private NLP systems? [14.586789605230672]
私たちは、$varepsilon$の値を決定することは、研究者やシステム開発者の手だけにすべきではない、と論じています。
我々は,不確実な意思決定状況における人々の行動を研究するために,行動実験(311名)を実施している。
論文 参考訳(メタデータ) (2023-07-13T12:06:48Z) - Analyzing Privacy Leakage in Machine Learning via Multiple Hypothesis
Testing: A Lesson From Fano [83.5933307263932]
本研究では,離散データに対するデータ再構成攻撃について検討し,仮説テストの枠組みの下で解析する。
基礎となるプライベートデータが$M$のセットから値を取ると、ターゲットのプライバシパラメータ$epsilon$が$O(log M)$になる。
論文 参考訳(メタデータ) (2022-10-24T23:50:12Z) - TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。
プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。
我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
論文 参考訳(メタデータ) (2022-10-07T08:44:35Z) - Fine-Tuning with Differential Privacy Necessitates an Additional
Hyperparameter Search [38.83524780461911]
トレーニング済みニューラルネットワークで微調整されたレイヤを慎重に選択することで、プライバシと正確性の間に新たな最先端のトレードオフを確立することができることを示す。
ImageNetで事前トレーニングされたモデルに対して、CIFAR-100上で$(varepsilon, delta)= (2, 10-5)$に対して77.9%の精度を達成する。
論文 参考訳(メタデータ) (2022-10-05T11:32:49Z) - Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。
ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。
これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
論文 参考訳(メタデータ) (2022-06-06T13:49:37Z) - Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for
Private Learning [74.73901662374921]
差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。
偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
論文 参考訳(メタデータ) (2021-02-25T04:29:58Z) - Learning with User-Level Privacy [61.62978104304273]
ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。
個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。
プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
論文 参考訳(メタデータ) (2021-02-23T18:25:13Z) - RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial
Network [75.81653258081435]
GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。
しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。
本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
論文 参考訳(メタデータ) (2020-07-04T09:51:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。