論文の概要: Attack-Aware Noise Calibration for Differential Privacy
- arxiv url: http://arxiv.org/abs/2407.02191v2
- Date: Thu, 07 Nov 2024 21:51:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-11 14:53:11.094066
- Title: Attack-Aware Noise Calibration for Differential Privacy
- Title(参考訳): ディファレンシャルプライバシのためのアタック・アウェアノイズ校正
- Authors: Bogdan Kulynych, Juan Felipe Gomez, Georgios Kaissis, Flavio du Pin Calmon, Carmela Troncoso,
- Abstract要約: 差分プライバシー(DP)は、機密データに基づいて機械学習モデルをトレーニングする際のプライバシーリスクを軽減するために広く用いられるアプローチである。
プライバシとユーティリティのトレードオフを決定するため、追加されるノイズの規模は極めて重要です。
まず、ノイズスケールをプライバシー予算$varepsilon$に調整し、それからリスクを攻撃するためにepsilonを翻訳すると、過度に保守的なリスク評価につながることを示す。
- 参考スコア(独自算出の注目度): 11.222654178949234
- License:
- Abstract: Differential privacy (DP) is a widely used approach for mitigating privacy risks when training machine learning models on sensitive data. DP mechanisms add noise during training to limit the risk of information leakage. The scale of the added noise is critical, as it determines the trade-off between privacy and utility. The standard practice is to select the noise scale to satisfy a given privacy budget $\varepsilon$. This privacy budget is in turn interpreted in terms of operational attack risks, such as accuracy, sensitivity, and specificity of inference attacks aimed to recover information about the training data records. We show that first calibrating the noise scale to a privacy budget $\varepsilon$, and then translating {\epsilon} to attack risk leads to overly conservative risk assessments and unnecessarily low utility. Instead, we propose methods to directly calibrate the noise scale to a desired attack risk level, bypassing the step of choosing $\varepsilon$. For a given notion of attack risk, our approach significantly decreases noise scale, leading to increased utility at the same level of privacy. We empirically demonstrate that calibrating noise to attack sensitivity/specificity, rather than $\varepsilon$, when training privacy-preserving ML models substantially improves model accuracy for the same risk level. Our work provides a principled and practical way to improve the utility of privacy-preserving ML without compromising on privacy. The code is available at https://github.com/Felipe-Gomez/riskcal
- Abstract(参考訳): 差分プライバシー(DP)は、機密データに基づいて機械学習モデルをトレーニングする際のプライバシーリスクを軽減するために広く用いられるアプローチである。
DPメカニズムは、情報漏洩のリスクを制限するために、トレーニング中にノイズを追加する。
プライバシとユーティリティのトレードオフを決定するため、追加されるノイズの規模は極めて重要です。
標準のプラクティスは、所定のプライバシー予算を満足させるためにノイズスケールを選択することです。
このプライバシー予算は、トレーニングデータレコードに関する情報を回復することを目的とした推論攻撃の正確性、感度、特異性といった、運用上の攻撃リスクの観点から解釈される。
まず、ノイズスケールをプライバシー予算の$\varepsilonに調整し、次にリスクを攻撃するために {\epsilon} を翻訳すると、過度に保守的なリスク評価と不必要に低いユーティリティにつながります。
代わりに、我々は、$\varepsilon$を選択するステップを回避して、ノイズスケールを直接、望ましい攻撃リスクレベルに調整する方法を提案する。
特定の攻撃リスクの概念では、我々のアプローチはノイズスケールを著しく減らし、同じレベルのプライバシで実用性が向上する。
プライバシ保存MLモデルのトレーニングにおいて、$\varepsilon$ではなく、感度/特異性を攻撃するためのノイズの校正が、同じリスクレベルのモデル精度を大幅に向上することを示す。
私たちの仕事は、プライバシを犠牲にすることなく、プライバシ保護MLの有用性を改善するための原則的で実用的な方法を提供します。
コードはhttps://github.com/Felipe-Gomez/riskcalで入手できる。
関連論文リスト
- Calibrating Practical Privacy Risks for Differentially Private Machine Learning [5.363664265121231]
モデルトレーニングにおいて、より柔軟なプライバシ予算設定を可能にするために、攻撃の成功率を下げるアプローチについて検討する。
プライバシに敏感な機能を選択的に抑制することで、アプリケーション固有のデータユーティリティを損なうことなく、低いASR値を達成できることがわかりました。
論文 参考訳(メタデータ) (2024-10-30T03:52:01Z) - Adaptive Differential Privacy in Federated Learning: A Priority-Based
Approach [0.0]
フェデレートラーニング(FL)は、ローカルデータセットに直接アクセスせずにグローバルモデルを開発する。
DPはパラメータに一定のノイズを加えることで、プライバシーを保証するフレームワークを提供する。
本稿では,特徴量の相対的重要度に基づいて入射雑音の値を決定するFLの適応雑音付加法を提案する。
論文 参考訳(メタデータ) (2024-01-04T03:01:15Z) - Epsilon*: Privacy Metric for Machine Learning Models [7.461284823977013]
Epsilon*は、単一のモデルインスタンスのプライバシリスクを、プライバシ緩和戦略の展開前、またはデプロイ後、測定するための新しい指標である。
モデル予測へのブラックボックスアクセスのみを必要とし、トレーニングデータの再サンプリングやモデル再トレーニングを必要とせず、差分プライバシでトレーニングされていないモデルのプライバシリスクを測定するために使用できる。
論文 参考訳(メタデータ) (2023-07-21T00:49:07Z) - TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。
プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。
我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
論文 参考訳(メタデータ) (2022-10-07T08:44:35Z) - Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。
本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
論文 参考訳(メタデータ) (2022-09-09T08:54:13Z) - Brownian Noise Reduction: Maximizing Privacy Subject to Accuracy
Constraints [53.01656650117495]
研究者と実践者の間には、プライバシとユーティリティのトレードオフの扱い方の違いがある。
ブラウン機構は、まず擬ブラウン運動の最終点に対応する高分散のガウス雑音を加えることで機能する。
我々は、古典的AboveThresholdアルゴリズムの一般化であるReduceedAboveThresholdでブラウン機構を補完する。
論文 参考訳(メタデータ) (2022-06-15T01:43:37Z) - Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for
Private Learning [74.73901662374921]
差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。
偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
論文 参考訳(メタデータ) (2021-02-25T04:29:58Z) - Learning with User-Level Privacy [61.62978104304273]
ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。
個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。
プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
論文 参考訳(メタデータ) (2021-02-23T18:25:13Z) - RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial
Network [75.81653258081435]
GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。
しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。
本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
論文 参考訳(メタデータ) (2020-07-04T09:51:02Z) - Differential Privacy at Risk: Bridging Randomness and Privacy Budget [5.393465689287103]
我々は、ノイズ分布によって引き起こされる明示的ランダム性や、データ生成によって引き起こされる暗黙的ランダム性など、ランダム性源の役割を分析する。
プライバシ保存機構の確率的校正であるリスクのあるプライバシを提案する。
コスト最適プライバシを用いたコンポジションは,従来の高度なコンポジションよりも強力なプライバシ保証を提供することを示す。
論文 参考訳(メタデータ) (2020-03-02T15:44:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。