論文の概要: Gradients Look Alike: Sensitivity is Often Overestimated in DP-SGD

• arxiv url: http://arxiv.org/abs/2307.00310v3
• Date: Tue, 16 Jul 2024 07:06:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-18 00:10:39.552377
• Title: Gradients Look Alike: Sensitivity is Often Overestimated in DP-SGD
• Title（参考訳）: DP-SGDでは感度が過大評価される
• Authors: Anvith Thudi, Hengrui Jia, Casey Meehan, Ilia Shumailov, Nicolas Papernot,
• Abstract要約: DP-SGDのリークは、一般的なベンチマークでトレーニングした場合、多くのデータポイントのプライバシが大幅に低下することを示す。 これは、敵がトレーニングデータセットを十分にコントロールしていない場合、プライバシ攻撃が多くのデータポイントに対して必ず失敗することを意味する。
• 参考スコア（独自算出の注目度）: 44.11069254181353
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentially private stochastic gradient descent (DP-SGD) is the canonical approach to private deep learning. While the current privacy analysis of DP-SGD is known to be tight in some settings, several empirical results suggest that models trained on common benchmark datasets leak significantly less privacy for many datapoints. Yet, despite past attempts, a rigorous explanation for why this is the case has not been reached. Is it because there exist tighter privacy upper bounds when restricted to these dataset settings, or are our attacks not strong enough for certain datapoints? In this paper, we provide the first per-instance (i.e., ``data-dependent") DP analysis of DP-SGD. Our analysis captures the intuition that points with similar neighbors in the dataset enjoy better data-dependent privacy than outliers. Formally, this is done by modifying the per-step privacy analysis of DP-SGD to introduce a dependence on the distribution of model updates computed from a training dataset. We further develop a new composition theorem to effectively use this new per-step analysis to reason about an entire training run. Put all together, our evaluation shows that this novel DP-SGD analysis allows us to now formally show that DP-SGD leaks significantly less privacy for many datapoints (when trained on common benchmarks) than the current data-independent guarantee. This implies privacy attacks will necessarily fail against many datapoints if the adversary does not have sufficient control over the possible training datasets.
• Abstract（参考訳）: 個人的確率勾配勾配勾配(DP-SGD)は、個人的深層学習における標準的アプローチである。 DP-SGDの現在のプライバシ分析は、いくつかの設定では厳密であることが知られているが、いくつかの実証的な結果は、一般的なベンチマークデータセットでトレーニングされたモデルが、多くのデータポイントのプライバシを著しく減らすことを示唆している。 しかし、過去の試みにもかかわらず、なぜこれがそうなるのかという厳格な説明は得られていない。 これは、これらのデータセット設定に制限された場合、より厳格なプライバシー上限が存在するためなのか、あるいは特定のデータポイントに対して、我々の攻撃は不十分なのか? 本稿では,DP-SGD の初 DP 解析(すなわち ``data-dependent' )を行う。 我々の分析では、データセット内の類似の隣人が、アウトリージよりもデータ依存のプライバシを享受していることを示す直感を捉えています。 形式的には、DP-SGDのステップごとのプライバシー分析を変更して、トレーニングデータセットから計算されたモデル更新の分布に依存するようにする。 我々はさらに、この新たなステップごとの分析を効果的に活用して、トレーニングの実行全体について推論する新しい合成定理を開発した。 まとめると、この新たなDP-SGD分析により、DP-SGDのリークが、現在のデータ非依存保証よりも多くのデータポイント(一般的なベンチマークでトレーニングされた場合)のプライバシーを著しく少なくすることを示すことができる。 これは、敵がトレーニングデータセットを十分にコントロールしていない場合、プライバシ攻撃が多くのデータポイントに対して必ず失敗することを意味する。

関連論文リスト

• Noise-Aware Differentially Private Regression via Meta-Learning [25.14514068630219]
  差別化プライバシ(DP)は、ユーザのプライバシを保護するための金の標準であるが、標準のDPメカニズムはパフォーマンスを著しく損なう。 この問題を緩和する1つのアプローチは、DPがプライベートデータで学習する前にシミュレーションデータ上でモデルを事前訓練することである。 本研究では、シミュレーションデータを用いて、畳み込み条件ニューラルネットワーク(ConvCNP)と改良された機能DPメカニズムを組み合わせたメタ学習モデルをトレーニングする。
  論文  参考訳（メタデータ） (2024-06-12T18:11:24Z)
• How Private are DP-SGD Implementations? [61.19794019914523]
  2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。 その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
  論文  参考訳（メタデータ） (2024-03-26T13:02:43Z)
• Conciliating Privacy and Utility in Data Releases via Individual Differential Privacy and Microaggregation [4.287502453001108]
  $epsilon$-Differential Privacy(DP)は、強力なプライバシ保証を提供するよく知られたプライバシモデルである。 被験者にDPと同じ保護を提供しながらデータ歪みを低減させるiDP ($epsilon$-individual differential privacy) を提案する。 本稿では,2次データ解析の精度を著しく低下させることのない保護データを提供しながら,我々のアプローチが強力なプライバシ(小額のepsilon$)を提供することを示す実験について報告する。
  論文  参考訳（メタデータ） (2023-12-21T10:23:18Z)
• Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks [72.51255282371805]
  我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。 このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
  論文  参考訳（メタデータ） (2023-10-31T16:13:22Z)
• Private Ad Modeling with DP-SGD [58.670969449674395]
  プライバシ保護MLにおけるよく知られたアルゴリズムは、差分プライベート勾配降下(DP-SGD)である 本研究では,DP-SGDをクリックスルー率,変換率,変換イベント数などの広告モデリングタスクに適用する。 私たちの研究は、DP-SGDが広告モデリングタスクのプライバシーとユーティリティの両方を提供できることを実証的に実証した初めてのものです。
  論文  参考訳（メタデータ） (2022-11-21T22:51:16Z)
• Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
  DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。 ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。 これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
  論文  参考訳（メタデータ） (2022-06-06T13:49:37Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• DP-SGD vs PATE: Which Has Less Disparate Impact on GANs? [0.0]
  我々は、ディープラーニング、DP-SGD、PATEの2つのよく知られたDPフレームワークで訓練されたGANを、異なるデータ不均衡設定で比較する。 我々の実験は、PATEがDP-SGDと異なり、プライバシーとユーティリティのトレードオフは単調に減少していないことを一貫して示している。
  論文  参考訳（メタデータ） (2021-11-26T17:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。