論文の概要: Gradients Look Alike: Sensitivity is Often Overestimated in DP-SGD

• arxiv url: http://arxiv.org/abs/2307.00310v1
• Date: Sat, 1 Jul 2023 11:51:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-05 16:41:47.261415
• Title: Gradients Look Alike: Sensitivity is Often Overestimated in DP-SGD
• Title（参考訳）: DP-SGDでは感度が過大評価される
• Authors: Anvith Thudi, Hengrui Jia, Casey Meehan, Ilia Shumailov, Nicolas Papernot
• Abstract要約: 個人差分勾配降下法(DP-SGD)は、個人深層学習のための標準アルゴリズムである。 我々はDP-SGDの新しい分析法を開発し、データセット内の類似の隣人がアウトリージよりも優れたプライバシーを享受していることを示す直感を捉えた。
• 参考スコア（独自算出の注目度）: 30.252171373820175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentially private stochastic gradient descent (DP-SGD) is the canonical algorithm for private deep learning. While it is known that its privacy analysis is tight in the worst-case, several empirical results suggest that when training on common benchmark datasets, the models obtained leak significantly less privacy for many datapoints. In this paper, we develop a new analysis for DP-SGD that captures the intuition that points with similar neighbors in the dataset enjoy better privacy than outliers. Formally, this is done by modifying the per-step privacy analysis of DP-SGD to introduce a dependence on the distribution of model updates computed from a training dataset. We further develop a new composition theorem to effectively use this new per-step analysis to reason about an entire training run. Put all together, our evaluation shows that this novel DP-SGD analysis allows us to now formally show that DP-SGD leaks significantly less privacy for many datapoints. In particular, we observe that correctly classified points obtain better privacy guarantees than misclassified points.
• Abstract（参考訳）: differentially private stochastic gradient descent (dp-sgd) は、民間ディープラーニングの標準アルゴリズムである。 そのプライバシ解析は最悪のケースでは厳しいことが知られているが、いくつかの実験結果から、一般的なベンチマークデータセットでトレーニングすると、多くのデータポイントのプライバシが大幅に低下したことが示されている。 本稿では,DP-SGDの新しい分析法を開発し,データセットの類似した隣人がアウトリージよりもプライバシーを享受できることを示す。 形式的には、DP-SGDのステップごとのプライバシー分析を変更して、トレーニングデータセットから計算されたモデル更新の分布に依存するようにする。 さらに,新しい構成定理を考案し,この新しい1ステップ分析を,トレーニング実行全体の推論に有効活用する。 まとめると、この新たなDP-SGD分析により、DP-SGDのリークが多くのデータポイントのプライバシーを著しく低下させることを示すことができる。 特に、正しく分類されたポイントは、誤分類されたポイントよりも優れたプライバシー保証が得られることを観察する。

関連論文リスト

• Noise-Aware Differentially Private Regression via Meta-Learning [25.14514068630219]
  差別化プライバシ(DP)は、ユーザのプライバシを保護するための金の標準であるが、標準のDPメカニズムはパフォーマンスを著しく損なう。 この問題を緩和する1つのアプローチは、DPがプライベートデータで学習する前にシミュレーションデータ上でモデルを事前訓練することである。 本研究では、シミュレーションデータを用いて、畳み込み条件ニューラルネットワーク(ConvCNP)と改良された機能DPメカニズムを組み合わせたメタ学習モデルをトレーニングする。
  論文  参考訳（メタデータ） (2024-06-12T18:11:24Z)
• How Private are DP-SGD Implementations? [61.19794019914523]
  2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。 その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
  論文  参考訳（メタデータ） (2024-03-26T13:02:43Z)
• Conciliating Privacy and Utility in Data Releases via Individual Differential Privacy and Microaggregation [4.287502453001108]
  $epsilon$-Differential Privacy(DP)は、強力なプライバシ保証を提供するよく知られたプライバシモデルである。 被験者にDPと同じ保護を提供しながらデータ歪みを低減させるiDP ($epsilon$-individual differential privacy) を提案する。 本稿では,2次データ解析の精度を著しく低下させることのない保護データを提供しながら,我々のアプローチが強力なプライバシ(小額のepsilon$)を提供することを示す実験について報告する。
  論文  参考訳（メタデータ） (2023-12-21T10:23:18Z)
• Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks [72.51255282371805]
  我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。 このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
  論文  参考訳（メタデータ） (2023-10-31T16:13:22Z)
• Private Ad Modeling with DP-SGD [58.670969449674395]
  プライバシ保護MLにおけるよく知られたアルゴリズムは、差分プライベート勾配降下(DP-SGD)である 本研究では,DP-SGDをクリックスルー率,変換率,変換イベント数などの広告モデリングタスクに適用する。 私たちの研究は、DP-SGDが広告モデリングタスクのプライバシーとユーティリティの両方を提供できることを実証的に実証した初めてのものです。
  論文  参考訳（メタデータ） (2022-11-21T22:51:16Z)
• Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
  DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。 ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。 これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
  論文  参考訳（メタデータ） (2022-06-06T13:49:37Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• DP-SGD vs PATE: Which Has Less Disparate Impact on GANs? [0.0]
  我々は、ディープラーニング、DP-SGD、PATEの2つのよく知られたDPフレームワークで訓練されたGANを、異なるデータ不均衡設定で比較する。 我々の実験は、PATEがDP-SGDと異なり、プライバシーとユーティリティのトレードオフは単調に減少していないことを一貫して示している。
  論文  参考訳（メタデータ） (2021-11-26T17:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。