論文の概要: Removing Disparate Impact of Differentially Private Stochastic Gradient
Descent on Model Accuracy
- arxiv url: http://arxiv.org/abs/2003.03699v2
- Date: Sun, 27 Sep 2020 21:04:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-25 14:06:46.115341
- Title: Removing Disparate Impact of Differentially Private Stochastic Gradient
Descent on Model Accuracy
- Title(参考訳): 微分プライベート確率勾配降下によるモデル精度への影響の除去
- Authors: Depeng Xu, Wei Du and Xintao Wu
- Abstract要約: 機械学習において差分プライバシを強制する場合、ユーティリティプライバシのトレードオフは各グループごとに異なります。
本研究では、差分プライバシーによるユーティリティ損失の不等式の分析を行い、修正差分プライベート勾配勾配(DPSGD)を提案する。
実験により, DPSGDFにおけるグループ標本サイズとグループクリッピングバイアスが, DPSGDFにおける差分プライバシの影響に及ぼす影響と, DPSGDFにおける差分プライバシによる差分クリッピングの影響を緩和する要因について検討した。
- 参考スコア(独自算出の注目度): 18.69118059633505
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When we enforce differential privacy in machine learning, the utility-privacy
trade-off is different w.r.t. each group. Gradient clipping and random noise
addition disproportionately affect underrepresented and complex classes and
subgroups, which results in inequality in utility loss. In this work, we
analyze the inequality in utility loss by differential privacy and propose a
modified differentially private stochastic gradient descent (DPSGD), called
DPSGD-F, to remove the potential disparate impact of differential privacy on
the protected group. DPSGD-F adjusts the contribution of samples in a group
depending on the group clipping bias such that differential privacy has no
disparate impact on group utility. Our experimental evaluation shows how group
sample size and group clipping bias affect the impact of differential privacy
in DPSGD, and how adaptive clipping for each group helps to mitigate the
disparate impact caused by differential privacy in DPSGD-F.
- Abstract(参考訳): 機械学習において差分プライバシを強制する場合、ユーティリティプライバシのトレードオフは各グループごとに異なります。
グラディエントクリッピングとランダムノイズ付加は、過度に表現され複雑なクラスやサブグループに影響を及ぼし、ユーティリティー損失の不平等をもたらす。
本研究では、差分プライバシーによるユーティリティ損失の不平等を分析し、DPSGD-Fと呼ばれる差分個人確率勾配勾配(DPSGD)を修正し、保護されたグループに対する差分プライバシーの潜在的な異なる影響を除去する。
DPSGD-Fは、グループクリッピングバイアスに応じてグループ内のサンプルのコントリビューションを調整する。
実験により, dpsgdにおける差分プライバシーの影響に対するグループサンプルサイズとグループクリッピングバイアスの影響と, dpsgd-fにおけるディファレンシャルプライバシに起因する異なる影響を, それぞれのグループに対する適応クリッピングが軽減することを示す。
関連論文リスト
- Differentially Private SGD Without Clipping Bias: An Error-Feedback
Approach [67.7315816158682]
Differentially Private Gradient Descent with gradient clipping (DPSGD-GC)は、ディープラーニングモデルをトレーニングするための強力なツールである。
DPノイズインジェクションと勾配クリッピングによるモデル性能劣化のコストがかかる。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-24T17:56:44Z) - Causal Inference with Differentially Private (Clustered) Outcomes [10.08890668924377]
ランダム化実験から因果効果を推定することは、参加者が反応を明らかにすることに同意すれば実現可能である。
データの任意のクラスタ構造を利用する新たな差分プライバシメカニズムであるCluster-DPを提案する。
クラスタの品質を直感的に測定することで,プライバシ保証を維持しながら分散損失を改善することができることを示す。
論文 参考訳(メタデータ) (2023-08-02T05:51:57Z) - Differentially Private Federated Clustering over Non-IID Data [59.611244450530315]
クラスタリングクラスタ(FedC)問題は、巨大なクライアント上に分散されたラベルなしデータサンプルを、サーバのオーケストレーションの下で有限のクライアントに正確に分割することを目的としている。
本稿では,DP-Fedと呼ばれる差分プライバシー収束手法を用いた新しいFedCアルゴリズムを提案する。
提案するDP-Fedの様々な属性は、プライバシー保護の理論的解析、特に非識別的かつ独立に分散された(非i.d.)データの場合において得られる。
論文 参考訳(メタデータ) (2023-01-03T05:38:43Z) - Differential Privacy has Bounded Impact on Fairness in Classification [7.022004731560844]
分類における差分プライバシーが公平性に与える影響について検討する。
モデルのクラスを考えると、一般的な群フェアネス測度はモデルのパラメータに関してポイントワイズ・リプシッツ連続であることが証明される。
論文 参考訳(メタデータ) (2022-10-28T16:19:26Z) - The Impact of Differential Privacy on Group Disparity Mitigation [28.804933301007644]
差分プライバシーが4つのタスクの公平性に与える影響を評価する。
私たちは、経験的リスク最小化を伴う$(varepsilon,delta)$-differentially privateモデルをトレーニングします。
基本設定におけるグループ間性能差は,差分プライバシが増加することが判明した。
しかし、差分プライバシーは、ロバストな設定におけるグループ間のパフォーマンス差を減少させる。
論文 参考訳(メタデータ) (2022-03-05T13:55:05Z) - Post-processing of Differentially Private Data: A Fairness Perspective [53.29035917495491]
本稿では,ポストプロセッシングが個人やグループに異なる影響を与えることを示す。
差分的にプライベートなデータセットのリリースと、ダウンストリームの決定にそのようなプライベートなデータセットを使用するという、2つの重要な設定を分析している。
それは、異なる公正度尺度の下で(ほぼ)最適である新しい後処理機構を提案する。
論文 参考訳(メタデータ) (2022-01-24T02:45:03Z) - Robin Hood and Matthew Effects -- Differential Privacy Has Disparate
Impact on Synthetic Data [3.2345600015792564]
我々は、差分プライバシーが生成モデルに与える影響を分析する。
生成した合成データにおいて,DPが逆サイズ分布となることを示す。
我々は、合成データに基づいてモデルを分析または訓練する際の注意を呼びかける。
論文 参考訳(メタデータ) (2021-09-23T15:14:52Z) - Partial sensitivity analysis in differential privacy [58.730520380312676]
それぞれの入力特徴が個人のプライバシ損失に与える影響について検討する。
プライベートデータベース上でのクエリに対する我々のアプローチを実験的に評価する。
また、合成データにおけるニューラルネットワークトレーニングの文脈における知見についても検討する。
論文 参考訳(メタデータ) (2021-09-22T08:29:16Z) - Differentially Private Deep Learning under the Fairness Lens [34.28936739262812]
微分プライバシー(DP)は、プライベート機械学習システムにとって重要なプライバシー強化技術である。
計算に個々の参加に伴うリスクを計測し、バウンドすることができる。
近年,DP学習システムは,個人集団の偏見や不公平性を悪化させる可能性が指摘されている。
論文 参考訳(メタデータ) (2021-06-04T19:10:09Z) - RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial
Network [75.81653258081435]
GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。
しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。
本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
論文 参考訳(メタデータ) (2020-07-04T09:51:02Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳(メタデータ) (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。