論文の概要: A Differentially Private Framework for Deep Learning with Convexified
Loss Functions
- arxiv url: http://arxiv.org/abs/2204.01049v1
- Date: Sun, 3 Apr 2022 11:10:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-05 17:00:29.530825
- Title: A Differentially Private Framework for Deep Learning with Convexified
Loss Functions
- Title（参考訳）: 対流損失関数を用いた深層学習のための微分プライベートフレームワーク
- Authors: Zhigang Lu, Hassan Jameel Asghar, Mohamed Ali Kaafar, Darren Webb,
Peter Dickinson
- Abstract要約: 差分プライバシー(DP)は、基礎となるトレーニングセットのプライバシーを保護するためにディープラーニングに応用されている。
既存のDP実践は、客観的摂動、勾配摂動、出力摂動の3つのカテゴリに分類される。
本稿では,DPノイズをランダムにサンプリングしたニューロンに注入し,新しい出力摂動機構を提案する。
- 参考スコア（独自算出の注目度）: 4.059849656394191
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Differential privacy (DP) has been applied in deep learning for preserving
privacy of the underlying training sets. Existing DP practice falls into three
categories - objective perturbation, gradient perturbation and output
perturbation. They suffer from three main problems. First, conditions on
objective functions limit objective perturbation in general deep learning
tasks. Second, gradient perturbation does not achieve a satisfactory
privacy-utility trade-off due to over-injected noise in each epoch. Third, high
utility of the output perturbation method is not guaranteed because of the
loose upper bound on the global sensitivity of the trained model parameters as
the noise scale parameter. To address these problems, we analyse a tighter
upper bound on the global sensitivity of the model parameters. Under a
black-box setting, based on this global sensitivity, to control the overall
noise injection, we propose a novel output perturbation framework by injecting
DP noise into a randomly sampled neuron (via the exponential mechanism) at the
output layer of a baseline non-private neural network trained with a
convexified loss function. We empirically compare the privacy-utility
trade-off, measured by accuracy loss to baseline non-private models and the
privacy leakage against black-box membership inference (MI) attacks, between
our framework and the open-source differentially private stochastic gradient
descent (DP-SGD) approaches on six commonly used real-world datasets. The
experimental evaluations show that, when the baseline models have observable
privacy leakage under MI attacks, our framework achieves a better
privacy-utility trade-off than existing DP-SGD implementations, given an
overall privacy budget $\epsilon \leq 1$ for a large number of queries.
- Abstract（参考訳）: 差分プライバシー(DP)は、基礎となるトレーニングセットのプライバシーを保護するためにディープラーニングに応用されている。
既存のDP実践は、客観的摂動、勾配摂動、出力摂動の3つのカテゴリに分類される。
主に3つの問題を抱えている。
まず、目的関数の条件は、一般的なディープラーニングタスクにおける目的摂動を制限する。
第2に、勾配摂動は、各エポックにおける過剰なインジェクションノイズによる、十分なプライバシー利用のトレードオフを達成できない。
第3に、トレーニングしたモデルパラメータをノイズスケールパラメータとして大域的感度のゆるい上限のため、出力摂動法の高可用性は保証されない。
これらの問題に対処するために,モデルパラメータのグローバル感度の上限をより厳密に分析する。
この大域的感度に基づくブラックボックス環境下では, 対流損失関数を訓練したベースライン非プライベートニューラルネットワークの出力層において, ランダムにサンプリングされたニューロンにdpノイズを注入する(指数関数機構を介して)新しい出力摂動フレームワークを提案する。
我々は、ベースライン非プライベートモデルへの精度損失と、ブラックボックスメンバーシップ推論(MI)攻撃に対するプライバシリークによる、我々のフレームワークと、一般的に使用されている6つの実世界のデータセットに対するオープンソースの差分的確率勾配勾配(DP-SGD)アプローチを実証的に比較した。
実験により,ベースラインモデルがMI攻撃下で観測可能なプライバシリークが発生した場合,本フレームワークはDP-SGD実装よりも優れたプライバシユーティリティトレードオフを実現し,多数のクエリに対して,全体的なプライバシ予算が$\epsilon \leq 1$であることが確認された。
関連論文リスト
- Rethinking Improved Privacy-Utility Trade-off with Pre-existing Knowledge for DP Training [31.559864332056648]
異種雑音(DP-Hero)を有する一般微分プライバシーフレームワークを提案する。
DP-Hero上では、勾配更新に注入されたノイズが不均一であり、予め確立されたモデルパラメータによって誘導されるDP-SGDの異種バージョンをインスタンス化する。
提案するDP-Heroの有効性を検証・説明するための総合的な実験を行い,最新技術と比較するとトレーニング精度が向上した。
論文 参考訳（メタデータ） (2024-09-05T08:40:54Z) - Approximating Two-Layer ReLU Networks for Hidden State Analysis in Differential Privacy [3.8254443661593633]
DP-SGDで訓練した1つの隠蔽層ReLUネットワークに匹敵する,プライバシユーティリティトレードオフによる凸問題をプライベートにトレーニングすることが可能である。
ベンチマーク分類タスクの実験により、NoisyCGDは1層ReLUネットワークに適用されたDP-SGDに匹敵するプライバシー利用トレードオフを達成できることが示された。
論文 参考訳（メタデータ） (2024-07-05T22:43:32Z) - Adaptive Differential Privacy in Federated Learning: A Priority-Based
Approach [0.0]
フェデレートラーニング(FL)は、ローカルデータセットに直接アクセスせずにグローバルモデルを開発する。
DPはパラメータに一定のノイズを加えることで、プライバシーを保証するフレームワークを提供する。
本稿では,特徴量の相対的重要度に基づいて入射雑音の値を決定するFLの適応雑音付加法を提案する。
論文 参考訳（メタデータ） (2024-01-04T03:01:15Z) - Initialization Matters: Privacy-Utility Analysis of Overparameterized
Neural Networks [72.51255282371805]
我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。
このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
論文 参考訳（メタデータ） (2023-10-31T16:13:22Z) - Privacy Loss of Noisy Stochastic Gradient Descent Might Converge Even
for Non-Convex Losses [4.68299658663016]
Noisy-SGDアルゴリズムは機械学習モデルのプライベートトレーニングに広く利用されている。
最近の研究によると、もし内部の状態が隠されたままなら、プライバシーの喪失は行き詰まる可能性がある。
DP-SGDは,学習過程における個々のサンプルの影響を抑えるために,勾配クリッピングを取り入れたNuisy-SGDの一般的な変種である。
論文 参考訳（メタデータ） (2023-05-17T02:25:56Z) - Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。
本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
論文 参考訳（メタデータ） (2022-09-09T08:54:13Z) - DP-UTIL: Comprehensive Utility Analysis of Differential Privacy in
Machine Learning [3.822543555265593]
差別化プライバシ(DP)は、プライバシー漏洩を理由とする厳格な形式主義として浮上している。
機械学習(ML)では、DPはトレーニング例の限定/開示に使用されている。
ディープニューラルネットワークの場合、勾配の摂動はプライバシリークを低くする。
論文 参考訳（メタデータ） (2021-12-24T08:40:28Z) - Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for
Private Learning [74.73901662374921]
差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。
偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
論文 参考訳（メタデータ） (2021-02-25T04:29:58Z) - Robustness Threats of Differential Privacy [70.818129585404]
我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。
本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
論文 参考訳（メタデータ） (2020-12-14T18:59:24Z) - Graph-Homomorphic Perturbations for Private Decentralized Learning [64.26238893241322]
ローカルな見積もりの交換は、プライベートデータに基づくデータの推測を可能にする。
すべてのエージェントで独立して選択された摂動により、パフォーマンスが著しく低下する。
本稿では,特定のヌル空間条件に従って摂動を構成する代替スキームを提案する。
論文 参考訳（メタデータ） (2020-10-23T10:35:35Z) - RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial
Network [75.81653258081435]
GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。
しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。
本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
論文 参考訳（メタデータ） (2020-07-04T09:51:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。