論文の概要: Tempered Sigmoid Activations for Deep Learning with Differential Privacy
- arxiv url: http://arxiv.org/abs/2007.14191v1
- Date: Tue, 28 Jul 2020 13:19:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-06 01:52:21.894048
- Title: Tempered Sigmoid Activations for Deep Learning with Differential Privacy
- Title(参考訳): 差分プライバシーを用いた深層学習のための温かいシグモイド活性化
- Authors: Nicolas Papernot, Abhradeep Thakurta, Shuang Song, Steve Chien,
\'Ulfar Erlingsson
- Abstract要約: 活性化関数の選択は、プライバシー保護の深層学習の感度を束縛することの中心であることを示す。
我々は,MNIST,FashionMNIST,CIFAR10に対して,学習手順の基礎を変更することなく,新たな最先端の精度を実現する。
- 参考スコア(独自算出の注目度): 33.574715000662316
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Because learning sometimes involves sensitive data, machine learning
algorithms have been extended to offer privacy for training data. In practice,
this has been mostly an afterthought, with privacy-preserving models obtained
by re-running training with a different optimizer, but using the model
architectures that already performed well in a non-privacy-preserving setting.
This approach leads to less than ideal privacy/utility tradeoffs, as we show
here. Instead, we propose that model architectures are chosen ab initio
explicitly for privacy-preserving training.
To provide guarantees under the gold standard of differential privacy, one
must bound as strictly as possible how individual training points can possibly
affect model updates. In this paper, we are the first to observe that the
choice of activation function is central to bounding the sensitivity of
privacy-preserving deep learning. We demonstrate analytically and
experimentally how a general family of bounded activation functions, the
tempered sigmoids, consistently outperform unbounded activation functions like
ReLU. Using this paradigm, we achieve new state-of-the-art accuracy on MNIST,
FashionMNIST, and CIFAR10 without any modification of the learning procedure
fundamentals or differential privacy analysis.
- Abstract(参考訳): 学習にはセンシティブなデータがあるため、トレーニングデータのプライバシを提供するために機械学習アルゴリズムが拡張されている。
プライバシ保護モデルは、異なるオプティマイザで再実行されたトレーニングによって得られるが、プライバシ保護でない設定ですでにうまく機能しているモデルアーキテクチャを使用する。
このアプローチは、ここで示すように、理想的なプライバシ/ユーティリティトレードオフよりも少なくなります。
代わりに、プライバシ保護トレーニングのためにモデルアーキテクチャが明示的に選択されることを提案する。
差分プライバシーのゴールド標準の下で保証を提供するためには、個々のトレーニングポイントがモデル更新にどのように影響するかを可能な限り厳格に制限する必要がある。
本稿では,アクティベーション関数の選択が,プライバシ保護の深層学習の感度を束縛することの中心であることを初めて観察する。
解析的および実験的に,reluのような非有界アクティベーション関数であるテンパードシグモイドが,一貫して非有界アクティベーション関数よりも優れていることを示す。
このパラダイムを用いて,MNIST,FashionMNIST,CIFAR10において,学習手順の基礎の変更や差分プライバシー解析を伴わずに,新たな最先端の精度を実現する。
関連論文リスト
- Differentially Private Model-Based Offline Reinforcement Learning [51.1231068185106]
DP-MORLは差分プライバシーを保証するアルゴリズムである。
環境のプライベートモデルは、まずオフラインデータから学習される。
次に、モデルベースのポリシー最適化を使用して、プライベートモデルからポリシーを導出します。
論文 参考訳(メタデータ) (2024-02-08T10:05:11Z) - Training Private Models That Know What They Don't Know [40.19666295972155]
いくつかの一般的な選択的予測手法は、差分的にプライベートな環境では効果がないことがわかった。
モデルユーティリティレベルを越えた選択予測性能を分離する新しい評価機構を提案する。
論文 参考訳(メタデータ) (2023-05-28T12:20:07Z) - Exploring Machine Learning Privacy/Utility trade-off from a
hyperparameters Lens [10.727571921061024]
Differentially Private Descent Gradient (DPSGD)は、プライバシ保護モデルをトレーニングするための最先端の手法である。
アクティベーション関数をドロップインで置き換えることで、新しい最先端の精度を実現する。
論文 参考訳(メタデータ) (2023-03-03T09:59:42Z) - Tight Auditing of Differentially Private Machine Learning [77.38590306275877]
プライベート機械学習では、既存の監査メカニズムは厳格である。
彼らは不確実な最悪の仮定の下でのみ厳密な見積もりを行う。
我々は、自然(逆向きではない)データセットの厳密なプライバシー推定を得られる改善された監査スキームを設計する。
論文 参考訳(メタデータ) (2023-02-15T21:40:33Z) - Fine-Tuning with Differential Privacy Necessitates an Additional
Hyperparameter Search [38.83524780461911]
トレーニング済みニューラルネットワークで微調整されたレイヤを慎重に選択することで、プライバシと正確性の間に新たな最先端のトレードオフを確立することができることを示す。
ImageNetで事前トレーニングされたモデルに対して、CIFAR-100上で$(varepsilon, delta)= (2, 10-5)$に対して77.9%の精度を達成する。
論文 参考訳(メタデータ) (2022-10-05T11:32:49Z) - Privacy-Preserving Distributed Expectation Maximization for Gaussian
Mixture Model using Subspace Perturbation [4.2698418800007865]
フェデレーション学習は、プライベートデータの送信を許可せず、中間更新のみを許可するため、プライバシー上の懸念によって動機付けられている。
我々は、各ステップの更新を安全に計算できる、完全に分散化されたプライバシ保存ソリューションを提案する。
数値検証により,提案手法は,精度とプライバシの両面において,既存手法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2022-09-16T09:58:03Z) - Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。
本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
論文 参考訳(メタデータ) (2022-09-09T08:54:13Z) - On the utility and protection of optimization with differential privacy
and classic regularization techniques [9.413131350284083]
本稿では,標準最適化手法に対するDP-SGDアルゴリズムの有効性について検討する。
我々は、差分プライバシーの欠陥と限界について議論し、ドロップアウトとl2-規則化のプライバシー保護特性がしばしば優れていることを実証した。
論文 参考訳(メタデータ) (2022-09-07T14:10:21Z) - Just Fine-tune Twice: Selective Differential Privacy for Large Language
Models [69.66654761324702]
本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。
実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
論文 参考訳(メタデータ) (2022-04-15T22:36:55Z) - Understanding Clipping for Federated Learning: Convergence and
Client-Level Differential Privacy [67.4471689755097]
本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。
本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
論文 参考訳(メタデータ) (2021-06-25T14:47:19Z) - Robustness Threats of Differential Privacy [70.818129585404]
我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。
本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
論文 参考訳(メタデータ) (2020-12-14T18:59:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。