論文の概要: Tempered Sigmoid Activations for Deep Learning with Differential Privacy
- arxiv url: http://arxiv.org/abs/2007.14191v1
- Date: Tue, 28 Jul 2020 13:19:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-06 01:52:21.894048
- Title: Tempered Sigmoid Activations for Deep Learning with Differential Privacy
- Title（参考訳）: 差分プライバシーを用いた深層学習のための温かいシグモイド活性化
- Authors: Nicolas Papernot, Abhradeep Thakurta, Shuang Song, Steve Chien,
\'Ulfar Erlingsson
- Abstract要約: 活性化関数の選択は、プライバシー保護の深層学習の感度を束縛することの中心であることを示す。
我々は,MNIST,FashionMNIST,CIFAR10に対して,学習手順の基礎を変更することなく,新たな最先端の精度を実現する。
- 参考スコア（独自算出の注目度）: 33.574715000662316
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Because learning sometimes involves sensitive data, machine learning
algorithms have been extended to offer privacy for training data. In practice,
this has been mostly an afterthought, with privacy-preserving models obtained
by re-running training with a different optimizer, but using the model
architectures that already performed well in a non-privacy-preserving setting.
This approach leads to less than ideal privacy/utility tradeoffs, as we show
here. Instead, we propose that model architectures are chosen ab initio
explicitly for privacy-preserving training.
To provide guarantees under the gold standard of differential privacy, one
must bound as strictly as possible how individual training points can possibly
affect model updates. In this paper, we are the first to observe that the
choice of activation function is central to bounding the sensitivity of
privacy-preserving deep learning. We demonstrate analytically and
experimentally how a general family of bounded activation functions, the
tempered sigmoids, consistently outperform unbounded activation functions like
ReLU. Using this paradigm, we achieve new state-of-the-art accuracy on MNIST,
FashionMNIST, and CIFAR10 without any modification of the learning procedure
fundamentals or differential privacy analysis.
- Abstract（参考訳）: 学習にはセンシティブなデータがあるため、トレーニングデータのプライバシを提供するために機械学習アルゴリズムが拡張されている。
プライバシ保護モデルは、異なるオプティマイザで再実行されたトレーニングによって得られるが、プライバシ保護でない設定ですでにうまく機能しているモデルアーキテクチャを使用する。
このアプローチは、ここで示すように、理想的なプライバシ/ユーティリティトレードオフよりも少なくなります。
代わりに、プライバシ保護トレーニングのためにモデルアーキテクチャが明示的に選択されることを提案する。
差分プライバシーのゴールド標準の下で保証を提供するためには、個々のトレーニングポイントがモデル更新にどのように影響するかを可能な限り厳格に制限する必要がある。
本稿では,アクティベーション関数の選択が,プライバシ保護の深層学習の感度を束縛することの中心であることを初めて観察する。
解析的および実験的に,reluのような非有界アクティベーション関数であるテンパードシグモイドが,一貫して非有界アクティベーション関数よりも優れていることを示す。
このパラダイムを用いて,MNIST,FashionMNIST,CIFAR10において,学習手順の基礎の変更や差分プライバシー解析を伴わずに,新たな最先端の精度を実現する。
関連論文リスト
- Masked Differential Privacy [64.32494202656801]
本稿では,差分プライバシーを適用した機密領域を制御できる「マスク型差分プライバシー(DP)」という効果的なアプローチを提案する。
提案手法はデータに基づいて選択的に動作し,DPアプリケーションや差分プライバシーをデータサンプル内の他のプライバシー技術と組み合わせることなく,非感性時間領域を定義できる。
論文 参考訳（メタデータ） (2024-10-22T15:22:53Z) - Too Good to be True? Turn Any Model Differentially Private With DP-Weights [0.0]
トレーニング後のモデルの重みに差分プライバシーノイズを適用する,画期的なアプローチを導入する。
この新しいアプローチのプライバシ境界に対する包括的数学的証明を提供する。
我々は,メンバシップ推論攻撃とパフォーマンス評価を用いて,その効果を実証的に評価する。
論文 参考訳（メタデータ） (2024-06-27T19:58:11Z) - PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。
我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。
特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
論文 参考訳（メタデータ） (2023-10-03T22:37:01Z) - Training Private Models That Know What They Don't Know [40.19666295972155]
いくつかの一般的な選択的予測手法は、差分的にプライベートな環境では効果がないことがわかった。
モデルユーティリティレベルを越えた選択予測性能を分離する新しい評価機構を提案する。
論文 参考訳（メタデータ） (2023-05-28T12:20:07Z) - Exploring Machine Learning Privacy/Utility trade-off from a
hyperparameters Lens [10.727571921061024]
Differentially Private Descent Gradient (DPSGD)は、プライバシ保護モデルをトレーニングするための最先端の手法である。
アクティベーション関数をドロップインで置き換えることで、新しい最先端の精度を実現する。
論文 参考訳（メタデータ） (2023-03-03T09:59:42Z) - Tight Auditing of Differentially Private Machine Learning [77.38590306275877]
プライベート機械学習では、既存の監査メカニズムは厳格である。
彼らは不確実な最悪の仮定の下でのみ厳密な見積もりを行う。
我々は、自然(逆向きではない)データセットの厳密なプライバシー推定を得られる改善された監査スキームを設計する。
論文 参考訳（メタデータ） (2023-02-15T21:40:33Z) - Fine-Tuning with Differential Privacy Necessitates an Additional
Hyperparameter Search [38.83524780461911]
トレーニング済みニューラルネットワークで微調整されたレイヤを慎重に選択することで、プライバシと正確性の間に新たな最先端のトレードオフを確立することができることを示す。
ImageNetで事前トレーニングされたモデルに対して、CIFAR-100上で$(varepsilon, delta)= (2, 10-5)$に対して77.9%の精度を達成する。
論文 参考訳（メタデータ） (2022-10-05T11:32:49Z) - Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。
本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
論文 参考訳（メタデータ） (2022-09-09T08:54:13Z) - On the utility and protection of optimization with differential privacy
and classic regularization techniques [9.413131350284083]
本稿では,標準最適化手法に対するDP-SGDアルゴリズムの有効性について検討する。
我々は、差分プライバシーの欠陥と限界について議論し、ドロップアウトとl2-規則化のプライバシー保護特性がしばしば優れていることを実証した。
論文 参考訳（メタデータ） (2022-09-07T14:10:21Z) - Just Fine-tune Twice: Selective Differential Privacy for Large Language
Models [69.66654761324702]
本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。
実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
論文 参考訳（メタデータ） (2022-04-15T22:36:55Z) - Robustness Threats of Differential Privacy [70.818129585404]
我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。
本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
論文 参考訳（メタデータ） (2020-12-14T18:59:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。