論文の概要: Not all noise is accounted equally: How differentially private learning benefits from large sampling rates

• arxiv url: http://arxiv.org/abs/2110.06255v1
• Date: Tue, 12 Oct 2021 18:11:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-14 15:39:57.430779
• Title: Not all noise is accounted equally: How differentially private learning benefits from large sampling rates
• Title（参考訳）: すべてのノイズが等しく説明されるわけではない: 大きなサンプリングレートによる個人学習のメリット
• Authors: Friedrich D\"ormann, Osvald Frisk, Lars N{\o}rvang Andersen, Christian Fischer Pedersen
• Abstract要約: 差分的にプライベートなSGDでは、各トレーニングイテレーションで計算された勾配は2種類のノイズを受ける。 本研究では,これらの2種類のノイズが,プライベートニューラルネットワークの有用性に与える影響について検討した。 雑音の比率を、より固有で付加的な雑音にシフトさせる訓練パラダイムを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning often involves sensitive data and as such, privacy preserving extensions to Stochastic Gradient Descent (SGD) and other machine learning algorithms have been developed using the definitions of Differential Privacy (DP). In differentially private SGD, the gradients computed at each training iteration are subject to two different types of noise. Firstly, inherent sampling noise arising from the use of minibatches. Secondly, additive Gaussian noise from the underlying mechanisms that introduce privacy. In this study, we show that these two types of noise are equivalent in their effect on the utility of private neural networks, however they are not accounted for equally in the privacy budget. Given this observation, we propose a training paradigm that shifts the proportions of noise towards less inherent and more additive noise, such that more of the overall noise can be accounted for in the privacy budget. With this paradigm, we are able to improve on the state-of-the-art in the privacy/utility tradeoff of private end-to-end CNNs.
• Abstract（参考訳）: 学習はしばしば機密データを伴うため、SGD(Stochastic Gradient Descent)や他の機械学習アルゴリズムに対するプライバシー保護拡張は、差分プライバシー(DP)の定義を用いて開発されている。 差分的にプライベートなSGDでは、各トレーニングイテレーションで計算された勾配は2種類のノイズを受ける。 第一に、ミニバッチの使用による固有のサンプリングノイズ。 第二に、プライバシーを導入するメカニズムの付加的なガウスノイズ。 本研究では、これらの2種類のノイズが、プライベートニューラルネットワークの有用性に等価であることを示すが、プライバシ予算において等しく考慮されていない。 本研究は, プライバシー予算において, ノイズの比率をより小さく, 付加的な雑音にシフトさせる訓練パラダイムを提案する。 このパラダイムにより、プライベートなエンドツーエンドCNNのプライバシ/ユーティリティトレードオフにおける最先端の改善が可能になります。

関連論文リスト

• Federated Cubic Regularized Newton Learning with Sparsification-amplified Differential Privacy [10.396575601912673]
  そこで我々は,DP-FCRN (differially Private Federated Cubic Regularized Newton) というフェデレーション学習アルゴリズムを導入する。 2次手法を活用することにより,本アルゴリズムは1次手法に比べてイテレーションの複雑さを小さくする。 また、プライバシーを確保するために、局所的な計算中にノイズの摂動も取り入れる。
  論文  参考訳（メタデータ） (2024-08-08T08:48:54Z)
• Certification for Differentially Private Prediction in Gradient-Based Training [36.686002369773014]
  我々は凸緩和と有界伝播を用いて、予測の局所的および滑らかな感度の証明可能な上界を計算する。 このバウンダリによって、プライベートな予測設定で付加されるノイズの規模を減らしたり、プライバシ会計を改善することができます。
  論文  参考訳（メタデータ） (2024-06-19T10:47:00Z)
• Adaptive Differential Privacy in Federated Learning: A Priority-Based Approach [0.0]
  フェデレートラーニング(FL)は、ローカルデータセットに直接アクセスせずにグローバルモデルを開発する。 DPはパラメータに一定のノイズを加えることで、プライバシーを保証するフレームワークを提供する。 本稿では,特徴量の相対的重要度に基づいて入射雑音の値を決定するFLの適応雑音付加法を提案する。
  論文  参考訳（メタデータ） (2024-01-04T03:01:15Z)
• Brownian Noise Reduction: Maximizing Privacy Subject to Accuracy Constraints [53.01656650117495]
  研究者と実践者の間には、プライバシとユーティリティのトレードオフの扱い方の違いがある。 ブラウン機構は、まず擬ブラウン運動の最終点に対応する高分散のガウス雑音を加えることで機能する。 我々は、古典的AboveThresholdアルゴリズムの一般化であるReduceedAboveThresholdでブラウン機構を補完する。
  論文  参考訳（メタデータ） (2022-06-15T01:43:37Z)
• Mixed Differential Privacy in Computer Vision [133.68363478737058]
  AdaMixは、プライベートとパブリックの両方の画像データを使用して、ディープニューラルネットワーク分類器をトレーニングするための適応型微分プライベートアルゴリズムである。 プライベートデータを無視する数ショットあるいはゼロショットの学習ベースラインは、大規模なプライベートデータセットの微調整よりも優れています。
  論文  参考訳（メタデータ） (2022-03-22T06:15:43Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Smoothed Differential Privacy [55.415581832037084]
  微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。 本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。 サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
  論文  参考訳（メタデータ） (2021-07-04T06:55:45Z)
• Robustness Threats of Differential Privacy [70.818129585404]
  我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。 本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
  論文  参考訳（メタデータ） (2020-12-14T18:59:24Z)
• RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial Network [75.81653258081435]
  GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。 しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。 本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
  論文  参考訳（メタデータ） (2020-07-04T09:51:02Z)
• Differentially Private Naive Bayes Classifier using Smooth Sensitivity [0.0]
  我々は,Smooth Sensitivityのパラメータに比例した雑音を付加する,微分プライベートなNaive Bayes分類器を提供した。 実世界のデータセットを用いた実験結果から,$varepsilon$-differential privacy を保ちながら,提案手法の精度が大幅に向上したことが明らかとなった。
  論文  参考訳（メタデータ） (2020-03-31T05:03:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。