論文の概要: Backpropagation Clipping for Deep Learning with Differential Privacy

• arxiv url: http://arxiv.org/abs/2202.05089v1
• Date: Thu, 10 Feb 2022 15:19:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-11 16:27:23.163625
• Title: Backpropagation Clipping for Deep Learning with Differential Privacy
• Title（参考訳）: 差分プライバシーを用いたディープラーニングのためのバックプロパゲーションクリッピング
• Authors: Timothy Stevens, Ivoline C. Ngong, David Darais, Calvin Hirsch, David Slater, Joseph P. Near
• Abstract要約: プライバシー保護型深層学習のための微分プライベート勾配降下(DPSGD)の新たな変種であるバックプロパゲーションクリッピングを提案する。 我々のアプローチでは、各トレーニング可能なレイヤの入力(前方通過時)と上流勾配(後方通過時)をクリップして、レイヤの勾配に対する境界付きグローバル感度を確保する。
• 参考スコア（独自算出の注目度）: 3.15620764814674
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present backpropagation clipping, a novel variant of differentially private stochastic gradient descent (DP-SGD) for privacy-preserving deep learning. Our approach clips each trainable layer's inputs (during the forward pass) and its upstream gradients (during the backward pass) to ensure bounded global sensitivity for the layer's gradient; this combination replaces the gradient clipping step in existing DP-SGD variants. Our approach is simple to implement in existing deep learning frameworks. The results of our empirical evaluation demonstrate that backpropagation clipping provides higher accuracy at lower values for the privacy parameter $\epsilon$ compared to previous work. We achieve 98.7% accuracy for MNIST with $\epsilon = 0.07$ and 74% accuracy for CIFAR-10 with $\epsilon = 3.64$.
• Abstract（参考訳）: プライバシー保護型深層学習のためのDP-SGDの新たな変種であるバックプロパゲーション・クリッピングを提案する。 提案手法では, トレーニング可能な各層の入力(前方通過時)と上流勾配(後方通過時)をクリップし, 既存のDP-SGD変種における勾配クリッピングのステップを置き換える。 私たちのアプローチは、既存のディープラーニングフレームワークの実装が簡単です。 実証評価の結果, バックプロパゲーション・クリッピングは, プライバシパラメータ$\epsilon$の低い値で, 従来よりも高い精度が得られることが示された。 mnistは$\epsilon = 0.07$、cifar-10は$\epsilon = 3.64$で98.7%、精度は74%である。

関連論文リスト

• Clip Body and Tail Separately: High Probability Guarantees for DPSGD with Heavy Tails [20.432871178766927]
  Differentially Private Gradient Descent (DPSGD)は、ディープラーニングにおけるトレーニングデータのプライバシを保護するために広く利用されている。 DPSGDは、標準への勾配をクリップし、訓練手順に校正されたノイズを注入する。 本稿では,2つの重要な反復を含む新しい手法であるDPSGDを提案する。
  論文  参考訳（メタデータ） (2024-05-27T16:30:11Z)
• Differentially Private Image Classification by Learning Priors from Random Processes [48.0766422536737]
  プライバシー保護機械学習において、差分プライベート勾配降下(DP-SGD)は、サンプルごとの勾配クリッピングとノイズ付加によりSGDよりも悪化する。 近年のプライベートラーニング研究は, DP-SGDを実世界の公開データに組み込むことで, 個人データにおけるDP-SGDの性能向上に力を入れている。 本研究では,DP-SGDのプライバシ・ユーティリティ・トレードオフを改善するために,ランダムなプロセスによって生成された画像から先行情報を学習し,それらをプライベートデータに転送する方法を検討する。
  論文  参考訳（メタデータ） (2023-06-08T04:14:32Z)
• Differentially Private Image Classification from Features [53.75086935617644]
  転送学習を活用することは、差分プライバシーを持つ大規模モデルのトレーニングに有効な戦略であることが示されている。 最近の研究によると、訓練済みモデルの最後の層だけをプライベートにトレーニングすることは、DPで最高のユーティリティを提供する。
  論文  参考訳（メタデータ） (2022-11-24T04:04:20Z)
• Directional Privacy for Deep Learning [2.826489388853448]
  Differentially Private Gradient Descent (DP-SGD)は、ディープラーニングモデルのトレーニングにプライバシーを適用するための重要な方法である。 しかし、メトリックDPは、ユーティリティの保存にもっと適した任意のメトリクスに基づいた代替メカニズムを提供することができる。 これは、ガウスのメカニズムの$(epsilon, delta)$-privacyではなく、ディープラーニングのトレーニングに$epsilon$-DPと$epsilon d$-privacyを提供することを示している。
  論文  参考訳（メタデータ） (2022-11-09T05:18:08Z)
• Differentially Private Deep Learning with ModelMix [14.445182641912014]
  そこで本研究では,中間モデル状態のランダムアグリゲーションを行う, Em ModelMix と呼ばれる汎用最適化フレームワークを提案する。 トレーニング軌跡のエントロピーを利用した複合プライバシー分析を強化する。 本研究は,勾配クリッピングの効果に関する公式な研究である。
  論文  参考訳（メタデータ） (2022-10-07T22:59:00Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
  DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。 ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。 これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
  論文  参考訳（メタデータ） (2022-06-06T13:49:37Z)
• Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning [74.73901662374921]
  差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。 偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
  論文  参考訳（メタデータ） (2021-02-25T04:29:58Z)
• Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
  ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。 多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。 各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
  論文  参考訳（メタデータ） (2020-06-27T19:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。