論文の概要: Spectral-DP: Differentially Private Deep Learning through Spectral Perturbation and Filtering

• arxiv url: http://arxiv.org/abs/2307.13231v1
• Date: Tue, 25 Jul 2023 03:45:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-26 18:23:47.610034
• Title: Spectral-DP: Differentially Private Deep Learning through Spectral Perturbation and Filtering
• Title（参考訳）: スペクトルDP:スペクトル摂動とフィルタリングによる微分私的深層学習
• Authors: Ce Feng, Nuo Xu, Wujie Wen, Parv Venkitasubramaniam, Caiwen Ding
• Abstract要約: 本稿では,スペクトル領域の勾配摂動とスペクトルフィルタリングを組み合わせた新たな微分プライベート学習手法であるSpectral-DPを提案する。 我々は、畳み込み層と完全連結層の両方を含むアーキテクチャのためのスペクトルDPに基づく微分プライベートディープラーニング手法を開発した。 最新のDP-SGDベースのアプローチと比較して,Spectral-DPは,スクラッチとトランスファー学習設定の両方のトレーニングにおいて,一様に優れた実用性を示した。
• 参考スコア（独自算出の注目度）: 13.924503289749035
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differential privacy is a widely accepted measure of privacy in the context of deep learning algorithms, and achieving it relies on a noisy training approach known as differentially private stochastic gradient descent (DP-SGD). DP-SGD requires direct noise addition to every gradient in a dense neural network, the privacy is achieved at a significant utility cost. In this work, we present Spectral-DP, a new differentially private learning approach which combines gradient perturbation in the spectral domain with spectral filtering to achieve a desired privacy guarantee with a lower noise scale and thus better utility. We develop differentially private deep learning methods based on Spectral-DP for architectures that contain both convolution and fully connected layers. In particular, for fully connected layers, we combine a block-circulant based spatial restructuring with Spectral-DP to achieve better utility. Through comprehensive experiments, we study and provide guidelines to implement Spectral-DP deep learning on benchmark datasets. In comparison with state-of-the-art DP-SGD based approaches, Spectral-DP is shown to have uniformly better utility performance in both training from scratch and transfer learning settings.
• Abstract（参考訳）: ディファレンシャルプライバシは、ディープラーニングアルゴリズムのコンテキストにおいて広く受け入れられているプライバシの尺度であり、ディファレンシャルプライベート確率勾配降下(dp-sgd)として知られるノイズの多いトレーニングアプローチに依存している。 DP-SGDは、高密度ニューラルネットワークのすべての勾配に対して直接ノイズを付加する必要がある。 本研究では,スペクトル領域における勾配摂動とスペクトルフィルタリングを組み合わせ,低ノイズスケールで所望のプライバシー保証を実現するための新たな微分プライベート学習手法であるSpectral-DPを提案する。 我々は、畳み込み層と完全連結層の両方を含むアーキテクチャのためのスペクトルDPに基づく微分プライベートディープラーニング手法を開発した。 特に,完全連結層では,ブロック循環型空間再構成をSpectral-DPと組み合わせて有効性を実現する。 総合的な実験を通じて、ベンチマークデータセットにスペクトルDP深層学習を実装するためのガイドラインを研究・提供する。 最新のDP-SGDベースのアプローチと比較して,Spectral-DPは,スクラッチとトランスファー学習設定の両方のトレーニングにおいて,一様に優れた実用性を示した。

関連論文リスト

• DiSK: Differentially Private Optimizer with Simplified Kalman Filter for Noise Reduction [57.83978915843095]
  本稿では,微分プライベート勾配の性能を著しく向上する新しいフレームワークであるDiSKを紹介する。 大規模トレーニングの実用性を確保するため,Kalmanフィルタプロセスを簡素化し,メモリと計算要求を最小化する。
  論文  参考訳（メタデータ） (2024-10-04T19:30:39Z)
• Differentially Private Block-wise Gradient Shuffle for Deep Learning [0.0]
  本稿では,ディープラーニングのためのDP-BloGSアルゴリズムを提案する。 DP-BloGSは、既存の私的なディープラーニングの文献から成り立っているが、勾配雑音導入に対する確率的アプローチを採用することで、決定的な変化を生んでいる。 DP-SGDよりもデータ抽出に対する耐性が高いことが判明した。
  論文  参考訳（メタデータ） (2024-07-31T05:32:37Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Directional Privacy for Deep Learning [2.826489388853448]
  Differentially Private Gradient Descent (DP-SGD)は、ディープラーニングモデルのトレーニングにプライバシーを適用するための重要な方法である。 しかし、メトリックDPは、ユーティリティの保存にもっと適した任意のメトリクスに基づいた代替メカニズムを提供することができる。 これは、ガウスのメカニズムの$(epsilon, delta)$-privacyではなく、ディープラーニングのトレーニングに$epsilon$-DPと$epsilon d$-privacyを提供することを示している。
  論文  参考訳（メタデータ） (2022-11-09T05:18:08Z)
• Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence [73.14373832423156]
  そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。 差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
  論文  参考訳（メタデータ） (2021-11-01T18:10:21Z)
• Differentially Private Federated Bayesian Optimization with Distributed Exploration [48.9049546219643]
  我々は、DPを反復アルゴリズムに追加するための一般的なフレームワークを通じて、ディープニューラルネットワークのトレーニングに差分プライバシ(DP)を導入する。 DP-FTS-DEは高い実用性(競争性能)と高いプライバシー保証を実現する。 また,DP-FTS-DEがプライバシとユーティリティのトレードオフを引き起こすことを示すために,実世界の実験も行っている。
  論文  参考訳（メタデータ） (2021-10-27T04:11:06Z)
• NeuralDP Differentially private neural networks by design [61.675604648670095]
  ニューラルネットワーク内のいくつかの層の活性化を民営化する手法であるNeuralDPを提案する。 本研究では,DP-SGDと比較して,プライバシーとユーティリティのトレードオフを大幅に改善した2つのデータセットを実験的に検証した。
  論文  参考訳（メタデータ） (2021-07-30T12:40:19Z)
• Practical and Private (Deep) Learning without Sampling or Shuffling [24.29228578925639]
  ミニバッチ勾配を用いた差分プライバシーのトレーニングモデルを検討する。 DP-SGDを増幅したDP-SGDと比較し,DP-FTRLを解析した。
  論文  参考訳（メタデータ） (2021-02-26T20:16:26Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。