論文の概要: Differentially Private Block-wise Gradient Shuffle for Deep Learning

• arxiv url: http://arxiv.org/abs/2407.21347v2
• Date: Mon, 20 Jan 2025 16:24:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:18:23.215285
• Title: Differentially Private Block-wise Gradient Shuffle for Deep Learning
• Title（参考訳）: ディープラーニングのための分別的ブロックワイドグラディエントシャッフル
• Authors: David Zagardo,
• Abstract要約: 本稿では,ディープラーニングのためのDP-BloGSアルゴリズムを提案する。 DP-BloGSは、既存の私的なディープラーニングの文献から成り立っているが、勾配雑音導入に対する確率的アプローチを採用することで、決定的な変化を生んでいる。 DP-SGDよりもデータ抽出に対する耐性が高いことが判明した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Traditional Differentially Private Stochastic Gradient Descent (DP-SGD) introduces statistical noise on top of gradients drawn from a Gaussian distribution to ensure privacy. This paper introduces the novel Differentially Private Block-wise Gradient Shuffle (DP-BloGS) algorithm for deep learning. BloGS builds off of existing private deep learning literature, but makes a definitive shift by taking a probabilistic approach to gradient noise introduction through shuffling modeled after information theoretic privacy analyses. The theoretical results presented in this paper show that the combination of shuffling, parameter-specific block size selection, batch layer clipping, and gradient accumulation allows DP-BloGS to achieve training times close to that of non-private training while maintaining similar privacy and utility guarantees to DP-SGD. DP-BloGS is found to be significantly more resistant to data extraction attempts than DP-SGD. The theoretical results are validated by the experimental findings.
• Abstract（参考訳）: 従来のDP-SGD(Dis differentially Private Stochastic Gradient Descent)は、ガウス分布から引き出された勾配の上に統計的ノイズを導入し、プライバシーを確保する。 本稿では,ディープラーニングのためのDP-BloGSアルゴリズムを提案する。 BloGSは、既存のプライベートなディープラーニングの文献から成り立っているが、情報理論のプライバシー分析に基づいてモデル化されたシャッフルを通じて、勾配ノイズ導入の確率論的アプローチをとることによって、決定的なシフトを行う。 本稿では, シャッフル, パラメータ固有のブロックサイズ選択, バッチ層クリッピング, 勾配蓄積の組み合わせにより, DP-BloGSは, DP-SGDと同様のプライバシーと実用性を確保しつつ, 非プライベートトレーニングに近い訓練時間を実現できることを示す。 DP-BloGSはDP-SGDよりもデータ抽出に抵抗性が高い。 実験結果から理論的結果が得られた。

関連論文リスト

• Rethinking Improved Privacy-Utility Trade-off with Pre-existing Knowledge for DP Training [31.559864332056648]
  異種雑音(DP-Hero)を有する一般微分プライバシーフレームワークを提案する。 DP-Hero上では、勾配更新に注入されたノイズが不均一であり、予め確立されたモデルパラメータによって誘導されるDP-SGDの異種バージョンをインスタンス化する。 提案するDP-Heroの有効性を検証・説明するための総合的な実験を行い,最新技術と比較するとトレーニング精度が向上した。
  論文  参考訳（メタデータ） (2024-09-05T08:40:54Z)
• Uncertainty quantification by block bootstrap for differentially private stochastic gradient descent [1.0742675209112622]
  Gradient Descent (SGD) は機械学習において広く使われているツールである。 ブートストラップによるSGDの不確実性定量化(UQ)は、いくつかの著者によって解決されている。 本稿では,ローカルな差分プライバシーの下でSGDのブロックブートストラップを提案する。
  論文  参考訳（メタデータ） (2024-05-21T07:47:21Z)
• How Private are DP-SGD Implementations? [61.19794019914523]
  2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。 その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
  論文  参考訳（メタデータ） (2024-03-26T13:02:43Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
  DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。 我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-14T17:59:51Z)
• Spectral-DP: Differentially Private Deep Learning through Spectral Perturbation and Filtering [13.924503289749035]
  本稿では,スペクトル領域の勾配摂動とスペクトルフィルタリングを組み合わせた新たな微分プライベート学習手法であるSpectral-DPを提案する。 我々は、畳み込み層と完全連結層の両方を含むアーキテクチャのためのスペクトルDPに基づく微分プライベートディープラーニング手法を開発した。 最新のDP-SGDベースのアプローチと比較して,Spectral-DPは,スクラッチとトランスファー学習設定の両方のトレーニングにおいて,一様に優れた実用性を示した。
  論文  参考訳（メタデータ） (2023-07-25T03:45:56Z)
• Directional Privacy for Deep Learning [2.826489388853448]
  Differentially Private Gradient Descent (DP-SGD)は、ディープラーニングモデルのトレーニングにプライバシーを適用するための重要な方法である。 しかし、メトリックDPは、ユーティリティの保存にもっと適した任意のメトリクスに基づいた代替メカニズムを提供することができる。 これは、ガウスのメカニズムの$(epsilon, delta)$-privacyではなく、ディープラーニングのトレーニングに$epsilon$-DPと$epsilon d$-privacyを提供することを示している。
  論文  参考訳（メタデータ） (2022-11-09T05:18:08Z)
• Improving Differentially Private SGD via Randomly Sparsified Gradients [31.295035726077366]
  ディファレンシャル・プライベート・グラデーション・オブザーバ(DP-SGD)は、厳密に定義されたプライバシー境界圧縮を提供するため、ディープラーニングにおいて広く採用されている。 本稿では,通信コストを向上し,プライバシ境界圧縮を強化するためのRSを提案する。
  論文  参考訳（メタデータ） (2021-12-01T21:43:34Z)
• Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning [74.73901662374921]
  差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。 偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
  論文  参考訳（メタデータ） (2021-02-25T04:29:58Z)
• Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
  ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。 多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。 各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
  論文  参考訳（メタデータ） (2020-06-27T19:08:12Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。