論文の概要: Weights Shuffling for Improving DPSGD in Transformer-based Models

• arxiv url: http://arxiv.org/abs/2407.15414v1
• Date: Mon, 22 Jul 2024 06:41:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 16:00:55.275618
• Title: Weights Shuffling for Improving DPSGD in Transformer-based Models
• Title（参考訳）: 変圧器モデルにおけるDPSGD改善のための重みシャッフル
• Authors: Jungang Yang, Zhe Ji, Liyao Xiang,
• Abstract要約: 本研究は,DPSGD(differially-Private Gradient Descent)における革新的なシャッフル機構を導入し,非シャッフルケースと同じプライバシ保証で大規模モデルの実用性を向上する。 順列化は理論上はDPSGDのプライバシー保証を改善するが、シャッフルモデル上での正確なプライバシー損失の追跡は特に困難である。
• 参考スコア（独自算出の注目度）: 7.356743536182233
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differential Privacy (DP) mechanisms, especially in high-dimensional settings, often face the challenge of maintaining privacy without compromising the data utility. This work introduces an innovative shuffling mechanism in Differentially-Private Stochastic Gradient Descent (DPSGD) to enhance the utility of large models at the same privacy guarantee of the unshuffled case. Specifically, we reveal that random shuffling brings additional randomness to the trajectory of gradient descent while not impacting the model accuracy by the permutation invariance property -- the model can be equivalently computed in both forward and backward propagations under permutation. We show that permutation indeed improves the privacy guarantee of DPSGD in theory, but tracking the exact privacy loss on shuffled model is particularly challenging. Hence we exploit the approximation on sum of lognormal distributions to derive the condition for the shuffled DPSGD to meet the DP guarantee. Auditing results show that our condition offers a DP guarantee quite close to the audited privacy level, demonstrating our approach an effective estimation in practice. Experimental results have verified our theoretical derivation and illustrate that our mechanism improves the accuracy of DPSGD over the state-of-the-art baselines on a variety of models and tasks.
• Abstract（参考訳）: 差別化プライバシ(DP)機構、特に高次元設定では、データユーティリティを損なうことなくプライバシを維持するという課題に直面していることが多い。 本研究は,DPSGD(Dariial-Private Stochastic Gradient Descent)における革新的なシャッフル機構を導入し,非シャッフルケースの同一のプライバシ保証において,大規模モデルの実用性を向上する。 具体的には、ランダムシャッフルは、置換不変性によってモデル精度に影響を与えることなく、勾配降下の軌道にさらなるランダム性をもたらすことを明らかにする。 順列化は理論上はDPSGDのプライバシー保証を改善するが、シャッフルモデル上での正確なプライバシー損失の追跡は特に困難である。 そこで我々は, 対数正規分布の和による近似を利用して, シャッフルDPSGDがDP保証を満たす条件を導出する。 調査の結果,我々の状態は,監査されたプライバシレベルにかなり近いDP保証を提供しており,本手法を実際に効果的に評価できることが示唆された。 実験により理論的導出が検証され、様々なモデルやタスクにおける最先端のベースラインよりもDPSGDの精度が向上することが示された。

関連論文リスト

• Pseudo-Probability Unlearning: Towards Efficient and Privacy-Preserving Machine Unlearning [59.29849532966454]
  本稿では,PseudoProbability Unlearning (PPU)を提案する。 提案手法は,最先端の手法に比べて20%以上の誤りを忘れる改善を実現している。
  論文  参考訳（メタデータ） (2024-11-04T21:27:06Z)
• Rethinking Improved Privacy-Utility Trade-off with Pre-existing Knowledge for DP Training [31.559864332056648]
  異種雑音(DP-Hero)を有する一般微分プライバシーフレームワークを提案する。 DP-Hero上では、勾配更新に注入されたノイズが不均一であり、予め確立されたモデルパラメータによって誘導されるDP-SGDの異種バージョンをインスタンス化する。 提案するDP-Heroの有効性を検証・説明するための総合的な実験を行い,最新技術と比較するとトレーニング精度が向上した。
  論文  参考訳（メタデータ） (2024-09-05T08:40:54Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Improving Differentially Private SGD via Randomly Sparsified Gradients [31.295035726077366]
  ディファレンシャル・プライベート・グラデーション・オブザーバ(DP-SGD)は、厳密に定義されたプライバシー境界圧縮を提供するため、ディープラーニングにおいて広く採用されている。 本稿では,通信コストを向上し,プライバシ境界圧縮を強化するためのRSを提案する。
  論文  参考訳（メタデータ） (2021-12-01T21:43:34Z)
• Dynamic Differential-Privacy Preserving SGD [19.273542515320372]
  Differentially-Private Gradient Descent (DP-SGD)は、SGDトレーニング中にクリップされた勾配にノイズを加えることで、トレーニングデータのプライバシ侵害を防止する。 同じクリップ操作とトレーニングステップ間の付加ノイズにより、不安定な更新や、上昇期間も生じる。 更新時にDP-SGDよりも低いプライバシコストの動的DP-SGDを提案する。
  論文  参考訳（メタデータ） (2021-10-30T04:45:11Z)
• Smoothed Differential Privacy [55.415581832037084]
  微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。 本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。 サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
  論文  参考訳（メタデータ） (2021-07-04T06:55:45Z)
• Accuracy, Interpretability, and Differential Privacy via Explainable Boosting [22.30100748652558]
  我々は、EBM(Explainable Boosting Machines)に差分プライバシーを追加することで、プライバシーを保護しながら最先端の精度が得られることを示す。 複数分類および回帰データセットを用いた実験により,DP-EBMモデルでは,強い差分プライバシー保証を伴っても驚くほど精度の低下がみられた。
  論文  参考訳（メタデータ） (2021-06-17T17:33:00Z)
• RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial Network [75.81653258081435]
  GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。 しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。 本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
  論文  参考訳（メタデータ） (2020-07-04T09:51:02Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。