論文の概要: AdaDPIGU: Differentially Private SGD with Adaptive Clipping and Importance-Based Gradient Updates for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2507.06525v1
• Date: Wed, 09 Jul 2025 03:53:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-10 17:37:43.459377
• Title: AdaDPIGU: Differentially Private SGD with Adaptive Clipping and Importance-Based Gradient Updates for Deep Neural Networks
• Title（参考訳）: AdaDPIGU: ディープニューラルネットワークのための適応クリッピングと重要度に基づくグラディエントアップデートを備えた微分プライベートSGD
• Authors: Huiqi Zhang, Fang Xie,
• Abstract要約: 本稿では,ディープニューラルネットワークに適した重要度に基づく勾配更新を備えた,新たな微分プライベートなSGDフレームワークを提案する。 AdaDPIGUは$(varepsilon, delta)$-differential privacyを満足し、収束保証を保持する。 MNISTでは、プライバシー予算が$epsilon = 8$である場合、テスト精度は99.12%に達し、非プライベートモデルとほぼ一致する。
• 参考スコア（独自算出の注目度）: 1.7265013728931
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differential privacy has been proven effective for stochastic gradient descent; however, existing methods often suffer from performance degradation in high-dimensional settings, as the scale of injected noise increases with dimensionality. To tackle this challenge, we propose AdaDPIGU--a new differentially private SGD framework with importance-based gradient updates tailored for deep neural networks. In the pretraining stage, we apply a differentially private Gaussian mechanism to estimate the importance of each parameter while preserving privacy. During the gradient update phase, we prune low-importance coordinates and introduce a coordinate-wise adaptive clipping mechanism, enabling sparse and noise-efficient gradient updates. Theoretically, we prove that AdaDPIGU satisfies $(\varepsilon, \delta)$-differential privacy and retains convergence guarantees. Extensive experiments on standard benchmarks validate the effectiveness of AdaDPIGU. All results are reported under a fixed retention ratio of 60%. On MNIST, our method achieves a test accuracy of 99.12% under a privacy budget of $\epsilon = 8$, nearly matching the non-private model. Remarkably, on CIFAR-10, it attains 73.21% accuracy at $\epsilon = 4$, outperforming the non-private baseline of 71.12%, demonstrating that adaptive sparsification can enhance both privacy and utility.
• Abstract（参考訳）: 微分プライバシーは確率的勾配降下に有効であることが証明されているが、既存の手法は高次元環境での性能劣化に悩まされることが多い。 この課題に対処するために、深層ニューラルネットワークに適した重要度勾配更新を備えた新しい微分プライベートなSGDフレームワークであるAdaDPIGUを提案する。 事前学習段階では,プライバシを保ちながら各パラメータの重要性を推定するために,差分的にプライベートなガウス機構を適用する。 勾配更新フェーズでは、低比重座標を創出し、疎度および雑音効率の勾配更新を可能にする座標適応型クリッピング機構を導入する。 理論的には、AdaDPIGUが$(\varepsilon, \delta)$-differential privacy を満たし、収束保証を保持することを証明している。 AdaDPIGUの有効性を標準ベンチマークで検証した。 すべての結果は固定保持率60%で報告される。 MNISTでは、プライバシー予算が$\epsilon = 8$でテスト精度が99.12%に達し、非プライベートモデルとほぼ一致する。 注目すべきは、CIFAR-10では、73.21%の精度を$\epsilon = 4$で達成し、71.12%の非プライベートベースラインを上回り、適応的なスパシフィケーションによってプライバシーとユーティリティの両方が向上することを示したことである。

関連論文リスト

• DC-SGD: Differentially Private SGD with Dynamic Clipping through Gradient Norm Distribution Estimation [11.216548916537699]
  クリッピング閾値Cを動的に調整する動的クリッピングDP-SGD(DC-SGD)を提案する。 DC-SGD-Pは勾配ノルムのパーセンタイルに基づいてクリッピング閾値を調整する一方、DC-SGD-Eは勾配の2乗誤差を最小限に抑えてCを最適化する。 本結果は,DC-SGDの性能と効率性を強調し,差分学習のための実用的なソリューションを提供する。
  論文  参考訳（メタデータ） (2025-03-29T06:27:22Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
  DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。 我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-14T17:59:51Z)
• SA-DPSGD: Differentially Private Stochastic Gradient Descent based on Simulated Annealing [25.25065807901922]
  差分勾配降下法は画像認識における差分プライバシーを持つ最も一般的な訓練法である。 既存のDPSGDスキームは性能を著しく低下させ、差分プライバシーの適用を妨げている。 本稿では, 更新品質とイテレーション数に依存する確率で, 候補更新を受理するSA-DPSGD(Simulated annealing-based differentially private gradient descent scheme)を提案する。
  論文  参考訳（メタデータ） (2022-11-14T09:20:48Z)
• Dynamic Differential-Privacy Preserving SGD [19.273542515320372]
  Differentially-Private Gradient Descent (DP-SGD)は、SGDトレーニング中にクリップされた勾配にノイズを加えることで、トレーニングデータのプライバシ侵害を防止する。 同じクリップ操作とトレーニングステップ間の付加ノイズにより、不安定な更新や、上昇期間も生じる。 更新時にDP-SGDよりも低いプライバシコストの動的DP-SGDを提案する。
  論文  参考訳（メタデータ） (2021-10-30T04:45:11Z)
• Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning [74.73901662374921]
  差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。 偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
  論文  参考訳（メタデータ） (2021-02-25T04:29:58Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。