論文の概要: SMA-DP: Spectral Memory-Aware Differential Privacy for Deep Learning

• arxiv url: http://arxiv.org/abs/2605.20450v1
• Date: Tue, 19 May 2026 20:02:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.357162
• Title: SMA-DP: Spectral Memory-Aware Differential Privacy for Deep Learning
• Title（参考訳）: SMA-DP:ディープラーニングのためのスペクトルメモリ対応差分プライバシー
• Authors: Mohammad Partohaghighi, Roummel Marcia,
• Abstract要約: ディファレンシャル・プライベート・勾配降下(DP-SGD)は、サンプルごとのクリッピングとガウス雑音の校正によるプライベート・ディープ・ラーニングを可能にする。 DP-SGDを分数メモリ分岐で拡張する textbfSpectral MemoryAware 法である textbfSMA-DPSGD を提案する。 CIFAR-100、CIFAR-10、MNISTの実験は、いくつかのDP最適化ベースラインよりも、競争力または優れた精度を示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentially private stochastic gradient descent (DP-SGD) enables private deep learning through per-example clipping and calibrated Gaussian noise, but its high-variance updates can reduce utility on challenging datasets. We propose \textbf{SMA-DP-SGD}, a \textbf{Spectral Memory-Aware Differentially Private Stochastic Gradient Descent} method that augments DP-SGD with a fractional memory branch built only from previously privatized noisy releases. WeightWatcher-inspired power-law spectral exponents provide group-wise reliability signals, instantiated layer-wise in our experiments, to adapt the decay and effective memory depth. Private-history alignment, norm matching, and warm-up activation stabilize the memory contribution. Privacy remains transparent: conditioned on the private release history, the memory branch is fixed, and the only newly data-dependent term is the current clipped sum scaled by a fixed coefficient \(β\). Hence, SMA-DP-SGD preserves a clean conditional sensitivity structure and exactly recovers group-wise DP-SGD when \(β=1\). Experiments on CIFAR-100, CIFAR-10, and MNIST show competitive or superior accuracy over several DP optimization baselines, with the largest gains on CIFAR-100 and CIFAR-10. CIFAR-10 ablations show that \(β\) controls the privacy--utility trajectory, while spectral and memory diagnostics confirm a controlled short-to-moderate effective memory depth and a small memory-branch ratio. Runtime analysis shows that the mechanism incurs additional overhead, about \(2.94\times\) DP-SGD in our CIFAR-10 implementation, revealing a practical trade-off between adaptive private memory and computational cost.
• Abstract（参考訳）: 微分プライベート確率勾配勾配(DP-SGD)は、サンプルごとのクリッピングと校正ガウスノイズによるプライベートディープラーニングを可能にするが、その高分散更新は、挑戦的なデータセットに対する有用性を低下させる。 本稿では, DP-SGD を分割メモリブランチで拡張する DP-SGD を, 従来の民営化ノイズリリースからのみ構築する \textbf{SMA-DP-SGD} 法を提案する。 WeightWatcherにインスパイアされたパワーロースペクトル指数は、グループワイドな信頼性信号を提供する。 プライベートヒストリーアライメント、ノルムマッチング、ウォームアップアクティベーションはメモリコントリビューションを安定化させる。 プライバシは、プライベートリリース履歴に条件付きで、メモリブランチは固定され、唯一の新しいデータ依存用語は、固定係数 \(β\) でスケールされた現在のカットされた和である。 したがって、SMA-DP-SGDはクリーンな条件感受性構造を保持し、(β=1\)のときにグループワイズDP-SGDを正確に回収する。 CIFAR-100、CIFAR-10、MNISTの実験では、CIFAR-100とCIFAR-10の最大ゲインであるいくつかのDP最適化ベースラインよりも、競争力または優れた精度を示した。 CIFAR-10の短縮は、(β\)がプライバシ・ユーティリティ・トラジェクトリを制御する一方で、スペクトルとメモリの診断は、制御されたショート・トゥ・モデレートの有効メモリ深さとメモリブランチ比が小さいことを確認している。 実行時解析により,CIFAR-10実装におけるDP-SGDの約2.94\times\)のオーバーヘッドが増大し,適応型プライベートメモリと計算コストのトレードオフが明らかとなった。

関連論文リスト

• Deep Learning under Fractional-Order Differential Privacy [0.0]
  個人差分勾配降下(DP-SGD)は、プライバシ重み学習の標準的なアプローチである。 ガウスノイズが付加される前に、この現在のみのクエリを置き換えるメカニズムを提案する。 FO-DP-SGDは、プライベート最適化における長期記憶効果を研究するためのフレームワークを提供する。
  論文  参考訳（メタデータ） (2026-05-11T02:29:13Z)
• DP-FEDSOFIM: Differentially Private Federated Stochastic Optimization using Regularized Fisher Information Matrix [0.0611737116137921]
  DP-FLは、プライバシーを守るために導入された圧倒的なノイズのために、厳格なプライバシー予算の下で緩やかな収束に苦しむ。 本稿では,サーバサイドの2次最適化フレームワークであるDP-FedSOFIMを提案する。 分析の結果,サーバサイドのプレコンディショニングは後処理定理によって(エプシロン,デルタ)差分プライバシーを保っていることが明らかとなった。
  論文  参考訳（メタデータ） (2026-01-14T05:11:28Z)
• AdaDPIGU: Differentially Private SGD with Adaptive Clipping and Importance-Based Gradient Updates for Deep Neural Networks [1.7265013728931]
  本稿では,ディープニューラルネットワークに適した重要度に基づく勾配更新を備えた,新たな微分プライベートなSGDフレームワークを提案する。 AdaDPIGUは$(varepsilon, delta)$-differential privacyを満足し、収束保証を保持する。 MNISTでは、プライバシー予算が$epsilon = 8$である場合、テスト精度は99.12%に達し、非プライベートモデルとほぼ一致する。
  論文  参考訳（メタデータ） (2025-07-09T03:53:03Z)
• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
  差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Bias-Aware Minimisation: Understanding and Mitigating Estimator Bias in Private SGD [56.01810892677744]
  DP-SGDにおいて,サンプルごとの勾配ノルムとプライベート勾配オラクルの推定バイアスの関連性を示す。 BAM(Bias-Aware Minimisation)を提案する。
  論文  参考訳（メタデータ） (2023-08-23T09:20:41Z)
• Improving Differentially Private SGD via Randomly Sparsified Gradients [31.295035726077366]
  ディファレンシャル・プライベート・グラデーション・オブザーバ(DP-SGD)は、厳密に定義されたプライバシー境界圧縮を提供するため、ディープラーニングにおいて広く採用されている。 本稿では,通信コストを向上し,プライバシ境界圧縮を強化するためのRSを提案する。
  論文  参考訳（メタデータ） (2021-12-01T21:43:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。