論文の概要: Correlating Cross-Iteration Noise for DP-SGD using Model Curvature

• arxiv url: http://arxiv.org/abs/2510.05416v1
• Date: Mon, 06 Oct 2025 22:13:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:08.00955
• Title: Correlating Cross-Iteration Noise for DP-SGD using Model Curvature
• Title（参考訳）: モデル曲率を用いたDP-SGDのクロスイテレーションノイズに関する考察
• Authors: Xin Gu, Yingtai Xiao, Guanlin He, Jiamu Bai, Daniel Kifer, Kiwan Maeng,
• Abstract要約: 現在、DP-SGDと通常のSGDトレーニングの間に大きな精度ギャップがある。 DP-MFとして知られるそのような作業の1つの行は、勾配降下の異なるイテレーションにまたがってプライバシーノイズを相関付けている。 我々は,このノイズ相関の質を向上させるために,公称未ラベルデータから推定されるモデル曲率を用いたNossCurveという手法を提案する。
• 参考スコア（独自算出の注目度）: 15.566302602746843
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differentially private stochastic gradient descent (DP-SGD) offers the promise of training deep learning models while mitigating many privacy risks. However, there is currently a large accuracy gap between DP-SGD and normal SGD training. This has resulted in different lines of research investigating orthogonal ways of improving privacy-preserving training. One such line of work, known as DP-MF, correlates the privacy noise across different iterations of stochastic gradient descent -- allowing later iterations to cancel out some of the noise added to earlier iterations. In this paper, we study how to improve this noise correlation. We propose a technique called NoiseCurve that uses model curvature, estimated from public unlabeled data, to improve the quality of this cross-iteration noise correlation. Our experiments on various datasets, models, and privacy parameters show that the noise correlations computed by NoiseCurve offer consistent and significant improvements in accuracy over the correlation scheme used by DP-MF.
• Abstract（参考訳）: 微分プライベート確率勾配降下(DP-SGD)は、多くのプライバシーリスクを軽減しつつ、ディープラーニングモデルのトレーニングを約束する。 しかし、現在DP-SGDと通常のSGDトレーニングの間には大きな精度のギャップがある。 この結果、プライバシー保護トレーニングを改善するための直交的な方法を研究するさまざまな研究結果が得られた。 DP-MFとして知られるそのような作業の1つの行は、確率的勾配降下の異なるイテレーション間でのプライバシノイズを相関付け、後続のイテレーションが以前のイテレーションに追加されたノイズの一部をキャンセルすることを可能にする。 本稿では,このノイズ相関を改善する方法について検討する。 我々は,このクロスイテレーションノイズ相関の質を向上させるために,公称未ラベルデータから推定されるモデル曲率を用いたNossCurveという手法を提案する。 各種データセット,モデル,およびプライバシパラメータに関する実験により,NossCurveが計算したノイズ相関がDP-MFの相関方式よりも一貫した精度と有意な改善をもたらすことが示された。

関連論文リスト

• Privacy without Noisy Gradients: Slicing Mechanism for Generative Model Training [10.229653770070202]
  差分プライバシ(DP)を持つ生成モデルを訓練するには、通常、勾配更新にノイズを注入するか、判別器の訓練手順を適用する必要がある。 プライベートデータのランダムな低次元投影にノイズを注入するスライシングプライバシ機構について考察する。 本稿では,この分散性を考慮したカーネルベース推定器を提案し,対角訓練の必要性を回避した。
  論文  参考訳（メタデータ） (2024-10-25T19:32:58Z)
• Noise-Aware Differentially Private Variational Inference [5.4619385369457225]
  差分プライバシー(DP)は統計的推測に対して堅牢なプライバシー保証を提供するが、これは下流アプリケーションにおいて信頼性の低い結果とバイアスをもたらす可能性がある。 勾配変動推定に基づく雑音を考慮した近似ベイズ推定法を提案する。 また,より正確な雑音認識後部評価手法を提案する。
  論文  参考訳（メタデータ） (2024-10-25T08:18:49Z)
• Revisiting Privacy-Utility Trade-off for DP Training with Pre-existing Knowledge [40.44144653519249]
  異種雑音(DP-Hero)を有する一般微分プライバシーフレームワークを提案する。 DP-Heroでは、DP-SGDの異種バージョンをインスタンス化し、さらにフェデレーショントレーニングに拡張する。 提案するDP-Heroの有効性を検証・説明するための総合的な実験を行い,最新技術と比較するとトレーニング精度が向上した。
  論文  参考訳（メタデータ） (2024-09-05T08:40:54Z)
• Blue noise for diffusion models [50.99852321110366]
  本稿では,画像内および画像間の相関雑音を考慮した拡散モデルを提案する。 我々のフレームワークは、勾配流を改善するために、1つのミニバッチ内に画像間の相関を導入することができる。 本手法を用いて,各種データセットの質的,定量的な評価を行う。
  論文  参考訳（メタデータ） (2024-02-07T14:59:25Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Amplitude-Varying Perturbation for Balancing Privacy and Utility in Federated Learning [86.08285033925597]
  本稿では,フェデレート学習のプライバシを保護するため,時変雑音振幅を持つ新しいDP摂動機構を提案する。 我々は、FLの過度な摂動ノイズによる早期収束を防止するために、シリーズのオンラインリファインメントを導出した。 新しいDP機構のプライバシ保存FLの収束と精度への寄与は、持続的な雑音振幅を持つ最先端のガウスノイズ機構と比較して相関する。
  論文  参考訳（メタデータ） (2023-03-07T22:52:40Z)
• RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial Network [75.81653258081435]
  GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。 しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。 本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
  論文  参考訳（メタデータ） (2020-07-04T09:51:02Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。