論文の概要: DP-$λ$CGD: Efficient Noise Correlation for Differentially Private Model Training

• arxiv url: http://arxiv.org/abs/2601.22334v1
• Date: Thu, 29 Jan 2026 21:21:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.075854
• Title: DP-$λ$CGD: Efficient Noise Correlation for Differentially Private Model Training
• Title（参考訳）: DP-$λ$CGD:微分プライベートモデルトレーニングにおける高効率ノイズ相関
• Authors: Nikita P. Kalinin, Ryan McKenna, Rasmus Pagh, Christoph H. Lampert,
• Abstract要約: 本稿では,直前の繰り返しのみにノイズを関連付ける新しいノイズ相関戦略を提案し,その制御部分をキャンセルする。 提案手法は擬似ランダムノイズ発生器によるノイズ再生に依存し,過去のノイズを記憶する必要がなくなる。 計算オーバーヘッドは最小限であり,DP-SGDよりも精度が向上したことを示す。
• 参考スコア（独自算出の注目度）: 30.807442477789447
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentially private stochastic gradient descent (DP-SGD) is the gold standard for training machine learning models with formal differential privacy guarantees. Several recent extensions improve its accuracy by introducing correlated noise across training iterations. Matrix factorization mechanisms are a prominent example, but they correlate noise across many iterations and require storing previously added noise vectors, leading to substantial memory overhead in some settings. In this work, we propose a new noise correlation strategy that correlates noise only with the immediately preceding iteration and cancels a controlled portion of it. Our method relies on noise regeneration using a pseudorandom noise generator, eliminating the need to store past noise. As a result, it requires no additional memory beyond standard DP-SGD. We show that the computational overhead is minimal and empirically demonstrate improved accuracy over DP-SGD.
• Abstract（参考訳）: 差分的確率勾配勾配(DP-SGD)は、正式な差分プライバシー保証を持つ機械学習モデルを訓練するための金の標準である。 いくつかの最近の拡張では、トレーニングイテレーション間で相関ノイズを導入することにより、その精度が向上している。 行列分解機構は顕著な例であるが、多くのイテレーションでノイズを相関させ、以前追加されたノイズベクトルを格納する必要があるため、いくつかの設定ではメモリオーバーヘッドが大幅に増加する。 本研究では,直前の繰り返しのみにノイズを関連付ける新しいノイズ相関戦略を提案し,その制御部分をキャンセルする。 提案手法は擬似ランダムノイズ発生器によるノイズ再生に依存し,過去のノイズを記憶する必要がなくなる。 その結果、標準のDP-SGD以上のメモリを必要としない。 計算オーバーヘッドは最小限であり,DP-SGDよりも精度が向上したことを示す。

関連論文リスト

• Mitigating the Noise Shift for Denoising Generative Models via Noise Awareness Guidance [54.88271057438763]
  ノイズアウェアネスガイダンス (NAG) は、事前に定義された騒音スケジュールと整合性を保つために、サンプリング軌道を明示的に制御する補正手法である。 NAGは一貫してノイズシフトを緩和し、主流拡散モデルの生成品質を大幅に改善する。
  論文  参考訳（メタデータ） (2025-10-14T13:31:34Z)
• Cocoon: A System Architecture for Differentially Private Training with Correlated Noises [18.01275303626406]
  DP-SGDはトレーニング毎にノイズイテレーションを追加し、トレーニングされたモデルの精度を劣化させる。 新しいアプローチの族は、慎重に設計された相関ノイズを追加し、繰り返しにわたってノイズが互いにキャンセルされるようにします。 相関雑音を用いた効率的なトレーニングのためのハードウェア・ソフトウェア共同設計フレームワークであるCocoonを提案する。
  論文  参考訳（メタデータ） (2025-10-08T17:56:30Z)
• Correlating Cross-Iteration Noise for DP-SGD using Model Curvature [15.566302602746843]
  現在、DP-SGDと通常のSGDトレーニングの間に大きな精度ギャップがある。 DP-MFとして知られるそのような作業の1つの行は、勾配降下の異なるイテレーションにまたがってプライバシーノイズを相関付けている。 我々は,このノイズ相関の質を向上させるために,公称未ラベルデータから推定されるモデル曲率を用いたNossCurveという手法を提案する。
  論文  参考訳（メタデータ） (2025-10-06T22:13:02Z)
• Mixture of Noise for Pre-Trained Model-Based Class-Incremental Learning [59.635264288605946]
  クラスインクリメンタルラーニング(CIL)は,旧来の知識を維持しつつ,新たなカテゴリを継続的に学習することを目的としている。 バックボーンに軽量な微調整を適用する既存のアプローチは、依然としてドリフトを誘発する。 バックボーン一般化の劣化を軽減し,新しいタスクを適応させることを目的として,Mixture of Noise (Min)を提案する。
  論文  参考訳（メタデータ） (2025-09-20T16:07:20Z)
• Implicit Bias in Noisy-SGD: With Applications to Differentially Private Training [9.618473763561418]
  Gradient Descent(SGD)を使用した小さなバッチによるDeep Neural Networks(DNN)のトレーニングでは、より大きなバッチよりも優れたテストパフォーマンスが得られる。 DNNのトレーニングで差分プライバシー(DP)を確保するために使用されるDP-SGDは、クリップされた勾配にガウスノイズを付加する。 驚くべきことに、大規模なバッチトレーニングは依然としてパフォーマンスを著しく低下させており、強力なDPが大量のバッチを使用する必要があることを保証しているため、重要な課題となっている。
  論文  参考訳（メタデータ） (2024-02-13T10:19:33Z)
• Negative Pre-aware for Noisy Cross-modal Matching [46.5591267410225]
  雑音対応は認識と修正が難しいため,クロスモーダルノイズロバスト学習は難しい課題である。 本稿では,雑音の多い下流タスクに対する大規模視覚言語モデルファインタニングのための,否定的事前認識型クロスモーダルマッチングソリューションを提案する。
  論文  参考訳（メタデータ） (2023-12-10T05:52:36Z)
• Amplitude-Varying Perturbation for Balancing Privacy and Utility in Federated Learning [86.08285033925597]
  本稿では,フェデレート学習のプライバシを保護するため,時変雑音振幅を持つ新しいDP摂動機構を提案する。 我々は、FLの過度な摂動ノイズによる早期収束を防止するために、シリーズのオンラインリファインメントを導出した。 新しいDP機構のプライバシ保存FLの収束と精度への寄与は、持続的な雑音振幅を持つ最先端のガウスノイズ機構と比較して相関する。
  論文  参考訳（メタデータ） (2023-03-07T22:52:40Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• Adaptive Noisy Data Augmentation for Regularized Estimation and Inference in Generalized Linear Models [15.817569026827451]
  一般化線形モデル(GLM)の推定と推定を規則化するAdaPtive Noise Augmentation (PANDA) 手法を提案する。 シミュレーションおよび実生活データにおいて,同一タイプの正則化器の既存手法に対して,PANDAが優れているか類似した性能を示す。
  論文  参考訳（メタデータ） (2022-04-18T22:02:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。