論文の概要: Towards Understanding Generalization in DP-GD: A Case Study in Training Two-Layer CNNs

• arxiv url: http://arxiv.org/abs/2511.22270v1
• Date: Thu, 27 Nov 2025 09:49:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-01 19:47:55.491267
• Title: Towards Understanding Generalization in DP-GD: A Case Study in Training Two-Layer CNNs
• Title（参考訳）: DP-GDにおける一般化の理解に向けて:2層CNNの訓練を事例として
• Authors: Zhongjie Shi, Puyu Wang, Chenyang Zhang, Yuan Cao,
• Abstract要約: トレーニングデータセットには、個人的な連絡先の詳細、財務データ、医療記録などの機密情報が含まれる。 ニューラルネットワークのプライバシ保護トレーニングアルゴリズムの開発に重点が置かれている。 本稿では,DP-GDアルゴリズムの一般化とプライバシ特性について検討する。
• 参考スコア（独自算出の注目度）: 9.964337704028543
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern deep learning techniques focus on extracting intricate information from data to achieve accurate predictions. However, the training datasets may be crowdsourced and include sensitive information, such as personal contact details, financial data, and medical records. As a result, there is a growing emphasis on developing privacy-preserving training algorithms for neural networks that maintain good performance while preserving privacy. In this paper, we investigate the generalization and privacy performances of the differentially private gradient descent (DP-GD) algorithm, which is a private variant of the gradient descent (GD) by incorporating additional noise into the gradients during each iteration. Moreover, we identify a concrete learning task where DP-GD can achieve superior generalization performance compared to GD in training two-layer Huberized ReLU convolutional neural networks (CNNs). Specifically, we demonstrate that, under mild conditions, a small signal-to-noise ratio can result in GD producing training models with poor test accuracy, whereas DP-GD can yield training models with good test accuracy and privacy guarantees if the signal-to-noise ratio is not too small. This indicates that DP-GD has the potential to enhance model performance while ensuring privacy protection in certain learning tasks. Numerical simulations are further conducted to support our theoretical results.
• Abstract（参考訳）: 現代のディープラーニング技術は、正確な予測を達成するために、データから複雑な情報を抽出することに焦点を当てている。 しかし、トレーニングデータセットはクラウドソース化され、個人的な連絡先の詳細、財務データ、医療記録などの機密情報を含むことができる。 その結果、プライバシを保護しながら優れたパフォーマンスを維持するニューラルネットワークのプライバシ保護トレーニングアルゴリズムの開発に重点が置かれている。 本稿では,各反復中の勾配に付加ノイズを組み込むことにより,勾配勾配勾配のプライベート変種であるDP-GDアルゴリズムの一般化とプライバシ特性について検討する。 さらに、DP-GDが二層化ReLU畳み込みニューラルネットワーク(CNN)の訓練において、GDよりも優れた一般化性能を達成できる具体的な学習課題を特定する。 具体的には、低調な条件下では、GDがテスト精度の低いトレーニングモデルを生成するのに対し、DP-GDは、信号-ノイズ比が小さすぎる場合、良好なテスト精度とプライバシ保証を備えたトレーニングモデルを生成することができることを示す。 このことは,DP-GDが特定の学習タスクにおけるプライバシー保護を確保しつつ,モデル性能を向上させる可能性を示唆している。 理論的結果を支援するため, 数値シミュレーションも行った。

関連論文リスト

• Private Training & Data Generation by Clustering Embeddings [74.00687214400021]
  差分プライバシー(DP)は、個々のデータを保護するための堅牢なフレームワークを提供する。 本稿では,DP合成画像埋め込み生成のための新しい原理的手法を提案する。 経験的に、合成的に生成された埋め込みに基づいて訓練された単純な2層ニューラルネットワークは、最先端(SOTA)分類の精度を達成する。
  論文  参考訳（メタデータ） (2025-06-20T00:17:14Z)
• Training with Differential Privacy: A Gradient-Preserving Noise Reduction Approach with Provable Security [19.683286866372832]
  我々は,GReDPと呼ばれる,より堅牢で確実な個人訓練手法を提案する。 これまでの研究とは異なり、我々のGReDPはDPSGDに比べてノイズスケールの半分しか必要としない。
  論文  参考訳（メタデータ） (2024-09-18T03:01:27Z)
• Revisiting Privacy-Utility Trade-off for DP Training with Pre-existing Knowledge [40.44144653519249]
  異種雑音(DP-Hero)を有する一般微分プライバシーフレームワークを提案する。 DP-Heroでは、DP-SGDの異種バージョンをインスタンス化し、さらにフェデレーショントレーニングに拡張する。 提案するDP-Heroの有効性を検証・説明するための総合的な実験を行い,最新技術と比較するとトレーニング精度が向上した。
  論文  参考訳（メタデータ） (2024-09-05T08:40:54Z)
• Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
  DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。 我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-14T17:59:51Z)
• NeuralDP Differentially private neural networks by design [61.675604648670095]
  ニューラルネットワーク内のいくつかの層の活性化を民営化する手法であるNeuralDPを提案する。 本研究では,DP-SGDと比較して,プライバシーとユーティリティのトレードオフを大幅に改善した2つのデータセットを実験的に検証した。
  論文  参考訳（メタデータ） (2021-07-30T12:40:19Z)
• An Efficient DP-SGD Mechanism for Large Scale NLP Models [28.180412581994485]
  自然言語理解(NLU)モデルを訓練するために使用されるデータは、住所や電話番号などのプライベート情報を含むことができる。 基礎となるモデルは、トレーニングデータに含まれるプライベート情報を公開しないことが望ましい。 プライバシ保護モデルを構築するメカニズムとして,DP-SGD(Fariially Private Gradient Descent)が提案されている。
  論文  参考訳（メタデータ） (2021-07-14T15:23:27Z)
• Differentially private training of neural networks with Langevin dynamics forcalibrated predictive uncertainty [58.730520380312676]
  その結果,DP-SGD(差分偏差勾配勾配勾配勾配勾配)は,低校正・過信深層学習モデルが得られることがわかった。 これは、医療診断など、安全クリティカルな応用にとって深刻な問題である。
  論文  参考訳（メタデータ） (2021-07-09T08:14:45Z)
• RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial Network [75.81653258081435]
  GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。 しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。 本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
  論文  参考訳（メタデータ） (2020-07-04T09:51:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。