論文の概要: Differential Privacy in Two-Layer Networks: How DP-SGD Harms Fairness and Robustness
- arxiv url: http://arxiv.org/abs/2603.04881v1
- Date: Thu, 05 Mar 2026 07:19:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-06 22:06:11.110232
- Title: Differential Privacy in Two-Layer Networks: How DP-SGD Harms Fairness and Robustness
- Title（参考訳）: 2層ネットワークにおける差分プライバシー:DP-SGDの公正性とロバスト性
- Authors: Ruichen Xu, Kexin Chen,
- Abstract要約: 本稿では,差分的にプライベートな勾配の特徴学習ダイナミクスを解析するための統合された特徴中心フレームワークを提案する。
プライバシに要求されるノイズが,最適機能学習ネットワークにつながることを実証する。
- 参考スコア（独自算出の注目度）: 2.9327666088683664
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differentially private learning is essential for training models on sensitive data, but empirical studies consistently show that it can degrade performance, introduce fairness issues like disparate impact, and reduce adversarial robustness. The theoretical underpinnings of these phenomena in modern, non-convex neural networks remain largely unexplored. This paper introduces a unified feature-centric framework to analyze the feature learning dynamics of differentially private stochastic gradient descent (DP-SGD) in two-layer ReLU convolutional neural networks. Our analysis establishes test loss bounds governed by a crucial metric: the feature-to-noise ratio (FNR). We demonstrate that the noise required for privacy leads to suboptimal feature learning, and specifically show that: 1) imbalanced FNRs across classes and subpopulations cause disparate impact; 2) even in the same class, noise has a greater negative impact on semantically long-tailed data; and 3) noise injection exacerbates vulnerability to adversarial attacks. Furthermore, our analysis reveals that the popular paradigm of public pre-training and private fine-tuning does not guarantee improvement, particularly under significant feature distribution shifts between datasets. Experiments on synthetic and real-world data corroborate our theoretical findings.
- Abstract（参考訳）: 異なるプライベートな学習は、センシティブなデータに基づくモデルのトレーニングには不可欠だが、実験的な研究は、パフォーマンスを劣化させ、異なる影響のような公平さの問題を導入し、敵の堅牢性を減らすことができることを一貫して示している。
現代の非凸ニューラルネットワークにおけるこれらの現象の理論的基盤はほとんど解明されていない。
本稿では,2層ReLU畳み込みニューラルネットワークにおけるDP-SGDの特徴学習ダイナミクスを解析するための特徴中心フレームワークを提案する。
本分析は,FNR(Feature-to-Noise ratio)という重要な指標によって支配されるテスト損失境界を確立する。
私たちは、プライバシーに必要なノイズが、最適な機能学習につながることを実証し、特にそれを示しています。
1) クラスやサブ集団間の不均衡なFNRは、異なる影響を引き起こす。
2)同じクラスであっても,ノイズは意味的長期データに負の影響が大きい。
3) 騒音注入は敵攻撃に対する脆弱性を悪化させる。
さらに分析の結果,特にデータセット間の重要な特徴分散シフトの下では,公開事前学習とプライベート微調整の一般的なパラダイムが改善を保証していないことが明らかとなった。
人工的および実世界のデータに関する実験は、我々の理論的な発見を裏付ける。
関連論文リスト
- Understanding Private Learning From Feature Perspective [21.60795003011593]
個人差分勾配Descent(DP-SGD)は、プライバシ保護機械学習に不可欠なものとなっている。
本稿では,機能学習の観点から,私的トレーニングを解析するための最初の理論的枠組みを提案する。
論文 参考訳（メタデータ） (2025-11-22T10:09:46Z) - Rethinking Benign Overfitting in Two-Layer Neural Networks [2.486161976966064]
我々は、クラス依存の異種ノイズを取り入れて特徴雑音データモデルを洗練し、ニューラルネットワークにおける過剰適合現象を再検討する。
ニューラルネットワークは「データノイズ」を利用して暗黙的な特徴を学習し、長い尾を持つデータの分類精度を向上させる。
論文 参考訳（メタデータ） (2025-02-17T15:20:04Z) - Training More Robust Classification Model via Discriminative Loss and Gaussian Noise Injection [7.535952418691443]
本稿では,クラス内コンパクト性を明示する最小層に適用した損失関数を提案する。
また、ノイズの多いデータクラスタをクリーンなクラスタに近づける、クラスワイズな機能アライメント機構を提案する。
提案手法は, クリーンなデータに対して高い精度を維持しながら, 各種摂動に対するモデルロバスト性を大幅に強化する。
論文 参考訳（メタデータ） (2024-05-28T18:10:45Z) - Doubly Robust Causal Effect Estimation under Networked Interference via Targeted Learning [24.63284452991301]
ネットワーク干渉下での2つの頑健な因果効果推定器を提案する。
具体的には,対象とする学習手法をネットワーク干渉設定に一般化する。
我々は、同定された理論条件を目標損失に変換することによって、エンドツーエンドの因果効果推定器を考案する。
論文 参考訳（メタデータ） (2024-05-06T10:49:51Z) - The Risk of Federated Learning to Skew Fine-Tuning Features and
Underperform Out-of-Distribution Robustness [50.52507648690234]
フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。
3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。
提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
論文 参考訳（メタデータ） (2024-01-25T09:18:51Z) - How Spurious Features Are Memorized: Precise Analysis for Random and NTK Features [19.261178173399784]
学習課題とは無関係な突発的な特徴について考察する。
それらがどのように2つの異なる用語で記憶されるのかを正確に評価する。
一般化能力の増大に伴い,突発的特徴の記憶が弱まることを示す。
論文 参考訳（メタデータ） (2023-05-20T05:27:41Z) - Explicit Tradeoffs between Adversarial and Natural Distributional
Robustness [48.44639585732391]
実際、モデルは信頼性を確保するために両方のタイプの堅牢さを享受する必要があります。
本研究では, 対角線と自然分布の強靭性の間には, 明らかなトレードオフが存在することを示す。
論文 参考訳（メタデータ） (2022-09-15T19:58:01Z) - The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer
Linear Networks [51.1848572349154]
ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。
我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
論文 参考訳（メタデータ） (2021-08-25T22:01:01Z) - Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。
我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文 参考訳（メタデータ） (2021-02-23T20:59:30Z) - Robustness Threats of Differential Privacy [70.818129585404]
我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。
本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
論文 参考訳（メタデータ） (2020-12-14T18:59:24Z) - Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。
我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。
本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-08-01T00:58:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。