論文の概要: Private and Fair Machine Learning: Revisiting the Disparate Impact of Differentially Private SGD

• arxiv url: http://arxiv.org/abs/2510.01744v1
• Date: Thu, 02 Oct 2025 07:31:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:21.04026
• Title: Private and Fair Machine Learning: Revisiting the Disparate Impact of Differentially Private SGD
• Title（参考訳）: 個人的かつ公正な機械学習 - 異なる個人的SGDの影響を再考する
• Authors: Lea Demelius, Dominik Kowald, Simone Kopeinik, Roman Kern, Andreas Trügler,
• Abstract要約: ディファレンシャルプライベート勾配降下(DPSGD)を持つニューラルネットワークのトレーニングは、モデルの学習力学に影響を与える。 これはモデルの性能と公平性に影響を与える可能性がある。 非プライベートモデルに匹敵する公平度レベルは、微分プライベートモデルの性能に対するハイパーパラメーターを最適化することで達成できることが示唆されている。
• 参考スコア（独自算出の注目度）: 6.320570871611689
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differential privacy (DP) is a prominent method for protecting information about individuals during data analysis. Training neural networks with differentially private stochastic gradient descent (DPSGD) influences the model's learning dynamics and, consequently, its output. This can affect the model's performance and fairness. While the majority of studies on the topic report a negative impact on fairness, it has recently been suggested that fairness levels comparable to non-private models can be achieved by optimizing hyperparameters for performance directly on differentially private models (rather than re-using hyperparameters from non-private models, as is common practice). In this work, we analyze the generalizability of this claim by 1) comparing the disparate impact of DPSGD on different performance metrics, and 2) analyzing it over a wide range of hyperparameter settings. We highlight that a disparate impact on one metric does not necessarily imply a disparate impact on another. Most importantly, we show that while optimizing hyperparameters directly on differentially private models does not mitigate the disparate impact of DPSGD reliably, it can still lead to improved utility-fairness trade-offs compared to re-using hyperparameters from non-private models. We stress, however, that any form of hyperparameter tuning entails additional privacy leakage, calling for careful considerations of how to balance privacy, utility and fairness. Finally, we extend our analyses to DPSGD-Global-Adapt, a variant of DPSGD designed to mitigate the disparate impact on accuracy, and conclude that this alternative may not be a robust solution with respect to hyperparameter choice.
• Abstract（参考訳）: 差分プライバシー(DP)は、データ分析中に個人に関する情報を保護する重要な方法である。 ディファレンシャルプライベート確率勾配勾配勾配(DPSGD)を持つニューラルネットワークのトレーニングは、モデルの学習力学に影響を与え、その結果、その出力に影響を及ぼす。 これはモデルの性能と公平性に影響を与える可能性がある。 このトピックに関する研究の大部分は、公平性に負の影響を報告しているが、近年では、非プライベートモデルに匹敵する公平度レベルは、差分プライベートモデルに直接パフォーマンスのハイパーパラメータを最適化することで達成できることが示唆されている(一般的なプラクティスであるように、非プライベートモデルからハイパーパラメータを再利用するのではなく)。 本研究では,この主張の一般化可能性について解析する。 1)DPSGDの異なるパフォーマンス指標に対する異なる影響の比較、及び 2) 広い範囲のハイパーパラメータ設定で分析した。 我々は、ある指標に対する異なる影響が必ずしも別の指標に対する異なる影響を意味するとは限らないことを強調する。 最も重要なことは、微分プライベートモデル上で直接ハイパーパラメータを最適化することは、DPSGDの異なる影響を確実に軽減しないが、非プライベートモデルからのハイパーパラメータの再利用と比較して、実用性と公正性のトレードオフの改善につながることである。 しかし、ハイパーパラメーターのチューニングには追加のプライバシー漏洩が伴うことを強調し、プライバシー、ユーティリティ、公正性のバランスをとる方法について慎重に検討するよう呼びかけている。 最後に,DPSGDの変種であるDPSGD-Global-Adapt(DPSGDの変種)に解析を拡張し,超パラメータ選択に対するロバストな解ではないと結論付けた。

関連論文リスト

• Balancing Utility and Privacy: Dynamically Private SGD with Random Projection [12.562807052680833]
  D2P2-SGD(Dynamically Differentially Private Projected SGD)を紹介する。 D2P2-SGDは、プライバシーを維持しながら精度を著しく向上させる。
  論文  参考訳（メタデータ） (2025-09-11T14:17:04Z)
• On the MIA Vulnerability Gap Between Private GANs and Diffusion Models [51.53790101362898]
  GAN(Generative Adversarial Networks)と拡散モデルが高品質な画像合成のための主要なアプローチとして登場している。 差分自己生成モデルが直面するプライバシーリスクの統一的および実証的分析について述べる。
  論文  参考訳（メタデータ） (2025-09-03T14:18:22Z)
• Differentially Private Random Feature Model [47.35176457481132]
  プライバシを保存するカーネルマシンに対して,差分的にプライベートな特徴モデルを作成する。 本手法は,プライバシを保護し,一般化誤差を導出する。
  論文  参考訳（メタデータ） (2024-12-06T05:31:08Z)
• Efficient and Private: Memorisation under differentially private parameter-efficient fine-tuning in language models [2.3281513013731145]
  特定のタスクのための微調整された大型言語モデル(LLM)は、不注意に記憶し、センシティブなトレーニングデータを漏洩する可能性があるため、プライバシのリスクをもたらす。 差分プライバシー(DP)は、これらのリスクを軽減するソリューションを提供するが、重大な計算とパフォーマンスのトレードオフをもたらす。 PEFT法は,パラメータを少なくし,プライバシリークを著しく低減しつつ,標準的な微調整に匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2024-11-24T13:17:36Z)
• Differentially Private Fine-Tuning of Diffusion Models [22.454127503937883]
  微分プライバシーと拡散モデル(DM)の統合は、有望だが挑戦的なフロンティアを示している。 この分野での最近の進歩は、公開データによる事前学習によって高品質な合成データを生成する可能性を強調している。 本稿では,プライバシとユーティリティのトレードオフを高めるために,トレーニング可能なパラメータの数を最小限に抑える,プライベート拡散モデルに最適化された戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-03T14:18:04Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Prediction-Oriented Bayesian Active Learning [51.426960808684655]
  予測情報ゲイン(EPIG)は、パラメータではなく予測空間における情報ゲインを測定する。 EPIGは、さまざまなデータセットやモデルにわたるBALDと比較して、予測パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-04-17T10:59:57Z)
• Exploring Machine Learning Privacy/Utility trade-off from a hyperparameters Lens [10.727571921061024]
  Differentially Private Descent Gradient (DPSGD)は、プライバシ保護モデルをトレーニングするための最先端の手法である。 アクティベーション関数をドロップインで置き換えることで、新しい最先端の精度を実現する。
  論文  参考訳（メタデータ） (2023-03-03T09:59:42Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)
• Learnable Bernoulli Dropout for Bayesian Deep Learning [53.79615543862426]
  Learnable Bernoulli Dropout (LBD) は、他のモデルパラメータと共に最適化されたパラメータとしてドロップアウト率を考慮する新しいモデルに依存しないドロップアウトスキームである。 LBDは画像分類とセマンティックセグメンテーションにおける精度と不確実性の推定を改善する。
  論文  参考訳（メタデータ） (2020-02-12T18:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。