論文の概要: Mitigating Disparate Impact of Differentially Private Learning through Bounded Adaptive Clipping

• arxiv url: http://arxiv.org/abs/2506.01396v1
• Date: Mon, 02 Jun 2025 07:44:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:34.094462
• Title: Mitigating Disparate Impact of Differentially Private Learning through Bounded Adaptive Clipping
• Title（参考訳）: 有界適応クリッピングによる差分私的学習の異なる影響の緩和
• Authors: Linzh Zhao, Aki Rehn, Mikko A. Heikkilä, Razane Tajeddine, Antti Honkela,
• Abstract要約: 差別化プライバシ(DP)は、プライバシ保護機械学習に不可欠なフレームワークとなっている。 DP学習でよく用いられるグラディエントクリッピングは、挑戦的なサンプルから大きな勾配を抑えることができる。 適応的なクリッピングによってこの問題が増幅されることが示され、これにより、小さな値に束縛されたクリッピングを小さくして、適合する多数派と一致させることがしばしばある。 本稿では,過度な勾配抑制を防止するために,可変な下界を導入する有界適応クリッピングを提案する。
• 参考スコア（独自算出の注目度）: 4.817614848684669
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differential privacy (DP) has become an essential framework for privacy-preserving machine learning. Existing DP learning methods, however, often have disparate impacts on model predictions, e.g., for minority groups. Gradient clipping, which is often used in DP learning, can suppress larger gradients from challenging samples. We show that this problem is amplified by adaptive clipping, which will often shrink the clipping bound to tiny values to match a well-fitting majority, while significantly reducing the accuracy for others. We propose bounded adaptive clipping, which introduces a tunable lower bound to prevent excessive gradient suppression. Our method improves the accuracy of the worst-performing class on average over 10 percentage points on skewed MNIST and Fashion MNIST compared to the unbounded adaptive clipping, and over 5 percentage points over constant clipping.
• Abstract（参考訳）: 差別化プライバシ(DP)は、プライバシ保護機械学習に不可欠なフレームワークとなっている。 しかし,既存のDP学習手法は,マイノリティグループに対するモデル予測に異なる影響を与えることが多い。 DP学習でよく用いられるグラディエントクリッピングは、挑戦的なサンプルから大きな勾配を抑えることができる。 適応的クリッピングによってこの問題が増幅されることが示され、これによりクリッピングが小さい値に制限され、適合する多数派と一致し、精度は著しく低下する。 本稿では,過度な勾配抑制を防止するために,可変な下界を導入する有界適応クリッピングを提案する。 本手法は, スクイードMNISTとファシオンMNISTの平均10ポイント以上において, 非有界適応クリッピングと比較して, 最低性能クラスの精度を向上し, 一定のクリッピングよりも5ポイント以上向上する。

関連論文リスト

• ZClip: Adaptive Spike Mitigation for LLM Pre-Training [0.3574867616159909]
  大規模言語モデル(LLM)のトレーニングには、勾配不安定性や損失スパイクなど、数多くの課題がある。 定数法やノルム法のような従来の勾配クリッピング技術は、これらの問題に効果的に対処できない。 本研究では,時間とともに勾配規範の統計的特性に基づいてクリッピング閾値を動的に調整する適応的勾配クリッピングアルゴリズムZClipを提案する。
  論文  参考訳（メタデータ） (2025-04-03T11:41:55Z)
• Enhancing DP-SGD through Non-monotonous Adaptive Scaling Gradient Weight [15.139854970044075]
  我々はDP-PSASC(disferially Private Per-Sample Adaptive Scaling Clipping)を導入する。 このアプローチは、従来のクリッピングを非単調適応勾配スケーリングに置き換える。 DP-PSASCは勾配のプライバシーを保ち、多様なデータセットに優れた性能を提供する。
  論文  参考訳（メタデータ） (2024-11-05T12:47:30Z)
• Multimodal Unlearnable Examples: Protecting Data against Multimodal Contrastive Learning [53.766434746801366]
  マルチモーダル・コントラッシブ・ラーニング (MCL) は、インターネットから何百万ものイメージ・キャプション・ペアから学習することで、ゼロショット分類において顕著な進歩を見せている。 ハッカーは、個人やプライバシーに敏感な情報を含む、モデルトレーニングのために画像テキストデータを不正に活用する可能性がある。 近年の研究では、保護のためのショートカットを構築するための訓練画像に知覚不能な摂動を加えることで、学習不可能な例を生成することを提案する。 マルチステップ誤り最小化(MEM)を提案する。
  論文  参考訳（メタデータ） (2024-07-23T09:00:52Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Bias-Aware Minimisation: Understanding and Mitigating Estimator Bias in Private SGD [56.01810892677744]
  DP-SGDにおいて,サンプルごとの勾配ノルムとプライベート勾配オラクルの推定バイアスの関連性を示す。 BAM(Bias-Aware Minimisation)を提案する。
  論文  参考訳（メタデータ） (2023-08-23T09:20:41Z)
• Exploring the Limits of Differentially Private Deep Learning with Group-wise Clipping [91.60608388479645]
  本研究では, クリッピングとバックプロパゲーションを併用して, 異なる最適化手法でクリッピングを行えることを示す。 その結果、プライベートな学習は、記憶効率が良く、トレーニング更新あたりの速度は、多くの関心を持つ非プライベートな学習と同程度になる。
  論文  参考訳（メタデータ） (2022-12-03T05:20:15Z)
• Differentially Private Learning with Per-Sample Adaptive Clipping [8.401653565794353]
  非単調適応重み関数に基づくDP-PSACアルゴリズムを提案する。 DP-PSACは,複数のメインストリームビジョンや言語タスクにおいて,最先端の手法よりも優れ,あるいは適合していることを示す。
  論文  参考訳（メタデータ） (2022-12-01T07:26:49Z)
• On the Convergence and Calibration of Deep Learning with Differential Privacy [12.297499996547925]
  差分プライベート(DP)トレーニングは、データプライバシを通常、収束を遅くするコストで保持する。 ノイズ付加はプライバシーリスクにのみ影響するが、収束や校正には影響しない。 対照的に、大きなクリッピング規範で訓練されたDPモデルは、同じプライバシー保証と類似の精度を享受するが、はるかにテキスト化されている。
  論文  参考訳（メタデータ） (2021-06-15T01:32:29Z)
• Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
  ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。 多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。 各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
  論文  参考訳（メタデータ） (2020-06-27T19:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。