論文の概要: SoftAdaClip: A Smooth Clipping Strategy for Fair and Private Model Training

• arxiv url: http://arxiv.org/abs/2510.01447v1
• Date: Wed, 01 Oct 2025 20:38:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.862152
• Title: SoftAdaClip: A Smooth Clipping Strategy for Fair and Private Model Training
• Title（参考訳）: SoftAdaClip: 公平でプライベートなモデルトレーニングのためのスムーズなクリッピング戦略
• Authors: Dorsa Soleymani, Ali Dadsetan, Frank Rudzicz,
• Abstract要約: ハードクリッピングをスムーズでタングベースの変換に置き換える,微分プライベートなトレーニング手法であるSoftAdaClipを導入する。 我々はMIMIC-III(クリニカルテキスト)、GOSSIS-eICU(構造化ヘルスケア)、成人所得など、様々なデータセットでSoftAdaClipを評価した。 その結果,SoftAdaClipはDP-SGDに対して最大87%,Adaptive-DPSGDでは最大48%のサブグループ格差を減少させることがわかった。
• 参考スコア（独自算出の注目度）: 13.525340904948829
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differential privacy (DP) provides strong protection for sensitive data, but often reduces model performance and fairness, especially for underrepresented groups. One major reason is gradient clipping in DP-SGD, which can disproportionately suppress learning signals for minority subpopulations. Although adaptive clipping can enhance utility, it still relies on uniform hard clipping, which may restrict fairness. To address this, we introduce SoftAdaClip, a differentially private training method that replaces hard clipping with a smooth, tanh-based transformation to preserve relative gradient magnitudes while bounding sensitivity. We evaluate SoftAdaClip on various datasets, including MIMIC-III (clinical text), GOSSIS-eICU (structured healthcare), and Adult Income (tabular data). Our results show that SoftAdaClip reduces subgroup disparities by up to 87% compared to DP-SGD and up to 48% compared to Adaptive-DPSGD, and these reductions in subgroup disparities are statistically significant. These findings underscore the importance of integrating smooth transformations with adaptive mechanisms to achieve fair and private model training.
• Abstract（参考訳）: 差分プライバシー(DP)はセンシティブなデータに対して強力な保護を提供するが、モデルの性能と公平性を低下させることが多い。 主な理由はDP-SGDの勾配クリッピングであり、少数集団の学習信号を不均等に抑制することができる。 アダプティブ・クリッピングは有用性を高めることができるが、それでも均一な硬いクリッピングに依存しており、公平性を制限する可能性がある。 これを解決するために,ソフトAdaClipを導入する。ハードクリッピングをスムーズでタンフベースな変換に置き換えて,相対勾配等級を感度を保ちながら保持する,微分プライベートなトレーニング手法である。 我々はMIMIC-III(クリニカルテキスト)、GOSSIS-eICU(構造化ヘルスケア)、成人所得(タブラルデータ)など、様々なデータセット上でSoftAdaClipを評価した。 その結果,SoftAdaClipはDP-SGDに対して最大87%,Adaptive-DPSGDに対して最大48%のサブグループ格差を減少させ,これらのサブグループ格差の減少は統計的に有意であることがわかった。 これらの知見は、公平かつプライベートなモデルトレーニングを実現するために、スムーズな変換と適応的なメカニズムを統合することの重要性を浮き彫りにした。

関連論文リスト

• Mitigating Disparate Impact of Differentially Private Learning through Bounded Adaptive Clipping [4.817614848684669]
  差別化プライバシ(DP)は、プライバシ保護機械学習に不可欠なフレームワークとなっている。 DP学習でよく用いられるグラディエントクリッピングは、挑戦的なサンプルから大きな勾配を抑えることができる。 適応的なクリッピングによってこの問題が増幅されることが示され、これにより、小さな値に束縛されたクリッピングを小さくして、適合する多数派と一致させることがしばしばある。 本稿では,過度な勾配抑制を防止するために,可変な下界を導入する有界適応クリッピングを提案する。
  論文  参考訳（メタデータ） (2025-06-02T07:44:17Z)
• Enhancing DP-SGD through Non-monotonous Adaptive Scaling Gradient Weight [15.139854970044075]
  我々はDP-PSASC(disferially Private Per-Sample Adaptive Scaling Clipping)を導入する。 このアプローチは、従来のクリッピングを非単調適応勾配スケーリングに置き換える。 DP-PSASCは勾配のプライバシーを保ち、多様なデータセットに優れた性能を提供する。
  論文  参考訳（メタデータ） (2024-11-05T12:47:30Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Bias-Aware Minimisation: Understanding and Mitigating Estimator Bias in Private SGD [56.01810892677744]
  DP-SGDにおいて,サンプルごとの勾配ノルムとプライベート勾配オラクルの推定バイアスの関連性を示す。 BAM(Bias-Aware Minimisation)を提案する。
  論文  参考訳（メタデータ） (2023-08-23T09:20:41Z)
• Disparate Impact in Differential Privacy from Gradient Misalignment [0.8192907805418583]
  DPSGDにおける不公平性のきめ細かい原因について検討し、不平等な勾配クリッピングによる勾配ずれを同定した。 そこで本研究では,DPSGDの勾配ずれを防止し,不公平性を低減させる新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-06-15T18:06:45Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
  ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。 多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。 各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
  論文  参考訳（メタデータ） (2020-06-27T19:08:12Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)
• Removing Disparate Impact of Differentially Private Stochastic Gradient Descent on Model Accuracy [18.69118059633505]
  機械学習において差分プライバシを強制する場合、ユーティリティプライバシのトレードオフは各グループごとに異なります。 本研究では、差分プライバシーによるユーティリティ損失の不等式の分析を行い、修正差分プライベート勾配勾配(DPSGD)を提案する。 実験により, DPSGDFにおけるグループ標本サイズとグループクリッピングバイアスが, DPSGDFにおける差分プライバシの影響に及ぼす影響と, DPSGDFにおける差分プライバシによる差分クリッピングの影響を緩和する要因について検討した。
  論文  参考訳（メタデータ） (2020-03-08T02:06:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。