論文の概要: Does Differential Privacy Impact Bias in Pretrained NLP Models?

• arxiv url: http://arxiv.org/abs/2410.18749v1
• Date: Thu, 24 Oct 2024 13:59:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 12:51:49.890125
• Title: Does Differential Privacy Impact Bias in Pretrained NLP Models?
• Title（参考訳）: 差分プライバシーバイアスはNLPモデルに影響を及ぼすか?
• Authors: Md. Khairul Islam, Andrew Wang, Tianhao Wang, Yangfeng Ji, Judy Fox, Jieyu Zhao,
• Abstract要約: 差分プライバシー(DP)は、訓練例の漏洩を制限するために、訓練済みの大規模言語モデル(LLM)を微調整する際に適用される。 実験分析により, LLMの偏りに対するDPの影響について検討した。 また,DPがバイアスに与える影響は,プライバシ保護レベルだけでなく,データセットの基本的な分布にも影響していることが示された。
• 参考スコア（独自算出の注目度）: 24.63118058112066
• License:
• Abstract: Differential privacy (DP) is applied when fine-tuning pre-trained large language models (LLMs) to limit leakage of training examples. While most DP research has focused on improving a model's privacy-utility tradeoff, some find that DP can be unfair to or biased against underrepresented groups. In this work, we show the impact of DP on bias in LLMs through empirical analysis. Differentially private training can increase the model bias against protected groups w.r.t AUC-based bias metrics. DP makes it more difficult for the model to differentiate between the positive and negative examples from the protected groups and other groups in the rest of the population. Our results also show that the impact of DP on bias is not only affected by the privacy protection level but also the underlying distribution of the dataset.
• Abstract（参考訳）: 差分プライバシー(DP)は、訓練例の漏洩を制限するために、訓練済みの大規模言語モデル(LLM)を微調整する際に適用される。 ほとんどのDP研究は、モデルのプライバシーとユーティリティのトレードオフを改善することに重点を置いているが、DPは不公平なグループに対して不公平である、あるいは偏見がある、という意見もある。 本研究では,DPがLCMのバイアスに与える影響を経験的分析により明らかにした。 異なるプライベートトレーニングは、保護されたグループやAUCベースのバイアスメトリクスに対するモデルバイアスを増加させることができる。 DPは、モデルが保護されたグループと他の集団との正の例と負の例を区別することがより困難になる。 また,DPがバイアスに与える影響は,プライバシ保護レベルだけでなく,データセットの基本的な分布にも影響していることが示された。

関連論文リスト

• A Systematic and Formal Study of the Impact of Local Differential Privacy on Fairness: Preliminary Results [5.618541935188389]
  差分プライバシー(DP)は、プライバシ保護機械学習(ML)アルゴリズムの主要なソリューションである。 近年の研究では、ローカルDPが個人の異なるサブグループに対するML予測に影響を及ぼすことが示されている。 ローカルDPの下でのMLモデルによる決定の公平性は,プライバシやデータ分布の異なるレベルにおいてどのように変化するかを検討する。
  論文  参考訳（メタデータ） (2024-05-23T15:54:03Z)
• Incentives in Private Collaborative Machine Learning [56.84263918489519]
  コラボレーション型機械学習は、複数のパーティのデータに基づいてモデルをトレーニングする。 インセンティブとして差分プライバシー(DP)を導入する。 合成および実世界のデータセットに対するアプローチの有効性と実用性を実証的に実証した。
  論文  参考訳（メタデータ） (2024-04-02T06:28:22Z)
• Pre-training Differentially Private Models with Limited Public Data [54.943023722114134]
  ディファレンシャルプライバシ(DP)は、モデルに提供されるセキュリティの度合いを測定するための重要な手法である。 DPはまだ、最初の事前訓練段階で使用されるデータのかなりの部分を保護することができない。 公共データの10%しか利用しない新しいDP継続事前学習戦略を開発した。 ImageNet-21kのDP精度は41.5%、非DP精度は55.7%、下流タスクのPlaces365とiNaturalist-2021では60.0%である。
  論文  参考訳（メタデータ） (2024-02-28T23:26:27Z)
• LLM-based Privacy Data Augmentation Guided by Knowledge Distillation with a Distribution Tutor for Medical Text Classification [67.92145284679623]
  ノイズの多いプライベートディストリビューションをモデル化し,プライバシコストの低いサンプル生成を制御するDPベースのチュータを提案する。 理論的には、モデルのプライバシ保護を分析し、モデルを実証的に検証する。
  論文  参考訳（メタデータ） (2024-02-26T11:52:55Z)
• De-amplifying Bias from Differential Privacy in Language Model Fine-tuning [10.847913815093179]
  公正性とプライバシは、機械学習(ML)実践者がしばしばモデルで運用しようとする2つの重要な価値である。 大規模言語モデルを微調整した場合,DPは性別,人種,宗教的偏見を増幅することを示す。 本稿では, バイアスに対処する方法として, DPによるバイアス増幅の軽減が知られている。
  論文  参考訳（メタデータ） (2024-02-07T00:30:58Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Cross Pairwise Ranking for Unbiased Item Recommendation [57.71258289870123]
  我々はCPR(Cross Pairwise Ranking)という新しい学習パラダイムを開発する。 CPRは、露出メカニズムを知らずに不偏の推奨を達成する。 理論的には、この方法が学習に対するユーザ/イテムの適合性の影響を相殺することを証明する。
  論文  参考訳（メタデータ） (2022-04-26T09:20:27Z)
• DP-SGD vs PATE: Which Has Less Disparate Impact on GANs? [0.0]
  我々は、ディープラーニング、DP-SGD、PATEの2つのよく知られたDPフレームワークで訓練されたGANを、異なるデータ不均衡設定で比較する。 我々の実験は、PATEがDP-SGDと異なり、プライバシーとユーティリティのトレードオフは単調に減少していないことを一貫して示している。
  論文  参考訳（メタデータ） (2021-11-26T17:25:46Z)
• Robin Hood and Matthew Effects -- Differential Privacy Has Disparate Impact on Synthetic Data [3.2345600015792564]
  我々は、差分プライバシーが生成モデルに与える影響を分析する。 生成した合成データにおいて,DPが逆サイズ分布となることを示す。 我々は、合成データに基づいてモデルを分析または訓練する際の注意を呼びかける。
  論文  参考訳（メタデータ） (2021-09-23T15:14:52Z)
• DP-SGD vs PATE: Which Has Less Disparate Impact on Model Accuracy? [1.3238373064156095]
  差分プライバシーの適用、特にDP-SGDアルゴリズムは、人口の異なるサブグループに異なる影響を与えることを示す。 差分プライバシーを用いたディープラーニングモデルの学習機構であるPATEと、公平性の観点からDP-SGDを比較した。
  論文  参考訳（メタデータ） (2021-06-22T20:37:12Z)
• DP-InstaHide: Provably Defusing Poisoning and Backdoor Attacks with Differentially Private Data Augmentations [54.960853673256]
  混合や無作為な付加ノイズなどの強いデータ拡張は、わずかな精度のトレードオフに耐えながら、毒の攻撃を無効にする。 DP-InstaHideの厳密な分析によると、ミキサップは確かにプライバシー上の利点があり、kウェイミキサップによるトレーニングは、単純DPメカニズムよりも少なくともk倍強いDP保証が得られる。
  論文  参考訳（メタデータ） (2021-03-02T23:07:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。