論文の概要: How Does Differential Privacy Affect Social Bias in LLMs? A Systematic Evaluation

• arxiv url: http://arxiv.org/abs/2605.11195v1
• Date: Mon, 11 May 2026 20:03:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.397911
• Title: How Does Differential Privacy Affect Social Bias in LLMs? A Systematic Evaluation
• Title（参考訳）: 差別化プライバシがLLMの社会的バイアスに与える影響 : 体系的評価
• Authors: Eduardo Tenorio, Karuna Bhaila, Xintao Wu,
• Abstract要約: Webスケールコーパスでトレーニングされた大規模言語モデル(LLM)は、センシティブなトレーニングデータを記憶することができ、重大なプライバシーリスクを生じさせる。 差分プライバシー(DP)は、トレーニング中の個々のデータポイントの影響を制限する原則的なフレームワークとして登場した。 DP-SGDを訓練したプレトレーニング LLM における社会的バイアスの体系的評価について述べる。
• 参考スコア（独自算出の注目度）: 13.816883852293692
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) trained on web-scale corpora can memorize sensitive training data, posing significant privacy risks. Differential privacy (DP) has emerged as a principled framework that limits the influence of individual data points during training, yet the relationship between differential privacy and social bias in LLMs remains poorly understood. To investigate this, we present a systematic evaluation of social bias in a pretrained LLM trained with DP-SGD, comparing a DP model against non-DP baselines across four complementary paradigms: sentence scoring, text completion, tabular classification, and question answering. We find that DP reduces bias in sentence scoring tasks, where bias is measured through controlled likelihood comparisons, yet this improvement does not generalize across all tasks. Our results reveal a discrepancy between logit-level bias and output-level bias. Moreover, decreasing memorization does not necessarily reduce unfairness, underscoring the importance of multi-paradigm evaluation when assessing fairness in LLMs.
• Abstract（参考訳）: Webスケールコーパスでトレーニングされた大規模言語モデル(LLM)は、センシティブなトレーニングデータを記憶することができ、重大なプライバシーリスクを生じさせる。 差分プライバシー(DP)は、訓練中に個々のデータポイントの影響を制限する原則的な枠組みとして登場したが、LLMにおける差分プライバシーと社会的偏見の関係はいまだによく分かっていない。 そこで本研究では,DP-SGD を用いた事前学習型 LLM における社会的バイアスの体系的評価を行い,DP モデルと非DP ベースラインを比較した。 DP は文評価タスクのバイアスを減らし,そのバイアスは制御された可能性比較によって測定されるが,この改善は全タスクにわたって一般化されない。 その結果,ロジットレベルのバイアスと出力レベルのバイアスの相違が明らかになった。 さらに, 記憶量の減少は必ずしも不公平さを減少させるものではなく, LLMの公平性を評価する上でのマルチパラダイム評価の重要性を強調している。

関連論文リスト

• PerProb: Indirectly Evaluating Memorization in Large Language Models [13.905375956316632]
  LLM脆弱性を間接的に評価するためのラベルフリーフレームワークであるPerProbを提案する。 PerProbは、被害者モデルと敵対モデルによって生成されたデータ間の難易度と平均ログ確率の変化を評価する。 PerProbの有効性を5つのデータセットで評価し、さまざまなメモリ挙動とプライバシリスクを明らかにした。
  論文  参考訳（メタデータ） (2025-12-16T17:10:01Z)
• Does Differential Privacy Impact Bias in Pretrained NLP Models? [24.63118058112066]
  差分プライバシー(DP)は、訓練例の漏洩を制限するために、訓練済みの大規模言語モデル(LLM)を微調整する際に適用される。 実験分析により, LLMの偏りに対するDPの影響について検討した。 また,DPがバイアスに与える影響は,プライバシ保護レベルだけでなく,データセットの基本的な分布にも影響していることが示された。
  論文  参考訳（メタデータ） (2024-10-24T13:59:03Z)
• Investigating Privacy Bias in Training Data of Language Models [1.3167450470598043]
  プライバシーバイアス(英: privacy bias)とは、あるコンテキスト内で情報の流れが適切に流れる際の歪を指す。 このスキューは、既存の期待に沿うか、システムの問題の症状を示すかもしれない。 文脈整合性に基づく手法を用いてプライバシーバイアスを評価する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-05T17:50:31Z)
• Unboxing Occupational Bias: Grounded Debiasing of LLMs with U.S. Labor Data [9.90951705988724]
  大規模言語モデル(LLM)は、社会的バイアスを継承し増幅する傾向がある。 LLMバイアスは、不公平な慣行をもたらし、社会的不平等を悪化させる。
  論文  参考訳（メタデータ） (2024-08-20T23:54:26Z)
• Social Debiasing for Fair Multi-modal LLMs [59.61512883471714]
  MLLM(Multi-modal Large Language Models)は、研究分野を劇的に進歩させ、強力な視覚言語理解機能を提供する。 これらのモデルは、しばしば訓練データから根深い社会的偏見を継承し、人種や性別などの属性に対する不快な反応をもたらす。 本稿では,MLLMにおける社会的バイアスの問題を,複数の社会的概念を持つ包括的対実的データセットを導入することで解決する。
  論文  参考訳（メタデータ） (2024-08-13T02:08:32Z)
• CEB: Compositional Evaluation Benchmark for Fairness in Large Language Models [58.57987316300529]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを処理するために、ますます多くデプロイされている。 LLMが示すバイアスを評価するために、研究者は最近、様々なデータセットを提案している。 我々は,様々な社会的グループやタスクにまたがる様々なバイアスをカバーした構成的評価ベンチマークであるCEBを提案する。
  論文  参考訳（メタデータ） (2024-07-02T16:31:37Z)
• Evaluating Implicit Bias in Large Language Models by Attacking From a Psychometric Perspective [66.34066553400108]
  我々は、ある人口層に対する大きな言語モデルの暗黙の偏見を厳格に評価する。 心理測定の原則にインスパイアされた我々は,3つの攻撃的アプローチ,すなわち,軽視,軽視,指導を提案する。 提案手法は,LLMの内部バイアスを競合ベースラインよりも効果的に引き出すことができる。
  論文  参考訳（メタデータ） (2024-06-20T06:42:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。