論文の概要: Characterizing Stereotypical Bias from Privacy-preserving Pre-Training

• arxiv url: http://arxiv.org/abs/2407.00764v1
• Date: Sun, 30 Jun 2024 16:54:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 01:37:22.727141
• Title: Characterizing Stereotypical Bias from Privacy-preserving Pre-Training
• Title（参考訳）: プライバシ保護型プレトライニングによるステレオタイプバイアスのキャラクタリゼーション
• Authors: Stefan Arnold, Rene Gröbner, Annika Schreiner,
• Abstract要約: 差分プライバシー(DP)は、埋め込み空間における単語の空間配置を利用して、原文に適用することができる。 言語モデル(LM)におけるそのようなテキストの民営化の影響と,そのステレオタイプ的関連性に対する傾向について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differential Privacy (DP) can be applied to raw text by exploiting the spatial arrangement of words in an embedding space. We investigate the implications of such text privatization on Language Models (LMs) and their tendency towards stereotypical associations. Since previous studies documented that linguistic proficiency correlates with stereotypical bias, one could assume that techniques for text privatization, which are known to degrade language modeling capabilities, would cancel out undesirable biases. By testing BERT models trained on texts containing biased statements primed with varying degrees of privacy, our study reveals that while stereotypical bias generally diminishes when privacy is tightened, text privatization does not uniformly equate to diminishing bias across all social domains. This highlights the need for careful diagnosis of bias in LMs that undergo text privatization.
• Abstract（参考訳）: 差分プライバシー(DP)は、埋め込み空間における単語の空間配置を利用して、原文に適用することができる。 言語モデル(LM)におけるそのようなテキストの民営化の影響と,そのステレオタイプ的関連性に対する傾向について検討する。 以前の研究では、言語習熟度がステレオタイプバイアスと相関していることが文書化されて以来、言語モデリング能力の低下で知られているテキスト民営化の手法が望ましくないバイアスを解消するであろうと仮定できる。 偏見のある文を含むテキストでトレーニングされたBERTモデルを、プライバシーの度合いが変わると、ステレオタイプ的偏見は一般的に低下するが、テキストの民営化は、すべての社会的ドメインにおける偏見の低下に一様ではない。 これは、テキストの民営化を行うLMにおけるバイアスの慎重な診断の必要性を強調している。

関連論文リスト

• Anti-stereotypical Predictive Text Suggestions Do Not Reliably Yield Anti-stereotypical Writing [28.26615961488287]
  私たちは、言語モデルが予測テキストシナリオで、人々が言語モデルを使用して記述するストーリーにどのように影響するかを検討します。 特定のシナリオでは、共通の社会的ステレオタイプと整合する言語モデルの提案が、人間の著者によって受け入れられる可能性が高くなる。
  論文  参考訳（メタデータ） (2024-09-30T15:21:25Z)
• The Devil is in the Neurons: Interpreting and Mitigating Social Biases in Pre-trained Language Models [78.69526166193236]
  プレトレーニング言語モデル(PLM)は、社会的バイアスのような有害な情報を含むことが認識されている。 我々は,社会バイアスなどの望ましくない行動に起因する言語モデルにおいて,正確に単位(すなわちニューロン)を特定するために,sc Social Bias Neuronsを提案する。 StereoSetの以前の測定値からわかるように、我々のモデルは、低コストで言語モデリング能力を維持しながら、より高い公平性を達成する。
  論文  参考訳（メタデータ） (2024-06-14T15:41:06Z)
• NAP^2: A Benchmark for Naturalness and Privacy-Preserving Text Rewriting by Learning from Human [55.20137833039499]
  我々は,人間によって使用される2つの共通戦略を用いて,機密テキストの衛生化を提案する。 我々は,クラウドソーシングと大規模言語モデルの利用を通じて,NAP2という最初のコーパスをキュレートする。
  論文  参考訳（メタデータ） (2024-06-06T05:07:44Z)
• Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory [82.7042006247124]
  私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。 我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-10-27T04:15:30Z)
• Disentangling the Linguistic Competence of Privacy-Preserving BERT [0.0]
  差別化プライバシ(DP)は、テキストからテキストへの民営化というユニークな課題に対処するために調整されている。 我々は、摂動前文で訓練されたBERTから抽出した内部表現に対して、一連の解釈手法を用いる。 この相違点を解き放つために探索的タスクを用いることで、テキストからテキストへの民営化がいくつかの形式主義における言語能力に影響を及ぼす証拠を見出す。
  論文  参考訳（メタデータ） (2023-10-17T16:00:26Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Planting and Mitigating Memorized Content in Predictive-Text Language Models [11.911353678499008]
  言語モデルは、ユーザ製品に自動テキスト補完サービスを提供するために広くデプロイされている。 近年の研究では、言語モデルがプライベートトレーニングデータを記憶するかなりのリスクを負っていることが明らかになっている。 本研究では,機密テキストの意図しない暗記を緩和するために,プライバシー保護手法の有効性を検証した。
  論文  参考訳（メタデータ） (2022-12-16T17:57:14Z)
• COFFEE: Counterfactual Fairness for Personalized Text Generation in Explainable Recommendation [56.520470678876656]
  ユーザ記述テキストに固有のバイアスは、言語品質の異なるレベルとユーザの保護された属性を関連付けることができる。 説明生成における測度特異的な対実的公正性を実現するための一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-14T02:29:10Z)
• What Does it Mean for a Language Model to Preserve Privacy? [12.955456268790005]
  自然言語は私たちのプライベートな生活とアイデンティティを反映しており、そのプライバシーに関する懸念は現実の生活のそれと同じくらい広まっています。 既存の保護手法は、言語モデルに対する汎用的で意味のあるプライバシの概念を保証できない、と我々は主張する。 我々は、言語モデルは、公用として明示的に作成されたテキストデータに基づいて訓練されるべきである、と結論付けた。
  論文  参考訳（メタデータ） (2022-02-11T09:18:27Z)
• CAPE: Context-Aware Private Embeddings for Private Language Learning [0.5156484100374058]
  Context-Aware Private Embeddings (CAPE)は、埋め込みのトレーニング中にプライバシを保存する新しいアプローチである。 CAPEはディファレンシャルプライバシを通じて校正ノイズを適用し、機密情報を隠蔽しながらエンコードされたセマンティックリンクを保存する。 実験結果から,提案手法は単一介入よりも情報漏洩を低減させることが示された。
  論文  参考訳（メタデータ） (2021-08-27T14:50:12Z)
• Towards Controllable Biases in Language Generation [87.89632038677912]
  本研究では、特定の人口集団の言及を含む入力プロンプトによって生成されたテキストの社会的バイアスを誘導する手法を開発した。 1 つの人口統計学において負のバイアスを誘発し、もう1 つの人口統計学において正のバイアスを誘導し、2 つのシナリオを分析する。
  論文  参考訳（メタデータ） (2020-05-01T08:25:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。