論文の概要: An investigation of structures responsible for gender bias in BERT and DistilBERT

• arxiv url: http://arxiv.org/abs/2401.06495v1
• Date: Fri, 12 Jan 2024 10:42:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-15 19:43:02.114524
• Title: An investigation of structures responsible for gender bias in BERT and DistilBERT
• Title（参考訳）: BERTとDistilBERTにおける性バイアスの原因となる構造の検討
• Authors: Thibaud Leteno, Antoine Gourru, Charlotte Laclau, Christophe Gravier
• Abstract要約: 大規模トランスフォーマーベースの事前学習言語モデル(PLM)は、自然言語処理(NLP)の状況を変えた。 重要な問題は、PLMと蒸留した両者による予測の公平性である。 その結果, (I) 偏見を生じさせる特定の層を特定することはできない; (II) 全ての注意頭は偏見を均一に符号化する; ただし, 感度特性のバランスが低いクラスでは, 偏見を均一に表現する。
• 参考スコア（独自算出の注目度）: 5.339044919864443
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, large Transformer-based Pre-trained Language Models (PLM) have changed the Natural Language Processing (NLP) landscape, by pushing the performance boundaries of the state-of-the-art on a wide variety of tasks. However, this performance gain goes along with an increase in complexity, and as a result, the size of such models (up to billions of parameters) represents a constraint for their deployment on embedded devices or short-inference time tasks. To cope with this situation, compressed models emerged (e.g. DistilBERT), democratizing their usage in a growing number of applications that impact our daily lives. A crucial issue is the fairness of the predictions made by both PLMs and their distilled counterparts. In this paper, we propose an empirical exploration of this problem by formalizing two questions: (1) Can we identify the neural mechanism(s) responsible for gender bias in BERT (and by extension DistilBERT)? (2) Does distillation tend to accentuate or mitigate gender bias (e.g. is DistilBERT more prone to gender bias than its uncompressed version, BERT)? Our findings are the following: (I) one cannot identify a specific layer that produces bias; (II) every attention head uniformly encodes bias; except in the context of underrepresented classes with a high imbalance of the sensitive attribute; (III) this subset of heads is different as we re-fine tune the network; (IV) bias is more homogeneously produced by the heads in the distilled model.
• Abstract（参考訳）: 近年,大きなトランスフォーマーベースの事前学習言語モデル (PLM) は,多種多様なタスクにおいて最先端の性能境界を推し進めることで,自然言語処理(NLP)の状況を変えている。 しかし、このパフォーマンス向上は複雑さの増加と共に進み、結果として、そのようなモデルのサイズ(最大10億のパラメータ)は、組み込みデバイスやショート推論タイムタスクへのデプロイの制約を表している。 この状況に対処するため、圧縮モデル(例えば DistilBERT)が出現し、日々の生活に影響を及ぼす多くのアプリケーションで彼らの使用を民主化した。 重要な問題は、PLMと蒸留した両者による予測の公平性である。 本稿では,BERT(および拡張DistilBERT)における性バイアスの原因となる神経メカニズムを同定できるか,という2つの疑問を定式化することによって,この問題を実証的に探究する。 2)蒸留は、性バイアスをアクセントまたは緩和する傾向があるか(例えば、 DistilBERTは、非圧縮版であるBERTよりも性バイアスに傾向があるか)。 その結果, (I) バイアスを発生させる特定の層を特定することはできない; (II) 全ての注意頭はバイアスを均一に符号化する; (II) 感度特性のバランスの低いクラスでは, (III) この頭の部分集合は, ネットワークを調整した時に異なる; (IV) バイアスは蒸留モデルの頭によってより均一に生成される。

関連論文リスト

• MoESD: Mixture of Experts Stable Diffusion to Mitigate Gender Bias [23.10522891268232]
  テキスト・ツー・イメージ・モデルにおいて、ジェンダーバイアスを軽減するためのMixture-of-Expertsアプローチを導入する。 画像品質を維持しながら, 性別偏見の軽減に成功していることを示す。
  論文  参考訳（メタデータ） (2024-06-25T14:59:31Z)
• The Devil is in the Neurons: Interpreting and Mitigating Social Biases in Pre-trained Language Models [78.69526166193236]
  プレトレーニング言語モデル(PLM)は、社会的バイアスのような有害な情報を含むことが認識されている。 我々は,社会バイアスなどの望ましくない行動に起因する言語モデルにおいて,正確に単位(すなわちニューロン)を特定するために,sc Social Bias Neuronsを提案する。 StereoSetの以前の測定値からわかるように、我々のモデルは、低コストで言語モデリング能力を維持しながら、より高い公平性を達成する。
  論文  参考訳（メタデータ） (2024-06-14T15:41:06Z)
• Locating and Mitigating Gender Bias in Large Language Models [40.78150878350479]
  大規模言語モデル(LLM)は、人間の好みを含む事実や人間の認知を学ぶために、広範囲なコーパスで事前訓練されている。 このプロセスは、社会においてバイアスや一般的なステレオタイプを取得するこれらのモデルに必然的に導かれる可能性がある。 本稿では,職業代名詞の性別バイアスを軽減する知識編集手法LSDMを提案する。
  論文  参考訳（メタデータ） (2024-03-21T13:57:43Z)
• The Male CEO and the Female Assistant: Evaluation and Mitigation of Gender Biases in Text-To-Image Generation of Dual Subjects [58.27353205269664]
  本稿では,Paired Stereotype Test (PST) フレームワークを提案する。 PSTクエリT2Iモデルは、男性ステレオタイプと女性ステレオタイプに割り当てられた2つの個人を描写する。 PSTを用いて、ジェンダーバイアスの2つの側面、つまり、ジェンダーの職業におけるよく知られたバイアスと、組織力におけるバイアスという新しい側面を評価する。
  論文  参考訳（メタデータ） (2024-02-16T21:32:27Z)
• Causality and Independence Enhancement for Biased Node Classification [56.38828085943763]
  各種グラフニューラルネットワーク(GNN)に適用可能な新しい因果性・独立性向上(CIE)フレームワークを提案する。 提案手法は,ノード表現レベルでの因果的特徴と突発的特徴を推定し,突発的相関の影響を緩和する。 我々のアプローチCIEは、GNNの性能を大幅に向上するだけでなく、最先端の debiased ノード分類法よりも優れています。
  論文  参考訳（メタデータ） (2023-10-14T13:56:24Z)
• Gender Bias in BERT -- Measuring and Analysing Biases through Sentiment Rating in a Realistic Downstream Classification Task [0.0]
  9つのトレーニング条件で7つの異なるパブリックBERTモデルを比較する。 ほとんど全ての条件が有意な性別バイアスをもたらす。 その結果、反射バイアスはタスク固有のデータではなく、パブリックBERTモデルに由来することが明らかとなった。
  論文  参考訳（メタデータ） (2023-06-27T08:36:35Z)
• Bias in Pruned Vision Models: In-Depth Analysis and Countermeasures [93.17009514112702]
  ニューラルネットワークのパラメータのかなりの部分集合をゼロに設定するプルーニングは、モデル圧縮の最も一般的な方法の1つである。 この現象の既存の証拠にもかかわらず、ニューラルネットワークのプルーニングと誘導バイアスの関係はよく理解されていない。
  論文  参考訳（メタデータ） (2023-04-25T07:42:06Z)
• The Birth of Bias: A case study on the evolution of gender bias in an English language model [1.6344851071810076]
  私たちは、英語のウィキペディアコーパスでトレーニングされたLSTMアーキテクチャを使って、比較的小さな言語モデルを使用します。 性別の表現は動的であり、訓練中に異なる位相を識別する。 モデルの入力埋め込みにおいて,ジェンダー情報が局所的に表現されることが示される。
  論文  参考訳（メタデータ） (2022-07-21T00:59:04Z)
• Detecting Gender Bias in Transformer-based Models: A Case Study on BERT [13.41153166498957]
  注意点に応じて、性別と職業の異なる関係度を比較することにより、直感的な性別バイアス判定を行う。 ウィキペディア全体をスキャンすることで、一貫したジェンダーバイアスの結論を導き出す。
  論文  参考訳（メタデータ） (2021-10-15T21:25:58Z)
• UnQovering Stereotyping Biases via Underspecified Questions [68.81749777034409]
  未特定質問からバイアスを探索・定量化するためのフレームワークUNQOVERを提案する。 モデルスコアの素直な使用は,2種類の推論誤差による誤ったバイアス推定につながる可能性があることを示す。 我々はこの指標を用いて、性別、国籍、民族、宗教の4つの重要なステレオタイプの分析を行う。
  論文  参考訳（メタデータ） (2020-10-06T01:49:52Z)
• Fairness Through Robustness: Investigating Robustness Disparity in Deep Learning [61.93730166203915]
  我々は、モデルが敵の攻撃に弱い場合、従来の公平性の概念では不十分であると主張する。 頑健性バイアスを測定することはDNNにとって難しい課題であり,この2つの方法を提案する。
  論文  参考訳（メタデータ） (2020-06-17T22:22:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。