論文の概要: Detecting Gender Bias in Transformer-based Models: A Case Study on BERT

• arxiv url: http://arxiv.org/abs/2110.15733v1
• Date: Fri, 15 Oct 2021 21:25:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-07 11:42:55.801147
• Title: Detecting Gender Bias in Transformer-based Models: A Case Study on BERT
• Title（参考訳）: 変圧器モデルによるジェンダーバイアスの検出:BERTを事例として
• Authors: Bingbing Li, Hongwu Peng, Rajat Sainju, Junhuan Yang, Lei Yang, Yueying Liang, Weiwen Jiang, Binghui Wang, Hang Liu, and Caiwen Ding
• Abstract要約: 注意点に応じて、性別と職業の異なる関係度を比較することにより、直感的な性別バイアス判定を行う。 ウィキペディア全体をスキャンすることで、一貫したジェンダーバイアスの結論を導き出す。
• 参考スコア（独自算出の注目度）: 13.41153166498957
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a novel gender bias detection method by utilizing attention map for transformer-based models. We 1) give an intuitive gender bias judgement method by comparing the different relation degree between the genders and the occupation according to the attention scores, 2) design a gender bias detector by modifying the attention module, 3) insert the gender bias detector into different positions of the model to present the internal gender bias flow, and 4) draw the consistent gender bias conclusion by scanning the entire Wikipedia, a BERT pretraining dataset. We observe that 1) the attention matrices, Wq and Wk introduce much more gender bias than other modules (including the embedding layer) and 2) the bias degree changes periodically inside of the model (attention matrix Q, K, V, and the remaining part of the attention layer (including the fully-connected layer, the residual connection, and the layer normalization module) enhance the gender bias while the averaged attentions reduces the bias).
• Abstract（参考訳）: 本稿では,変圧器モデルに対するアテンションマップを利用した新しい性別バイアス検出手法を提案する。 私たち 1)注意度に応じて性別と職業の異なる関係度を比較することにより、直感的なジェンダーバイアス判定方法を与える。 2)注意モジュールの修正によるジェンダーバイアス検出器の設計 3)ジェンダーバイアス検出器をモデルの異なる位置に挿入して、内部のジェンダーバイアスフローを提示する。 4) bertプリトレーニングデータセットであるwikipedia全体をスキャンすることで、一貫したジェンダーバイアスの結論を導きます。 私たちはそれを観察する 1)注目行列WqとWkは、他のモジュール(埋め込み層を含む)よりもはるかに多くの性バイアスをもたらす。 2) バイアス度はモデルの内部で周期的に変化する(注意層(注意層Q,K,V,及び注意層(全接続層,残留接続,及び層正規化モジュールを含む)は、平均的な注意がバイアスを減少させる一方で、性別バイアスを増大させる。

関連論文リスト

• How far can bias go? -- Tracing bias from pretraining data to alignment [54.51310112013655]
  本研究では, 事前学習データにおける性別占有バイアスと, LLMにおける性別占有バイアスの相関について検討した。 その結果,事前学習データに存在するバイアスがモデル出力に増幅されることが判明した。
  論文  参考訳（メタデータ） (2024-11-28T16:20:25Z)
• Revealing and Reducing Gender Biases in Vision and Language Assistants (VLAs) [82.57490175399693]
  画像・テキスト・ビジョン言語アシスタント(VLA)22種における性別バイアスの検討 以上の結果から,VLAは実世界の作業不均衡など,データ中の人間のバイアスを再現する可能性が示唆された。 これらのモデルにおける性別バイアスを排除するため、微調整に基づくデバイアス法は、下流タスクにおけるデバイアスとパフォーマンスの最良のトレードオフを実現する。
  論文  参考訳（メタデータ） (2024-10-25T05:59:44Z)
• GenderBias-\emph{VL}: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing [72.0343083866144]
  本稿では,GenderBias-emphVLベンチマークを用いて,大規模視覚言語モデルにおける職業関連性バイアスの評価を行う。 ベンチマークを用いて15のオープンソースLVLMと最先端の商用APIを広範囲に評価した。 既存のLVLMでは男女差が広くみられた。
  論文  参考訳（メタデータ） (2024-06-30T05:55:15Z)
• Identifying and examining machine learning biases on Adult dataset [0.7856362837294112]
  この研究は、エンサンブルラーニングによる機械学習モデルバイアスの低減を念頭に置いている。 我々の厳密な方法論は、様々なカテゴリー変数にまたがる偏見を包括的に評価し、最終的に顕著な男女属性偏見を明らかにします。 本研究は,データ駆動型社会における倫理的考察とハイブリッドモデルの実現を提唱する。
  論文  参考訳（メタデータ） (2023-10-13T19:41:47Z)
• VisoGender: A dataset for benchmarking gender bias in image-text pronoun resolution [80.57383975987676]
  VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。 We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。 我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
  論文  参考訳（メタデータ） (2023-06-21T17:59:51Z)
• Gender Bias in Transformer Models: A comprehensive survey [1.1011268090482573]
  人工知能(AI)におけるジェンダーバイアスは、個人の生活に深く影響する懸念として浮上している。 本稿では,トランスフォーマーモデルにおけるジェンダーバイアスを言語学的観点から調査する。
  論文  参考訳（メタデータ） (2023-06-18T11:40:47Z)
• The Birth of Bias: A case study on the evolution of gender bias in an English language model [1.6344851071810076]
  私たちは、英語のウィキペディアコーパスでトレーニングされたLSTMアーキテクチャを使って、比較的小さな言語モデルを使用します。 性別の表現は動的であり、訓練中に異なる位相を識別する。 モデルの入力埋め込みにおいて,ジェンダー情報が局所的に表現されることが示される。
  論文  参考訳（メタデータ） (2022-07-21T00:59:04Z)
• Mitigating Gender Bias in Captioning Systems [56.25457065032423]
  ほとんどのキャプションモデルは性別バイアスを学習し、特に女性にとって高い性別予測エラーにつながる。 本稿では, 視覚的注意を自己指導し, 正しい性的な視覚的証拠を捉えるためのガイド付き注意画像キャプチャーモデル(GAIC)を提案する。
  論文  参考訳（メタデータ） (2020-06-15T12:16:19Z)
• Multi-Dimensional Gender Bias Classification [67.65551687580552]
  機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。 本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。 このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
  論文  参考訳（メタデータ） (2020-05-01T21:23:20Z)
• Do Neural Ranking Models Intensify Gender Bias? [13.37092521347171]
  まず、IRモデルのランキングリストにおいて、性別関連概念の非バランスの存在度を定量化するための2つの指標を含むバイアス測定フレームワークを提供する。 これらのクエリをMS MARCOパッセージ検索コレクションに適用し、BM25モデルと最近のニューラルランキングモデルの性別バイアスを測定する。 結果は、すべてのモデルが男性に対して強く偏りを呈する一方で、神経モデル、特に文脈化された埋め込みモデルに基づくモデルは、性バイアスを著しく強めていることを示している。
  論文  参考訳（メタデータ） (2020-05-01T13:31:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。