論文の概要: Exploring Gender Bias in Retrieval Models

• arxiv url: http://arxiv.org/abs/2208.01755v1
• Date: Tue, 2 Aug 2022 21:12:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-04 13:52:10.601185
• Title: Exploring Gender Bias in Retrieval Models
• Title（参考訳）: 検索モデルにおけるジェンダーバイアスの検討
• Authors: Dhanasekar Sundararaman, Vivek Subramanian
• Abstract要約: 情報検索におけるジェンダーバイアスの緩和は,ステレオタイプの普及を避けるために重要である。 本研究では,(1)クエリに対するドキュメントの関連性,(2)ドキュメントの“ジェンダー”という2つのコンポーネントからなるデータセットを用いる。 我々は,大容量のBERTエンコーダの完全微調整を行う場合,IRの事前学習モデルはゼロショット検索タスクではうまく動作しないことを示す。 また、事前学習されたモデルには性別バイアスがあり、検索された記事は女性よりも男性が多い傾向にあることを示した。
• 参考スコア（独自算出の注目度）: 2.594412743115663
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Biases in culture, gender, ethnicity, etc. have existed for decades and have affected many areas of human social interaction. These biases have been shown to impact machine learning (ML) models, and for natural language processing (NLP), this can have severe consequences for downstream tasks. Mitigating gender bias in information retrieval (IR) is important to avoid propagating stereotypes. In this work, we employ a dataset consisting of two components: (1) relevance of a document to a query and (2) "gender" of a document, in which pronouns are replaced by male, female, and neutral conjugations. We definitively show that pre-trained models for IR do not perform well in zero-shot retrieval tasks when full fine-tuning of a large pre-trained BERT encoder is performed and that lightweight fine-tuning performed with adapter networks improves zero-shot retrieval performance almost by 20% over baseline. We also illustrate that pre-trained models have gender biases that result in retrieved articles tending to be more often male than female. We overcome this by introducing a debiasing technique that penalizes the model when it prefers males over females, resulting in an effective model that retrieves articles in a balanced fashion across genders.
• Abstract（参考訳）: 文化、性別、民族などのバイアスは何十年も存在し、人間の社会的相互作用の多くの領域に影響を与えてきた。 これらのバイアスは機械学習(ML)モデルに影響を与えることが示されており、自然言語処理(NLP)では、下流タスクに深刻な結果をもたらす可能性がある。 情報検索におけるジェンダーバイアスの軽減はステレオタイプの伝播を避けるために重要である。 本研究では,(1)質問に対する文書の関連性,(2)代名詞を男性,女性,中立的共役に置き換える文書の「ジェンダー」という2つの構成要素からなるデータセットを用いる。 提案手法では,大規模なBERTエンコーダの完全微調整を行う場合,IRの事前訓練モデルではゼロショット検索処理がうまく動作せず,アダプタネットワークによる軽量微調整により,ゼロショット検索性能がほぼ20%向上することを確認した。 また、事前学習されたモデルには性別バイアスがあり、検索された記事は女性よりも男性が多い傾向にあることを示した。 我々は、女性よりも男性の方が好まれるときにモデルをペナルティ化するデバイアスング手法を導入し、ジェンダー間のバランスのとれた方法で記事を検索する効果的なモデルを生み出した。

関連論文リスト

• Revealing and Reducing Gender Biases in Vision and Language Assistants (VLAs) [82.57490175399693]
  画像・テキスト・ビジョン言語アシスタント(VLA)22種における性別バイアスの検討 以上の結果から,VLAは実世界の作業不均衡など,データ中の人間のバイアスを再現する可能性が示唆された。 これらのモデルにおける性別バイアスを排除するため、微調整に基づくデバイアス法は、下流タスクにおけるデバイアスとパフォーマンスの最良のトレードオフを実現する。
  論文  参考訳（メタデータ） (2024-10-25T05:59:44Z)
• The Impact of Debiasing on the Performance of Language Models in Downstream Tasks is Underestimated [70.23064111640132]
  我々は、幅広いベンチマークデータセットを用いて、複数の下流タスクのパフォーマンスに対するデバイアスの影響を比較した。 実験により、デバイアスの効果は全てのタスクにおいて一貫して見積もられていることが示されている。
  論文  参考訳（メタデータ） (2023-09-16T20:25:34Z)
• The Birth of Bias: A case study on the evolution of gender bias in an English language model [1.6344851071810076]
  私たちは、英語のウィキペディアコーパスでトレーニングされたLSTMアーキテクチャを使って、比較的小さな言語モデルを使用します。 性別の表現は動的であり、訓練中に異なる位相を識別する。 モデルの入力埋め込みにおいて,ジェンダー情報が局所的に表現されることが示される。
  論文  参考訳（メタデータ） (2022-07-21T00:59:04Z)
• Towards Understanding Gender-Seniority Compound Bias in Natural Language Generation [64.65911758042914]
  本研究では,事前学習したニューラルジェネレーションモデルにおける性別バイアスの程度に,高齢者がどのような影響を及ぼすかを検討する。 以上の結果から, GPT-2は, 両領域において, 女性を中年, 男性を中年として考えることにより, 偏見を増幅することが示された。 以上の結果から, GPT-2を用いて構築したNLPアプリケーションは, プロの能力において女性に害を与える可能性が示唆された。
  論文  参考訳（メタデータ） (2022-05-19T20:05:02Z)
• Improving Gender Fairness of Pre-Trained Language Models without Catastrophic Forgetting [88.83117372793737]
  元のトレーニングデータに情報を埋め込むことは、モデルの下流のパフォーマンスを大きなマージンで損なう可能性がある。 本稿では,GEnder Equality Prompt(GEEP)を提案する。
  論文  参考訳（メタデータ） (2021-10-11T15:52:16Z)
• Are Gender-Neutral Queries Really Gender-Neutral? Mitigating Gender Bias in Image Search [8.730027941735804]
  我々は、画像検索において、独特なジェンダーバイアスを研究する。 検索画像は、ジェンダーニュートラルな自然言語クエリに対して、しばしば性別不均衡である。 我々は2つの新しいデバイアスのアプローチを導入する。
  論文  参考訳（メタデータ） (2021-09-12T04:47:33Z)
• Collecting a Large-Scale Gender Bias Dataset for Coreference Resolution and Machine Translation [10.542861450223128]
  3つのドメインのコーパスにおいて,ステレオタイプおよび非ステレオタイプなジェンダーロール代入を示す文法パターンが発見された。 我々は、コーパスの品質を手動で検証し、様々なコア参照解像度と機械翻訳モデルにおける性別バイアスを評価する。
  論文  参考訳（メタデータ） (2021-09-08T18:14:11Z)
• Mitigating Gender Bias in Captioning Systems [56.25457065032423]
  ほとんどのキャプションモデルは性別バイアスを学習し、特に女性にとって高い性別予測エラーにつながる。 本稿では, 視覚的注意を自己指導し, 正しい性的な視覚的証拠を捉えるためのガイド付き注意画像キャプチャーモデル(GAIC)を提案する。
  論文  参考訳（メタデータ） (2020-06-15T12:16:19Z)
• Multi-Dimensional Gender Bias Classification [67.65551687580552]
  機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。 本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。 このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
  論文  参考訳（メタデータ） (2020-05-01T21:23:20Z)
• Do Neural Ranking Models Intensify Gender Bias? [13.37092521347171]
  まず、IRモデルのランキングリストにおいて、性別関連概念の非バランスの存在度を定量化するための2つの指標を含むバイアス測定フレームワークを提供する。 これらのクエリをMS MARCOパッセージ検索コレクションに適用し、BM25モデルと最近のニューラルランキングモデルの性別バイアスを測定する。 結果は、すべてのモデルが男性に対して強く偏りを呈する一方で、神経モデル、特に文脈化された埋め込みモデルに基づくモデルは、性バイアスを著しく強めていることを示している。
  論文  参考訳（メタデータ） (2020-05-01T13:31:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。