論文の概要: Blind Men and the Elephant: Diverse Perspectives on Gender Stereotypes in Benchmark Datasets

• arxiv url: http://arxiv.org/abs/2501.01168v1
• Date: Thu, 02 Jan 2025 09:40:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:16:44.964685
• Title: Blind Men and the Elephant: Diverse Perspectives on Gender Stereotypes in Benchmark Datasets
• Title（参考訳）: Blind Men and the Elephant: ベンチマークデータセットにおけるジェンダーステレオタイプに関するさまざまな視点
• Authors: Mahdi Zakizadeh, Mohammad Taher Pilehvar,
• Abstract要約: 本稿では,言語モデルの固有バイアス緩和と測定戦略に焦点を当てる。 我々は、本質的な測定を深く掘り下げ、矛盾を識別し、これらのベンチマークがジェンダーステレオタイプの違いを反映している可能性を示唆している。 本研究は, 言語モデルにおけるジェンダーステレオタイピングの複雑さと, 偏見の検出・低減のための, より洗練された手法を開発するための新たな方向性を指摘するものである。
• 参考スコア（独自算出の注目度）: 17.101242741559428
• License:
• Abstract: The multifaceted challenge of accurately measuring gender stereotypical bias in language models is akin to discerning different segments of a broader, unseen entity. This short paper primarily focuses on intrinsic bias mitigation and measurement strategies for language models, building on prior research that demonstrates a lack of correlation between intrinsic and extrinsic approaches. We delve deeper into intrinsic measurements, identifying inconsistencies and suggesting that these benchmarks may reflect different facets of gender stereotype. Our methodology involves analyzing data distributions across datasets and integrating gender stereotype components informed by social psychology. By adjusting the distribution of two datasets, we achieve a better alignment of outcomes. Our findings underscore the complexity of gender stereotyping in language models and point to new directions for developing more refined techniques to detect and reduce bias.
• Abstract（参考訳）: 言語モデルにおけるジェンダーのステレオタイプバイアスを正確に測定する多面的課題は、より広い、見えないエンティティの異なるセグメントを識別することに似ている。 本稿では,言語モデルにおける本質的バイアス緩和と測定戦略を主眼とし,本質的アプローチと外生的アプローチの相関性の欠如を示す先行研究に基づく。 我々は、本質的な測定を深く掘り下げ、矛盾を識別し、これらのベンチマークがジェンダーステレオタイプの違いを反映している可能性を示唆している。 本手法は, データセット間のデータ分布の分析と, 社会心理学から得られるジェンダーステレオタイプ成分の統合に関するものである。 2つのデータセットの分布を調整することで、結果のアライメントをより良くする。 以上の結果から,言語モデルにおけるジェンダーステレオタイピングの複雑さを浮き彫りにし,バイアスの検出と低減のためのより洗練された手法を開発するための新たな方向性を指摘する。

関連論文リスト

• The Root Shapes the Fruit: On the Persistence of Gender-Exclusive Harms in Aligned Language Models [58.130894823145205]
  我々はトランスジェンダー、ノンバイナリ、その他のジェンダー・ディバースのアイデンティティを中心とし、アライメント手順が既存のジェンダー・ディバースバイアスとどのように相互作用するかを検討する。 以上の結果から,DPO対応モデルは特に教師付き微調整に敏感であることが示唆された。 DPOとより広範なアライメントプラクティスに合わせたレコメンデーションで締めくくります。
  論文  参考訳（メタデータ） (2024-11-06T06:50:50Z)
• Locating and Mitigating Gender Bias in Large Language Models [40.78150878350479]
  大規模言語モデル(LLM)は、人間の好みを含む事実や人間の認知を学ぶために、広範囲なコーパスで事前訓練されている。 このプロセスは、社会においてバイアスや一般的なステレオタイプを取得するこれらのモデルに必然的に導かれる可能性がある。 本稿では,職業代名詞の性別バイアスを軽減する知識編集手法LSDMを提案する。
  論文  参考訳（メタデータ） (2024-03-21T13:57:43Z)
• VisoGender: A dataset for benchmarking gender bias in image-text pronoun resolution [80.57383975987676]
  VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。 We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。 我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
  論文  参考訳（メタデータ） (2023-06-21T17:59:51Z)
• Gender Bias in Transformer Models: A comprehensive survey [1.1011268090482573]
  人工知能(AI)におけるジェンダーバイアスは、個人の生活に深く影響する懸念として浮上している。 本稿では,トランスフォーマーモデルにおけるジェンダーバイアスを言語学的観点から調査する。
  論文  参考訳（メタデータ） (2023-06-18T11:40:47Z)
• Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
  画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。 偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。 人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T04:27:40Z)
• Counter-GAP: Counterfactual Bias Evaluation through Gendered Ambiguous Pronouns [53.62845317039185]
  バイアス測定データセットは、言語モデルのバイアスされた振る舞いを検出する上で重要な役割を果たす。 本稿では, 多様な, 自然な, 最小限のテキストペアを, 対物生成によって収集する新しい手法を提案する。 事前学習された4つの言語モデルは、各グループ内よりも、異なる性別グループ間でかなり不整合であることを示す。
  論文  参考訳（メタデータ） (2023-02-11T12:11:03Z)
• Gender Stereotyping Impact in Facial Expression Recognition [1.5340540198612824]
  近年,機械学習に基づくモデルが表情認識(FER)における最も一般的なアプローチとなっている。 公開可能なFERデータセットでは、見かけ上の性別表現は概ねバランスが取れているが、個々のラベルでの性別表現はそうではない。 我々は、特定のラベルの性別比を変化させることで、異なる量のステレオタイプバイアスを持つ微分データセットを生成する。 我々は、最低バイアス条件下で、性別間の特定の感情の認識において、最大で29 % の差を観察する。
  論文  参考訳（メタデータ） (2022-10-11T10:52:23Z)
• The Birth of Bias: A case study on the evolution of gender bias in an English language model [1.6344851071810076]
  私たちは、英語のウィキペディアコーパスでトレーニングされたLSTMアーキテクチャを使って、比較的小さな言語モデルを使用します。 性別の表現は動的であり、訓練中に異なる位相を識別する。 モデルの入力埋め込みにおいて,ジェンダー情報が局所的に表現されることが示される。
  論文  参考訳（メタデータ） (2022-07-21T00:59:04Z)
• Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
  大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。 テキスト生成における社会的バイアスを軽減するためのステップを提案する。 我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
  論文  参考訳（メタデータ） (2021-06-24T17:52:43Z)
• Multi-Dimensional Gender Bias Classification [67.65551687580552]
  機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。 本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。 このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
  論文  参考訳（メタデータ） (2020-05-01T21:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。