論文の概要: Towards Region-aware Bias Evaluation Metrics

• arxiv url: http://arxiv.org/abs/2406.16152v1
• Date: Sun, 23 Jun 2024 16:26:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 18:44:41.975591
• Title: Towards Region-aware Bias Evaluation Metrics
• Title（参考訳）: 地域を意識したバイアス評価指標を目指して
• Authors: Angana Borah, Aparna Garimella, Rada Mihalcea,
• Abstract要約: 性別バイアスの地域差を同定し,バイアス評価のための地域別ボトムアップアプローチを提案する。 提案手法は,ある地域におけるジェンダー・アライメント・トピックを使用し,トピック・ペアの形でジェンダー・バイアス・ディメンションを識別する。 提案するバイアストピックペアのいくつかは、既存のものと比較して、これらの領域における性別バイアスに対する人間の認識に匹敵するものである。
• 参考スコア（独自算出の注目度）: 26.91545185271231
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When exposed to human-generated data, language models are known to learn and amplify societal biases. While previous works introduced benchmarks that can be used to assess the bias in these models, they rely on assumptions that may not be universally true. For instance, a gender bias dimension commonly used by these metrics is that of family--career, but this may not be the only common bias in certain regions of the world. In this paper, we identify topical differences in gender bias across different regions and propose a region-aware bottom-up approach for bias assessment. Our proposed approach uses gender-aligned topics for a given region and identifies gender bias dimensions in the form of topic pairs that are likely to capture gender societal biases. Several of our proposed bias topic pairs are on par with human perception of gender biases in these regions in comparison to the existing ones, and we also identify new pairs that are more aligned than the existing ones. In addition, we use our region-aware bias topic pairs in a Word Embedding Association Test (WEAT)-based evaluation metric to test for gender biases across different regions in different data domains. We also find that LLMs have a higher alignment to bias pairs for highly-represented regions showing the importance of region-aware bias evaluation metric.
• Abstract（参考訳）: 人為的なデータに晒されると、言語モデルは学習し、社会的バイアスを増幅することが知られている。 以前の研究では、これらのモデルのバイアスを評価するのに使えるベンチマークが導入されたが、それらは普遍的に正しくない仮定に依存している。 例えば、これらの指標で一般的に使用される性別バイアス次元は、家族介護者のものであるが、世界の特定の地域では、これが唯一の一般的なバイアスではないかもしれない。 本稿では,異なる地域における性別バイアスの地域差を同定し,バイアス評価のための地域別ボトムアップアプローチを提案する。 提案手法は, ある地域におけるジェンダー・アライメント・トピックを用いて, ジェンダー・社会的バイアスを捉える可能性のあるトピック・ペアの形で, ジェンダー・アライメント・ディメンションを識別する。 提案するバイアストピックペアのいくつかは、既存のものと比較して、これらの領域における性別バイアスに対する人間の認識と同等であり、また、既存のものよりも整合性が高い新しいペアも同定する。 さらに, 単語埋め込みアソシエーションテスト(WEAT)に基づく評価尺度において, 異なるデータ領域の異なる領域にまたがる性別バイアスを評価するために, 地域別バイアストピックペアを用いた。 また,LLMは,領域認識バイアス評価尺度の重要性を示す高度に表現された領域に対して,バイアス対と高い整合性を有することがわかった。

関連論文リスト

• The Root Shapes the Fruit: On the Persistence of Gender-Exclusive Harms in Aligned Language Models [58.130894823145205]
  我々はトランスジェンダー、ノンバイナリ、その他のジェンダー・ディバースのアイデンティティを中心とし、アライメント手順が既存のジェンダー・ディバースバイアスとどのように相互作用するかを検討する。 以上の結果から,DPO対応モデルは特に教師付き微調整に敏感であることが示唆された。 DPOとより広範なアライメントプラクティスに合わせたレコメンデーションで締めくくります。
  論文  参考訳（メタデータ） (2024-11-06T06:50:50Z)
• GenderCARE: A Comprehensive Framework for Assessing and Reducing Gender Bias in Large Language Models [73.23743278545321]
  大規模言語モデル(LLM)は、自然言語生成において顕著な能力を示してきたが、社会的バイアスを増大させることも観察されている。 GenderCAREは、革新的な基準、バイアス評価、リダクションテクニック、評価メトリクスを含む包括的なフレームワークである。
  論文  参考訳（メタデータ） (2024-08-22T15:35:46Z)
• GenderBias-\emph{VL}: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing [72.0343083866144]
  本稿では,GenderBias-emphVLベンチマークを用いて,大規模視覚言語モデルにおける職業関連性バイアスの評価を行う。 ベンチマークを用いて15のオープンソースLVLMと最先端の商用APIを広範囲に評価した。 既存のLVLMでは男女差が広くみられた。
  論文  参考訳（メタデータ） (2024-06-30T05:55:15Z)
• ''Fifty Shades of Bias'': Normative Ratings of Gender Bias in GPT Generated English Text [11.085070600065801]
  言語は、社会的信念システムの顕在化のための強力なツールとして機能する。 ジェンダーバイアスは、私たちの社会でもっとも普及しているバイアスの1つです。 我々は、GPT生成した英語テキストの最初のデータセットを作成し、男女バイアスの規範的評価を行う。
  論文  参考訳（メタデータ） (2023-10-26T14:34:06Z)
• DiFair: A Benchmark for Disentangled Assessment of Gender Knowledge and Bias [13.928591341824248]
  事前訓練された言語モデルでよく見られる性別バイアスを軽減するために、デバイアス技術が提案されている。 これらはしばしば、予測においてモデルが性中立である範囲をチェックするデータセットで評価される。 この評価プロトコルは、バイアス緩和が有意義なジェンダー知識に悪影響を及ぼす可能性を見落としている。
  論文  参考訳（メタデータ） (2023-10-22T15:27:16Z)
• HERB: Measuring Hierarchical Regional Bias in Pre-trained Language Models [33.0987914452712]
  言語モデル(LM)における地域バイアスは、長年の世界的な差別問題である。 本稿では,事前学習した言語モデルから得られた地域バイアスを分析し,そのギャップを埋める。 本研究では,HyErarchical Regional Bias Evaluation法(HERB)を提案する。
  論文  参考訳（メタデータ） (2022-11-05T11:30:57Z)
• Social Biases in Automatic Evaluation Metrics for NLG [53.76118154594404]
  本稿では,単語埋め込みアソシエーションテスト(WEAT)と文埋め込みアソシエーションテスト(SEAT)に基づく評価手法を提案する。 我々は、画像キャプションやテキスト要約タスクにおける性別バイアスの影響を調査するために、性別対応メタ評価データセットを構築した。
  論文  参考訳（メタデータ） (2022-10-17T08:55:26Z)
• A Survey on Gender Bias in Natural Language Processing [22.91475787277623]
  自然言語処理における性別バイアスに関する304論文について調査する。 ジェンダーバイアスの検出と緩和に対するコントラストアプローチの比較を行った。 性別偏見の研究は、4つの中核的な限界に悩まされている。
  論文  参考訳（メタデータ） (2021-12-28T14:54:18Z)
• Gender Stereotype Reinforcement: Measuring the Gender Bias Conveyed by Ranking Algorithms [68.85295025020942]
  本稿では,性別ステレオタイプをサポートする検索エンジンの傾向を定量化するジェンダーステレオタイプ強化(GSR)尺度を提案する。 GSRは、表現上の害を定量化できる情報検索のための、最初の特別に調整された尺度である。
  論文  参考訳（メタデータ） (2020-09-02T20:45:04Z)
• Multi-Dimensional Gender Bias Classification [67.65551687580552]
  機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。 本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。 このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
  論文  参考訳（メタデータ） (2020-05-01T21:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。