論文の概要: Assessing the Reliability of Word Embedding Gender Bias Measures

• arxiv url: http://arxiv.org/abs/2109.04732v1
• Date: Fri, 10 Sep 2021 08:23:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-13 20:57:43.221163
• Title: Assessing the Reliability of Word Embedding Gender Bias Measures
• Title（参考訳）: ジェンダーバイアス対策における単語埋め込みの信頼性の評価
• Authors: Yupei Du, Qixiang Fang, Dong Nguyen
• Abstract要約: 我々は,単語埋め込み性バイアス尺度の3種類の信頼性,すなわち,テスト-再テストの信頼性,相互整合性,内部整合性を評価する。 以上の結果から,単語埋め込み性バイアス尺度のより良い設計が示唆された。
• 参考スコア（独自算出の注目度）: 4.258396452892244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Various measures have been proposed to quantify human-like social biases in word embeddings. However, bias scores based on these measures can suffer from measurement error. One indication of measurement quality is reliability, concerning the extent to which a measure produces consistent results. In this paper, we assess three types of reliability of word embedding gender bias measures, namely test-retest reliability, inter-rater consistency and internal consistency. Specifically, we investigate the consistency of bias scores across different choices of random seeds, scoring rules and words. Furthermore, we analyse the effects of various factors on these measures' reliability scores. Our findings inform better design of word embedding gender bias measures. Moreover, we urge researchers to be more critical about the application of such measures.
• Abstract（参考訳）: 単語埋め込みにおける人間のような社会的バイアスを定量化する様々な方法が提案されている。 しかし、これらの尺度に基づくバイアススコアは測定誤差に苦しむことがある。 測定品質の指標の1つは信頼性であり、測定値が一貫した結果を生み出す程度に関するものである。 本稿では,単語埋め込み性バイアス尺度の3種類の信頼性,すなわちテスト-テストの信頼性,層間一貫性,内部整合性を評価する。 具体的には,無作為種子の異なる選択,得点規則,単語間のバイアススコアの一貫性について検討する。 さらに,これらの尺度の信頼性スコアに対する各種因子の影響を分析した。 以上の結果から,単語埋め込み性バイアス尺度の設計精度が向上した。 さらに,そのような対策の適用について,研究者により批判的であるように促す。

関連論文リスト

• As Biased as You Measure: Methodological Pitfalls of Bias Evaluations in Speaker Verification Research [15.722009470067974]
  本研究では,測定がバイアス評価の結果に与える影響について検討する。 偏見評価は,評価基準値に強く影響されていることを示す。 以上の結果から,比に基づく偏差測定の活用を推奨する。
  論文  参考訳（メタデータ） (2024-08-24T16:04:51Z)
• Semantic Properties of cosine based bias scores for word embeddings [48.0753688775574]
  本稿では,バイアスの定量化に有効なバイアススコアの要件を提案する。 これらの要件について,コサインに基づくスコアを文献から分析する。 これらの結果は、バイアススコアの制限がアプリケーションケースに影響を及ぼすことを示す実験で裏付けられている。
  論文  参考訳（メタデータ） (2024-01-27T20:31:10Z)
• Trustworthy Social Bias Measurement [92.87080873893618]
  本研究では,測定モデリングの学際的理論に基づいて,信頼を保証できるバイアス尺度を設計する。 我々は5つの具体的なバイアス測定をインスタンス化するために、一般的なバイアス測定フレームワークであるDivDistを提案して、その定義を運用する。 我々は,従来の尺度に存在した概念的,技術的,実証的欠陥を克服し,我々の措置を信頼するかなりの証拠を実証する。
  論文  参考訳（メタデータ） (2022-12-20T18:45:12Z)
• Choose Your Lenses: Flaws in Gender Bias Evaluation [29.16221451643288]
  ジェンダーバイアス評価の現在のパラダイムを評価し、その中のいくつかの欠陥を同定する。 まず、あるタスクにおけるモデルのパフォーマンスがジェンダーによってどのように影響を受けるかを測定する、外在バイアス指標の重要性を強調する。 第二に、データセットとメトリクスが頻繁に結合されていることを発見し、それらの結合がいかにして信頼できる結論を得る能力を妨げているかについて議論する。
  論文  参考訳（メタデータ） (2022-10-20T17:59:55Z)
• Social Biases in Automatic Evaluation Metrics for NLG [53.76118154594404]
  本稿では,単語埋め込みアソシエーションテスト(WEAT)と文埋め込みアソシエーションテスト(SEAT)に基づく評価手法を提案する。 我々は、画像キャプションやテキスト要約タスクにおける性別バイアスの影響を調査するために、性別対応メタ評価データセットを構築した。
  論文  参考訳（メタデータ） (2022-10-17T08:55:26Z)
• The SAME score: Improved cosine based bias score for word embeddings [49.75878234192369]
  埋め込みにおけるセマンティックバイアスのための新しいバイアススコアであるPetを紹介した。 本研究は,下水道作業における意味バイアスを測定し,社会的バイアスの潜在的な原因を特定することができることを示す。
  論文  参考訳（メタデータ） (2022-03-28T09:28:13Z)
• Information-Theoretic Bias Reduction via Causal View of Spurious Correlation [71.9123886505321]
  本稿では,スプリアス相関の因果的解釈による情報理論バイアス測定手法を提案する。 本稿では,バイアス正規化損失を含むアルゴリズムバイアスに対する新しいデバイアスフレームワークを提案する。 提案したバイアス測定とデバイアス法は、多様な現実シナリオで検証される。
  論文  参考訳（メタデータ） (2022-01-10T01:19:31Z)
• Evaluating Metrics for Bias in Word Embeddings [44.14639209617701]
  我々は、過去の研究の考えに基づいてバイアス定義を定式化し、バイアスメトリクスの条件を導出する。 そこで我々は,既存のメトリクスの欠点に対処する新しい計量であるhetを提案し,その振る舞いを数学的に証明する。
  論文  参考訳（メタデータ） (2021-11-15T16:07:15Z)
• What do Bias Measures Measure? [41.36968251743058]
  自然言語処理モデルは、性別、人種、国籍などの保護された属性に関する社会的偏見を伝播させる。 介入を作成し、これらのバイアスと関連する害を緩和するためには、そのようなバイアスを検出して測定することが不可欠である。 本研究は、NLPタスク、メトリクス、データセット、社会的バイアスおよびそれに対応する害の関数として、NLPの既存のバイアス尺度に関する包括的調査を示す。
  論文  参考訳（メタデータ） (2021-08-07T04:08:47Z)
• On the Interpretability and Significance of Bias Metrics in Texts: a PMI-based Approach [3.2326259807823026]
  我々は、テキスト中のバイアスを定量化するために、別のPMIベースのメトリクスを分析する。 これは条件付き確率の関数として表すことができ、単語共起の言葉で簡単に解釈できる。
  論文  参考訳（メタデータ） (2021-04-13T19:34:17Z)
• A Statistical Analysis of Summarization Evaluation Metrics using Resampling Methods [60.04142561088524]
  信頼区間は比較的広く,信頼性の高い自動測定値の信頼性に高い不確実性を示す。 多くのメトリクスはROUGEよりも統計的改善を示していないが、QAEvalとBERTScoreという2つの最近の研究は、いくつかの評価設定で行われている。
  論文  参考訳（メタデータ） (2021-03-31T18:28:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。