論文の概要: Uncovering Latent Biases in Text: Method and Application to Peer Review
- arxiv url: http://arxiv.org/abs/2010.15300v1
- Date: Thu, 29 Oct 2020 01:24:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-01 22:27:43.523902
- Title: Uncovering Latent Biases in Text: Method and Application to Peer Review
- Title(参考訳): テキスト中の潜伏バイアスの発見:方法とピアレビューへの応用
- Authors: Emaad Manzoor, Nihar B. Shah
- Abstract要約: 本稿では,サブグループメンバーシップ指標の可視性に起因するテキストのバイアスを定量化する新しいフレームワークを提案する。
評価された機械学習会議からのピアレビューのテキストにおけるバイアスの定量化に,我々のフレームワークを適用した。
- 参考スコア(独自算出の注目度): 38.726731935235584
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Quantifying systematic disparities in numerical quantities such as employment
rates and wages between population subgroups provides compelling evidence for
the existence of societal biases. However, biases in the text written for
members of different subgroups (such as in recommendation letters for male and
non-male candidates), though widely reported anecdotally, remain challenging to
quantify. In this work, we introduce a novel framework to quantify bias in text
caused by the visibility of subgroup membership indicators. We develop a
nonparametric estimation and inference procedure to estimate this bias. We then
formalize an identification strategy to causally link the estimated bias to the
visibility of subgroup membership indicators, provided observations from time
periods both before and after an identity-hiding policy change. We identify an
application wherein "ground truth" bias can be inferred to evaluate our
framework, instead of relying on synthetic or secondary data. Specifically, we
apply our framework to quantify biases in the text of peer reviews from a
reputed machine learning conference before and after the conference adopted a
double-blind reviewing policy. We show evidence of biases in the review ratings
that serves as "ground truth", and show that our proposed framework accurately
detects these biases from the review text without having access to the review
ratings.
- Abstract(参考訳): 雇用率や人口サブグループ間の賃金といった数量の体系的な格差の定量化は、社会的偏見の存在を示唆する証拠となる。
しかし、異なるサブグループのメンバーのために書かれたテキストのバイアス(男性や非男性候補者の推薦文字など)は、広く報告されているが、定量化が難しいままである。
本稿では,サブグループメンバーシップ指標の可視性に起因するテキストのバイアスを定量化する新しい枠組みを提案する。
このバイアスを推定するために,非パラメトリック推定と推定手法を開発した。
次に,推定バイアスとサブグループメンバーシップ指標の可視性を因果的に関連付ける識別戦略を定式化し,アイデンティティハイディング政策変更前後の時間的観察を行った。
我々は、合成データや二次データに頼るのではなく、フレームワークを評価するために「根拠の真理」バイアスを推測できるアプリケーションを特定する。
具体的には,このフレームワークを用いて,評価された機械学習カンファレンス前後におけるピアレビューのテキストにおけるバイアスの定量化を行う。
本稿では,レビュー評価におけるバイアスの証拠を「根拠的真実」として示すとともに,レビュー評価にアクセスできることなく,レビューテキストからこれらのバイアスを的確に検出できることを示す。
関連論文リスト
- Semantic Properties of cosine based bias scores for word embeddings [52.13994416317707]
本稿では,バイアスの定量化に有効なバイアススコアの要件を提案する。
これらの要件について,コサインに基づくスコアを文献から分析する。
これらの結果は、バイアススコアの制限がアプリケーションケースに影響を及ぼすことを示す実験で裏付けられている。
論文 参考訳(メタデータ) (2024-01-27T20:31:10Z) - GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language
Models [83.30078426829627]
大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。
既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。
本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-11T12:02:14Z) - Evaluating Gender Bias of Pre-trained Language Models in Natural
Language Inference by Considering All Labels [42.89031347094013]
複数の言語を対象とした事前学習言語モデル(PLM)では、差別的な性バイアスが発見されている。
本稿では,自然言語推論タスクの3つのラベルをすべて考慮した PLM のバイアス評価手法を提案する。
日本語と中国語のNLIから評価データセットを作成し,PLMのバイアスを測定する。
論文 参考訳(メタデータ) (2023-09-18T12:02:21Z) - The SAME score: Improved cosine based bias score for word embeddings [63.24247894974291]
文献の考えに基づくバイアス定義を提供し、バイアススコアの新たな要件を導出する。
既存のバイアススコアの欠点に対処し,単語埋め込みにおけるバイアスの定量化に好適であることを示す。
論文 参考訳(メタデータ) (2022-03-28T09:28:13Z) - Evaluating Metrics for Bias in Word Embeddings [64.55554083622258]
我々は、過去の研究の考えに基づいてバイアス定義を定式化し、バイアスメトリクスの条件を導出する。
そこで我々は,既存のメトリクスの欠点に対処する新しい計量であるhetを提案し,その振る舞いを数学的に証明する。
論文 参考訳(メタデータ) (2021-11-15T16:07:15Z) - Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。
既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。
本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
論文 参考訳(メタデータ) (2021-09-16T23:40:28Z) - Correcting Exposure Bias for Link Recommendation [31.799185352323807]
露出バイアスは、ユーザーが特定の関連項目に体系的に過小評価されているときに生じる。
このバイアスを軽減するために、既知の露光確率を利用する推定器を提案する。
我々の手法は、推奨論文の研究分野においてより多様性をもたらす。
論文 参考訳(メタデータ) (2021-06-13T16:51:41Z) - The Authors Matter: Understanding and Mitigating Implicit Bias in Deep
Text Classification [36.361778457307636]
ディープテキスト分類モデルは、特定の人口統計グループの著者によって書かれたテキストのバイアス結果を生成することができます。
本論文では,異なる人口集団の異なるテキスト分類タスクに暗黙のバイアスが存在することを示す。
そして、暗黙のバイアスの知識を深めるために、学習に基づく解釈方法を構築します。
論文 参考訳(メタデータ) (2021-05-06T16:17:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。