論文の概要: Uncovering Latent Biases in Text: Method and Application to Peer Review

• arxiv url: http://arxiv.org/abs/2010.15300v1
• Date: Thu, 29 Oct 2020 01:24:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-01 22:27:43.523902
• Title: Uncovering Latent Biases in Text: Method and Application to Peer Review
• Title（参考訳）: テキスト中の潜伏バイアスの発見:方法とピアレビューへの応用
• Authors: Emaad Manzoor, Nihar B. Shah
• Abstract要約: 本稿では,サブグループメンバーシップ指標の可視性に起因するテキストのバイアスを定量化する新しいフレームワークを提案する。 評価された機械学習会議からのピアレビューのテキストにおけるバイアスの定量化に,我々のフレームワークを適用した。
• 参考スコア（独自算出の注目度）: 38.726731935235584
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantifying systematic disparities in numerical quantities such as employment rates and wages between population subgroups provides compelling evidence for the existence of societal biases. However, biases in the text written for members of different subgroups (such as in recommendation letters for male and non-male candidates), though widely reported anecdotally, remain challenging to quantify. In this work, we introduce a novel framework to quantify bias in text caused by the visibility of subgroup membership indicators. We develop a nonparametric estimation and inference procedure to estimate this bias. We then formalize an identification strategy to causally link the estimated bias to the visibility of subgroup membership indicators, provided observations from time periods both before and after an identity-hiding policy change. We identify an application wherein "ground truth" bias can be inferred to evaluate our framework, instead of relying on synthetic or secondary data. Specifically, we apply our framework to quantify biases in the text of peer reviews from a reputed machine learning conference before and after the conference adopted a double-blind reviewing policy. We show evidence of biases in the review ratings that serves as "ground truth", and show that our proposed framework accurately detects these biases from the review text without having access to the review ratings.
• Abstract（参考訳）: 雇用率や人口サブグループ間の賃金といった数量の体系的な格差の定量化は、社会的偏見の存在を示唆する証拠となる。 しかし、異なるサブグループのメンバーのために書かれたテキストのバイアス(男性や非男性候補者の推薦文字など)は、広く報告されているが、定量化が難しいままである。 本稿では,サブグループメンバーシップ指標の可視性に起因するテキストのバイアスを定量化する新しい枠組みを提案する。 このバイアスを推定するために,非パラメトリック推定と推定手法を開発した。 次に,推定バイアスとサブグループメンバーシップ指標の可視性を因果的に関連付ける識別戦略を定式化し,アイデンティティハイディング政策変更前後の時間的観察を行った。 我々は、合成データや二次データに頼るのではなく、フレームワークを評価するために「根拠の真理」バイアスを推測できるアプリケーションを特定する。 具体的には,このフレームワークを用いて,評価された機械学習カンファレンス前後におけるピアレビューのテキストにおけるバイアスの定量化を行う。 本稿では,レビュー評価におけるバイアスの証拠を「根拠的真実」として示すとともに,レビュー評価にアクセスできることなく,レビューテキストからこれらのバイアスを的確に検出できることを示す。

関連論文リスト

• Reducing annotator bias by belief elicitation [3.0040661953201475]
  アノテーションやインスタンスの数を必要とせずに、アノテーションのバイアスを処理するための簡単な方法を提案する。 我々は、アノテータが他のアノテータのインスタンスに対する判断に対する信念について、これらの信念が判断よりもより代表的なラベルを提供するかもしれないという仮説の下で尋ねる。 その結果、アノテータの2つのグループ間の体系的な差異として定義されるバイアスは、判断の代わりに信念を求める際に一貫して減少することが示された。
  論文  参考訳（メタデータ） (2024-10-21T07:44:01Z)
• Measuring and Addressing Indexical Bias in Information Retrieval [69.7897730778898]
  PAIRフレームワークは、ランキングドキュメンテーションやIRシステム全体の自動バイアス監査をサポートする。 DUOを導入した後、我々は32kの合成と4.7kの天然文書からなる新しいコーパスで8つのIRシステムの広範な評価を行った。 人間の行動学的研究は、私たちのアプローチを検証し、私たちのバイアスメトリクスが、いつ、どのように指標バイアスが読者の意見を変えるかを予測するのに役立ちます。
  論文  参考訳（メタデータ） (2024-06-06T17:42:37Z)
• Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction [56.17020601803071]
  近年の研究では、事前学習言語モデル(PLM)が、事実知識抽出において「急激なバイアス」に悩まされていることが示されている。 本稿では,突発バイアスを徹底的に調査し緩和することにより,既存のベンチマークの信頼性を向上させることを目的とする。
  論文  参考訳（メタデータ） (2024-03-15T02:04:35Z)
• COBIAS: Contextual Reliability in Bias Assessment [14.594920595573038]
  大規模言語モデル(LLM)は、トレーニング対象のWebデータからバイアスを受け取り、ステレオタイプや偏見を含むことが多い。 これらのバイアスを評価し緩和するための現在の手法はバイアスベンチマークデータセットに依存している。 本稿では,モデルが現れる可能性のあるさまざまなコンテキストを考慮し,モデルロバスト性を偏りのある文に評価するコンテキスト信頼性フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-22T10:46:11Z)
• Semantic Properties of cosine based bias scores for word embeddings [48.0753688775574]
  本稿では,バイアスの定量化に有効なバイアススコアの要件を提案する。 これらの要件について,コサインに基づくスコアを文献から分析する。 これらの結果は、バイアススコアの制限がアプリケーションケースに影響を及ぼすことを示す実験で裏付けられている。
  論文  参考訳（メタデータ） (2024-01-27T20:31:10Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)
• The SAME score: Improved cosine based bias score for word embeddings [49.75878234192369]
  埋め込みにおけるセマンティックバイアスのための新しいバイアススコアであるPetを紹介した。 本研究は,下水道作業における意味バイアスを測定し,社会的バイアスの潜在的な原因を特定することができることを示す。
  論文  参考訳（メタデータ） (2022-03-28T09:28:13Z)
• Correcting Exposure Bias for Link Recommendation [31.799185352323807]
  露出バイアスは、ユーザーが特定の関連項目に体系的に過小評価されているときに生じる。 このバイアスを軽減するために、既知の露光確率を利用する推定器を提案する。 我々の手法は、推奨論文の研究分野においてより多様性をもたらす。
  論文  参考訳（メタデータ） (2021-06-13T16:51:41Z)
• The Authors Matter: Understanding and Mitigating Implicit Bias in Deep Text Classification [36.361778457307636]
  ディープテキスト分類モデルは、特定の人口統計グループの著者によって書かれたテキストのバイアス結果を生成することができます。 本論文では,異なる人口集団の異なるテキスト分類タスクに暗黙のバイアスが存在することを示す。 そして、暗黙のバイアスの知識を深めるために、学習に基づく解釈方法を構築します。
  論文  参考訳（メタデータ） (2021-05-06T16:17:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。