論文の概要: Mind Your Bias: A Critical Review of Bias Detection Methods for Contextual Language Models

• arxiv url: http://arxiv.org/abs/2211.08461v1
• Date: Tue, 15 Nov 2022 19:27:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 15:48:16.002212
• Title: Mind Your Bias: A Critical Review of Bias Detection Methods for Contextual Language Models
• Title（参考訳）: Mind Your Bias: 文脈言語モデルのためのバイアス検出手法の批判的レビュー
• Authors: Silke Husse and Andreas Spitz
• Abstract要約: 文脈言語モデルに対する厳密な分析とバイアス検出手法の比較を行う。 私たちの結果は、マイナーな設計と実装の決定(またはエラー)が、導出バイアススコアに大きく、しばしば重大な影響を与えていることを示している。
• 参考スコア（独自算出の注目度）: 2.170169149901781
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The awareness and mitigation of biases are of fundamental importance for the fair and transparent use of contextual language models, yet they crucially depend on the accurate detection of biases as a precursor. Consequently, numerous bias detection methods have been proposed, which vary in their approach, the considered type of bias, and the data used for evaluation. However, while most detection methods are derived from the word embedding association test for static word embeddings, the reported results are heterogeneous, inconsistent, and ultimately inconclusive. To address this issue, we conduct a rigorous analysis and comparison of bias detection methods for contextual language models. Our results show that minor design and implementation decisions (or errors) have a substantial and often significant impact on the derived bias scores. Overall, we find the state of the field to be both worse than previously acknowledged due to systematic and propagated errors in implementations, yet better than anticipated since divergent results in the literature homogenize after accounting for implementation errors. Based on our findings, we conclude with a discussion of paths towards more robust and consistent bias detection methods.
• Abstract（参考訳）: バイアスの認識と緩和は、文脈言語モデルの公正かつ透明な使用において基本的な重要性であるが、それらは前駆体としてのバイアスの正確な検出に決定的に依存する。 その結果, 様々なバイアス検出手法が提案されており, そのアプローチ, 検討されたバイアスの種類, 評価に用いるデータが異なる。 しかし、ほとんどの検出方法は静的単語埋め込みのための単語埋め込み関連試験から導かれるが、報告された結果は不均一であり、一貫性がなく、究極的には不確定である。 この問題に対処するために、文脈言語モデルに対する厳密な分析とバイアス検出手法の比較を行う。 その結果,マイナーな設計と実装の決定(あるいはエラー)は,導出バイアススコアに大きな影響を与えることが判明した。 全体として、実装の体系的および伝播的エラーにより、フィールドの状態が以前よりも悪くなっているが、実装エラーを考慮し、文献が均質化した結果、予想以上に良い結果が得られた。 その結果,より堅牢で一貫したバイアス検出手法への道筋について考察した。

関連論文リスト

• Looking at Model Debiasing through the Lens of Anomaly Detection [11.113718994341733]
  ディープニューラルネットワークはデータのバイアスに敏感である。 本稿では,異常検出に基づく新しいバイアス同定手法を提案する。 合成および実際のベンチマークデータセット上で、最先端のパフォーマンスに到達する。
  論文  参考訳（メタデータ） (2024-07-24T17:30:21Z)
• Semantic Properties of cosine based bias scores for word embeddings [48.0753688775574]
  本稿では,バイアスの定量化に有効なバイアススコアの要件を提案する。 これらの要件について,コサインに基づくスコアを文献から分析する。 これらの結果は、バイアススコアの制限がアプリケーションケースに影響を及ぼすことを示す実験で裏付けられている。
  論文  参考訳（メタデータ） (2024-01-27T20:31:10Z)
• Too Good To Be True: performance overestimation in (re)current practices for Human Activity Recognition [49.1574468325115]
  データセグメンテーションのためのスライディングウィンドウと、標準のランダムk倍のクロスバリデーションが続くと、バイアスのある結果が得られる。 この問題に対する科学界の認識を高めることは重要であり、その否定的な影響は見落とされつつある。 異なるタイプのデータセットと異なるタイプの分類モデルを用いたいくつかの実験により、問題を示し、メソッドやデータセットとは独立して持続することを示すことができる。
  論文  参考訳（メタデータ） (2023-10-18T13:24:05Z)
• On Bias and Fairness in NLP: Investigating the Impact of Bias and Debiasing in Language Models on the Fairness of Toxicity Detection [7.297345802761503]
  表現バイアス、選択バイアス、過剰増幅バイアスが研究されている。 過度増幅バイアスは毒性検出のタスクの公平性に対する最も影響の大きいバイアスであることを示す。 毒性検出のタスクの公平性を確保するためのガイドラインの一覧を紹介する。
  論文  参考訳（メタデータ） (2023-05-22T08:44:00Z)
• Debiasing Stance Detection Models with Counterfactual Reasoning and Adversarial Bias Learning [15.68462203989933]
  スタンス検出モデルは、ショートカットとしてテキスト部分のデータセットバイアスに依存する傾向がある。 より正確にバイアスをモデル化するための逆バイアス学習モジュールを提案する。
  論文  参考訳（メタデータ） (2022-12-20T16:20:56Z)
• The SAME score: Improved cosine based bias score for word embeddings [49.75878234192369]
  埋め込みにおけるセマンティックバイアスのための新しいバイアススコアであるPetを紹介した。 本研究は,下水道作業における意味バイアスを測定し,社会的バイアスの潜在的な原因を特定することができることを示す。
  論文  参考訳（メタデータ） (2022-03-28T09:28:13Z)
• Information-Theoretic Bias Reduction via Causal View of Spurious Correlation [71.9123886505321]
  本稿では,スプリアス相関の因果的解釈による情報理論バイアス測定手法を提案する。 本稿では,バイアス正規化損失を含むアルゴリズムバイアスに対する新しいデバイアスフレームワークを提案する。 提案したバイアス測定とデバイアス法は、多様な現実シナリオで検証される。
  論文  参考訳（メタデータ） (2022-01-10T01:19:31Z)
• Measuring Fairness with Biased Rulers: A Survey on Quantifying Biases in Pretrained Language Models [2.567384209291337]
  自然言語処理資源における偏見パターンの認識の高まりは、偏見と公平さを定量化するために多くの指標を動機付けてきた」。 本稿では,事前訓練された言語モデルの公平度指標に関する既存の文献を調査し,互換性を実験的に評価する。 その結果、多くの指標は互換性がなく、(i)テンプレート、(ii)属性とターゲット種子、(iii)埋め込みの選択に強く依存していることがわかった。
  論文  参考訳（メタデータ） (2021-12-14T15:04:56Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)
• Towards causal benchmarking of bias in face analysis algorithms [54.19499274513654]
  顔分析アルゴリズムのアルゴリズムバイアスを測定する実験手法を開発した。 提案手法は,一致したサンプル画像の合成トランスクター'を生成することに基づく。 性別分類アルゴリズムの偏見を従来の観察法を用いて分析することにより,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2020-07-13T17:10:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。