論文の概要: On the Independence of Association Bias and Empirical Fairness in Language Models

• arxiv url: http://arxiv.org/abs/2304.10153v1
• Date: Thu, 20 Apr 2023 08:27:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-21 14:10:48.865881
• Title: On the Independence of Association Bias and Empirical Fairness in Language Models
• Title（参考訳）: 言語モデルにおけるアソシエーションバイアスの独立性と経験的公正性について
• Authors: Laura Cabello and Anna Katrine J{\o}rgensen and Anders S{\o}gaard
• Abstract要約: 関連性バイアスと経験的公正性は独立可能であることを示す。 我々は,最も広く使用されている言語モデルに対して,バイアス指標と公平度指標の間に相関関係がないという実証的な証拠を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The societal impact of pre-trained language models has prompted researchers to probe them for strong associations between protected attributes and value-loaded terms, from slur to prestigious job titles. Such work is said to probe models for bias or fairness-or such probes 'into representational biases' are said to be 'motivated by fairness'-suggesting an intimate connection between bias and fairness. We provide conceptual clarity by distinguishing between association biases (Caliskan et al., 2022) and empirical fairness (Shen et al., 2022) and show the two can be independent. Our main contribution, however, is showing why this should not come as a surprise. To this end, we first provide a thought experiment, showing how association bias and empirical fairness can be completely orthogonal. Next, we provide empirical evidence that there is no correlation between bias metrics and fairness metrics across the most widely used language models. Finally, we survey the sociological and psychological literature and show how this literature provides ample support for expecting these metrics to be uncorrelated.
• Abstract（参考訳）: 事前訓練された言語モデルによる社会的影響により、研究者は、保護された属性と価値負荷された用語の強い関連性を探究するようになった。 このような研究は、偏見や公平性のためのモデル、あるいはそのようなプローブの「表現バイアス」は、偏見と公正性の密接な関係を示唆する「公平性によって動機づけられる」と言われている。 相関バイアス (caliskan et al., 2022) と経験的公平性 (shen et al., 2022) を区別することで概念的明確化を行い, 両者が独立可能であることを示す。 しかし、私たちの主な貢献は、これが驚きではない理由を示しています。 この目的のために、まず思考実験を行い、バイアスと経験的公平性が完全に直交できることを示す。 次に、最も広く使われている言語モデルにまたがって、バイアスメトリクスと公正メトリクスの間に相関がないという実証的な証拠を提供する。 最後に,社会学的,心理学的文献を調査し,この文献がこれらの指標が無関係であることを期待する上で,いかに十分な支援を提供するかを示す。

関連論文リスト

• Subtle Biases Need Subtler Measures: Dual Metrics for Evaluating Representative and Affinity Bias in Large Language Models [10.73340009530019]
  本研究は,Large Language Models (LLMs) における2つのバイアス,代表バイアスと親和性バイアスに対処する。 我々は,これらのバイアスを測定するために,代表バイアススコア(RBS)と親和性バイアススコア(ABS)の2つの新しい指標を導入する。 我々の分析では、白人、ストレート、男性と関連する身元を選好する著名なLSMにおいて、顕著な偏見が明らかとなった。 親和性バイアスによる各モデルにおける特徴的評価パターンの解明
  論文  参考訳（メタデータ） (2024-05-23T13:35:34Z)
• Semantic Properties of cosine based bias scores for word embeddings [48.0753688775574]
  本稿では,バイアスの定量化に有効なバイアススコアの要件を提案する。 これらの要件について,コサインに基づくスコアを文献から分析する。 これらの結果は、バイアススコアの制限がアプリケーションケースに影響を及ぼすことを示す実験で裏付けられている。
  論文  参考訳（メタデータ） (2024-01-27T20:31:10Z)
• On the Interplay between Fairness and Explainability [28.37896468795247]
  公平さと説明責任が相互にどのように影響するかを理解するための最初の研究を行う。 バイアス軽減のためのいくつかの手法を用いて、事前学習した言語モデルを微調整する。 バイアス緩和アルゴリズムは必ずしもより公平なモデルに繋がらない。
  論文  参考訳（メタデータ） (2023-10-25T12:59:51Z)
• DualFair: Fair Representation Learning at Both Group and Individual Levels via Contrastive Self-supervision [73.80009454050858]
  この研究は、DualFairと呼ばれる自己教師型モデルを提示し、学習された表現から性別や人種などのセンシティブな属性をデバイアスすることができる。 我々のモデルは、グループフェアネスと対実フェアネスという2つのフェアネス基準を共同で最適化する。
  論文  参考訳（メタデータ） (2023-03-15T07:13:54Z)
• Fair Enough: Standardizing Evaluation and Model Selection for Fairness Research in NLP [64.45845091719002]
  現代のNLPシステムは様々なバイアスを示しており、モデル偏見に関する文献が増えている。 本稿では,その現状を解明し,公正学習における意味ある進歩の道筋を立案することを目的とする。
  論文  参考訳（メタデータ） (2023-02-11T14:54:00Z)
• Toward Understanding Bias Correlations for Mitigation in NLP [34.956581421295]
  この研究は、緩和におけるバイアスの相関を理解するための最初の体系的な研究を提供することを目的としている。 我々は2つの共通NLPタスク(毒性検出と単語埋め込み)におけるバイアス緩和について検討する。 以上の結果から, 偏見は相関し, 独立性脱バイアスアプローチが不十分な現状が示唆された。
  論文  参考訳（メタデータ） (2022-05-24T22:48:47Z)
• On Disentangled and Locally Fair Representations [95.6635227371479]
  人種や性別などのセンシティブなグループに対して公平な方法で分類を行うという課題について検討する。 局所的公正表現を学習し、学習された表現の下で、各サンプルの近傍は感度特性の観点からバランスをとる。
  論文  参考訳（メタデータ） (2022-05-05T14:26:50Z)
• The SAME score: Improved cosine based bias score for word embeddings [49.75878234192369]
  埋め込みにおけるセマンティックバイアスのための新しいバイアススコアであるPetを紹介した。 本研究は,下水道作業における意味バイアスを測定し,社会的バイアスの潜在的な原因を特定することができることを示す。
  論文  参考訳（メタデータ） (2022-03-28T09:28:13Z)
• Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
  加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。 この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
  論文  参考訳（メタデータ） (2022-03-16T15:00:33Z)
• Measuring Fairness with Biased Rulers: A Survey on Quantifying Biases in Pretrained Language Models [2.567384209291337]
  自然言語処理資源における偏見パターンの認識の高まりは、偏見と公平さを定量化するために多くの指標を動機付けてきた」。 本稿では,事前訓練された言語モデルの公平度指標に関する既存の文献を調査し,互換性を実験的に評価する。 その結果、多くの指標は互換性がなく、(i)テンプレート、(ii)属性とターゲット種子、(iii)埋め込みの選択に強く依存していることがわかった。
  論文  参考訳（メタデータ） (2021-12-14T15:04:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。