論文の概要: On the Interpretability and Significance of Bias Metrics in Texts: a
PMI-based Approach
- arxiv url: http://arxiv.org/abs/2104.06474v2
- Date: Tue, 18 Jul 2023 16:40:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-19 19:54:45.270640
- Title: On the Interpretability and Significance of Bias Metrics in Texts: a
PMI-based Approach
- Title(参考訳): テキストにおけるバイアスメトリクスの解釈可能性と意義--pmiに基づくアプローチ
- Authors: Francisco Valentini, Germ\'an Rosati, Dami\'an Blasi, Diego Fernandez
Slezak, and Edgar Altszyler
- Abstract要約: 我々は、テキスト中のバイアスを定量化するために、別のPMIベースのメトリクスを分析する。
これは条件付き確率の関数として表すことができ、単語共起の言葉で簡単に解釈できる。
- 参考スコア(独自算出の注目度): 3.2326259807823026
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, word embeddings have been widely used to measure biases in
texts. Even if they have proven to be effective in detecting a wide variety of
biases, metrics based on word embeddings lack transparency and
interpretability. We analyze an alternative PMI-based metric to quantify biases
in texts. It can be expressed as a function of conditional probabilities, which
provides a simple interpretation in terms of word co-occurrences. We also prove
that it can be approximated by an odds ratio, which allows estimating
confidence intervals and statistical significance of textual biases. This
approach produces similar results to metrics based on word embeddings when
capturing gender gaps of the real world embedded in large corpora.
- Abstract(参考訳): 近年,テキスト中のバイアスを測定するために単語埋め込みが広く用いられている。
様々なバイアスを検出するのに効果があることが証明されたとしても、単語の埋め込みに基づくメトリクスは透明性と解釈可能性に欠ける。
我々は、テキスト中のバイアスを定量化するために、別のPMIベースのメトリクスを分析する。
これは条件付き確率の関数として表すことができ、単語共起の言葉で簡単に解釈できる。
また,確率のオッズ比で近似できることを証明し,信頼区間の推定とテキストバイアスの統計的意義を明らかにした。
この手法は,大規模コーパスに埋め込まれた実世界の性差を捉える際に,単語埋め込みに基づく指標と類似した結果をもたらす。
関連論文リスト
- Goodhart's Law Applies to NLP's Explanation Benchmarks [57.26445915212884]
ERASER(Comprehensiveness and sufficiency)メトリクスとEVAL-X(EVAL-X)メトリクスの2つのセットを批判的に検討する。
実験結果の予測や説明を変えることなく,モデル全体の包括性と充足率を劇的に向上させることができることを示す。
我々の結果は、現在のメトリクスが説明可能性の研究をガイドする能力に疑問を呈し、これらのメトリクスが正確に捉えるものを再評価する必要性を強調します。
論文 参考訳(メタデータ) (2023-08-28T03:03:03Z) - Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。
この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
論文 参考訳(メタデータ) (2022-03-16T15:00:33Z) - Measuring Fairness with Biased Rulers: A Survey on Quantifying Biases in
Pretrained Language Models [2.567384209291337]
自然言語処理資源における偏見パターンの認識の高まりは、偏見と公平さを定量化するために多くの指標を動機付けてきた」。
本稿では,事前訓練された言語モデルの公平度指標に関する既存の文献を調査し,互換性を実験的に評価する。
その結果、多くの指標は互換性がなく、(i)テンプレート、(ii)属性とターゲット種子、(iii)埋め込みの選択に強く依存していることがわかった。
論文 参考訳(メタデータ) (2021-12-14T15:04:56Z) - Evaluating Metrics for Bias in Word Embeddings [64.55554083622258]
我々は、過去の研究の考えに基づいてバイアス定義を定式化し、バイアスメトリクスの条件を導出する。
そこで我々は,既存のメトリクスの欠点に対処する新しい計量であるhetを提案し,その振る舞いを数学的に証明する。
論文 参考訳(メタデータ) (2021-11-15T16:07:15Z) - Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。
本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。
本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。
セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
論文 参考訳(メタデータ) (2021-10-04T03:59:15Z) - Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。
既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。
本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
論文 参考訳(メタデータ) (2021-09-16T23:40:28Z) - Assessing the Reliability of Word Embedding Gender Bias Measures [4.258396452892244]
我々は,単語埋め込み性バイアス尺度の3種類の信頼性,すなわち,テスト-再テストの信頼性,相互整合性,内部整合性を評価する。
以上の結果から,単語埋め込み性バイアス尺度のより良い設計が示唆された。
論文 参考訳(メタデータ) (2021-09-10T08:23:50Z) - Fairness for Whom? Understanding the Reader's Perception of Fairness in
Text Summarization [9.136419921943235]
フェアネスの概念と読者のテキスト要約における認識の相互関係について検討する。
標準的なROUGE評価指標は、要約の認識された(不公平な)性質を定量化できない。
論文 参考訳(メタデータ) (2021-01-29T05:14:34Z) - Intrinsic Bias Metrics Do Not Correlate with Application Bias [12.588713044749179]
本研究は, 測定容易な内在的指標が実世界の外在的指標とよく相関するかどうかを検討する。
異なるタスクと実験条件をカバーする数百のトレーニングモデルに対して,内在バイアスと外部バイアスの両方を測定した。
埋め込みスペースのデビア化の取り組みは、常に下流モデルバイアスの測定とペアリングされることを推奨し、追加のチャレンジセットと注釈付きテストデータの作成を通じて下流測定をより実現可能にするためのコミュニティの努力を高めることを提案します。
論文 参考訳(メタデータ) (2020-12-31T18:59:44Z) - On the Relation between Quality-Diversity Evaluation and
Distribution-Fitting Goal in Text Generation [86.11292297348622]
本研究では, 品質と多様性の線形結合が, 生成した分布と実分布との分岐距離を構成することを示す。
品質/多様性メトリックペアの代替としてCR/NRRを提案する。
論文 参考訳(メタデータ) (2020-07-03T04:06:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。