論文の概要: Sense Embeddings are also Biased--Evaluating Social Biases in Static and
Contextualised Sense Embeddings
- arxiv url: http://arxiv.org/abs/2203.07523v2
- Date: Wed, 16 Mar 2022 10:22:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-17 11:29:51.319812
- Title: Sense Embeddings are also Biased--Evaluating Social Biases in Static and
Contextualised Sense Embeddings
- Title(参考訳): センス・エンベディングもバイズ化される-静的・文脈的エンベディングにおける社会的バイアスの評価
- Authors: Yi Zhou, Masahiro Kaneko, Danushka Bollegala
- Abstract要約: 曖昧な言葉の1つの感覚は社会的に偏りがあるが、他の感覚はバイアスのないままである。
我々は、ソーシャルバイアスを意識的な埋め込みで評価するためのベンチマークデータセットを作成する。
感性特異的なバイアス評価尺度を提案する。
- 参考スコア(独自算出の注目度): 28.062567781403274
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sense embedding learning methods learn different embeddings for the different
senses of an ambiguous word. One sense of an ambiguous word might be socially
biased while its other senses remain unbiased. In comparison to the numerous
prior work evaluating the social biases in pretrained word embeddings, the
biases in sense embeddings have been relatively understudied. We create a
benchmark dataset for evaluating the social biases in sense embeddings and
propose novel sense-specific bias evaluation measures. We conduct an extensive
evaluation of multiple static and contextualised sense embeddings for various
types of social biases using the proposed measures. Our experimental results
show that even in cases where no biases are found at word-level, there still
exist worrying levels of social biases at sense-level, which are often ignored
by the word-level bias evaluation measures.
- Abstract(参考訳): センス埋め込み学習法は、曖昧な単語の異なる感覚に対する異なる埋め込みを学習する。
曖昧な言葉の1つの感覚は社会的に偏りがあるが、他の感覚は偏りがない。
事前学習された単語埋め込みにおける社会的バイアスを評価する多くの先行研究と比較して、感覚埋め込みのバイアスは相対的に低い評価を受けている。
感覚埋め込みにおける社会的バイアスを評価するためのベンチマークデータセットを作成し,新しい感覚特異的バイアス評価尺度を提案する。
提案手法を用いて,様々な社会バイアスに対する複数の静的・文脈的感覚埋め込みの広範な評価を行う。
実験の結果,単語レベルではバイアスが見られない場合でも,感覚レベルでは社会バイアスの懸念レベルが存在し,単語レベルのバイアス評価尺度では無視されることが多かった。
関連論文リスト
- Semantic Properties of cosine based bias scores for word embeddings [52.13994416317707]
本稿では,バイアスの定量化に有効なバイアススコアの要件を提案する。
これらの要件について,コサインに基づくスコアを文献から分析する。
これらの結果は、バイアススコアの制限がアプリケーションケースに影響を及ぼすことを示す実験で裏付けられている。
論文 参考訳(メタデータ) (2024-01-27T20:31:10Z) - No Word Embedding Model Is Perfect: Evaluating the Representation
Accuracy for Social Bias in the Media [17.4812995898078]
我々は,米国オンラインニュース記事に存在する社会バイアスの種類を正確に測定するために,どのような埋め込みアルゴリズムが最適かを検討する。
我々は500万の記事を収集し、予想される社会的偏見に関して心理学文献をレビューする。
我々は、ニュース記事のアルゴリズムでトレーニングされたモデルが、期待される社会的バイアスをどう表すかを比較する。
論文 参考訳(メタデータ) (2022-11-07T15:45:52Z) - The Tail Wagging the Dog: Dataset Construction Biases of Social Bias
Benchmarks [75.58692290694452]
社会的偏見と、データセット構築時に選択された選択から生じる非社会的偏見を比較し、人間の目では識別できないかもしれない。
これらの浅い修正は、様々なモデルにまたがるバイアスの程度に驚くべき影響を及ぼす。
論文 参考訳(メタデータ) (2022-10-18T17:58:39Z) - Social Biases in Automatic Evaluation Metrics for NLG [53.76118154594404]
本稿では,単語埋め込みアソシエーションテスト(WEAT)と文埋め込みアソシエーションテスト(SEAT)に基づく評価手法を提案する。
我々は、画像キャプションやテキスト要約タスクにおける性別バイアスの影響を調査するために、性別対応メタ評価データセットを構築した。
論文 参考訳(メタデータ) (2022-10-17T08:55:26Z) - The SAME score: Improved cosine based bias score for word embeddings [63.24247894974291]
文献の考えに基づくバイアス定義を提供し、バイアススコアの新たな要件を導出する。
既存のバイアススコアの欠点に対処し,単語埋め込みにおけるバイアスの定量化に好適であることを示す。
論文 参考訳(メタデータ) (2022-03-28T09:28:13Z) - Evaluating Metrics for Bias in Word Embeddings [64.55554083622258]
我々は、過去の研究の考えに基づいてバイアス定義を定式化し、バイアスメトリクスの条件を導出する。
そこで我々は,既存のメトリクスの欠点に対処する新しい計量であるhetを提案し,その振る舞いを数学的に証明する。
論文 参考訳(メタデータ) (2021-11-15T16:07:15Z) - Discovering and Interpreting Biased Concepts in Online Communities [5.670038395203354]
言語は暗黙の人間のバイアスを持ち、反射とそれらを持ち歩くステレオタイプの永続の両方として機能する。
単語埋め込みのようなMLベースのNLP手法は、そのような言語バイアスを顕著な精度で学習することが示されている。
本稿では、単語埋め込みに符号化されたバイアス概念を自動的に検出し、解釈する従来のデータ駆動手法を改善し、拡張し、評価する。
論文 参考訳(メタデータ) (2020-10-27T17:07:12Z) - Towards Debiasing Sentence Representations [109.70181221796469]
Sent-Debiasはバイアスを取り除くのに有効であり、同時に文レベルの下流タスクのパフォーマンスを保っていることを示す。
我々は、より公平なNLPのための広く採用されている文表現から社会的偏見を識別・除去する今後の研究に刺激を与えることを期待している。
論文 参考訳(メタデータ) (2020-07-16T04:22:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。