論文の概要: The SAME score: Improved cosine based bias score for word embeddings
- arxiv url: http://arxiv.org/abs/2203.14603v1
- Date: Mon, 28 Mar 2022 09:28:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-30 03:22:41.539584
- Title: The SAME score: Improved cosine based bias score for word embeddings
- Title(参考訳): 同じスコア: 単語埋め込みのためのコサインベースのバイアススコアの改善
- Authors: Sarah Schr\"oder, Alexander Schulz, Philip Kenneweg, Robert Feldhans,
Fabian Hinder, Barbara Hammer
- Abstract要約: 文献の考えに基づくバイアス定義を提供し、バイアススコアの新たな要件を導出する。
既存のバイアススコアの欠点に対処し,単語埋め込みにおけるバイアスの定量化に好適であることを示す。
- 参考スコア(独自算出の注目度): 63.24247894974291
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Over the last years, word and sentence embeddings have established as text
preprocessing for all kinds of NLP tasks and improved performances in these
tasks significantly. Unfortunately, it has also been shown that these
embeddings inherit various kinds of biases from the training data and thereby
pass on biases present in society to NLP solutions. Many papers attempted to
quantify bias in word or sentence embeddings to evaluate debiasing methods or
compare different embedding models, often with cosine-based scores. However,
some works have raised doubts about these scores showing that even though they
report low biases, biases persist and can be shown with other tests. In fact,
there is a great variety of bias scores or tests proposed in the literature
without any consensus on the optimal solutions. We lack works that study the
behavior of bias scores and elaborate their advantages and disadvantages. In
this work, we will explore different cosine-based bias scores. We provide a
bias definition based on the ideas from the literature and derive novel
requirements for bias scores. Furthermore, we thoroughly investigate the
existing cosine-based scores and their limitations in order to show why these
scores fail to report biases in some situations. Finally, we propose a new bias
score, SAME, to address the shortcomings of existing bias scores and show
empirically that SAME is better suited to quantify biases in word embeddings.
- Abstract(参考訳): 近年,全てのNLPタスクのテキスト前処理として単語と文の埋め込みが確立され,これらのタスクのパフォーマンスが大幅に向上した。
残念ながら、これらの埋め込みはトレーニングデータから様々な種類のバイアスを継承し、社会に存在するバイアスをNLPソリューションに渡すことも示されている。
多くの論文は、単語や文の埋め込みにおけるバイアスを定量化し、デバイアス法を評価したり、異なる埋め込みモデルを比較したりしようとした。
しかしながら、これらのスコアが低いバイアスを報告しているにもかかわらず、バイアスは持続し、他のテストで示すことができることを示す研究もある。
実際、最適な解についてのコンセンサスなしに、文献に提案されているバイアススコアやテストは多種多様である。
バイアススコアの振る舞いを研究し、その利点とデメリットを詳述する作業が欠けている。
本稿では,コサインに基づくバイアススコアについて検討する。
論文のアイデアに基づいたバイアス定義を提供し,バイアススコアの新たな要件を導出する。
さらに,既存のコサインに基づくスコアとその制限を徹底的に検討し,これらのスコアが一部の状況においてバイアスを報告できない理由を示す。
最後に,既存のバイアススコアの欠点に対処し,単語埋め込みにおけるバイアスの定量化に適していることを示すために,新たなバイアススコアを提案する。
関連論文リスト
- Bias in Language Models: Beyond Trick Tests and Toward RUTEd Evaluation [55.66090768926881]
本研究では,非テクスチャ化された「トリックテスト」と,現実的利用と有形効果に根ざした評価の対応について検討する。
本稿では,現在文献に適合している3つの非文脈評価と,長文コンテンツ生成に適用された3つの類似のRUTED評価を比較した。
トリックテストとRUTEd評価の対応は見つからなかった。
論文 参考訳(メタデータ) (2024-02-20T01:49:15Z) - Semantic Properties of cosine based bias scores for word embeddings [52.13994416317707]
本稿では,バイアスの定量化に有効なバイアススコアの要件を提案する。
これらの要件について,コサインに基づくスコアを文献から分析する。
これらの結果は、バイアススコアの制限がアプリケーションケースに影響を及ぼすことを示す実験で裏付けられている。
論文 参考訳(メタデータ) (2024-01-27T20:31:10Z) - Mitigating Bias for Question Answering Models by Tracking Bias Influence [87.84850806865059]
本稿では,複数選択QAモデルのバイアスを軽減するためのBMBIを提案する。
バイアスのある例から学んだ場合、モデルがよりバイアスに傾くように傾くという直感に基づいて、クエリインスタンスのバイアスレベルを測定します。
本手法は,複数のバイアスカテゴリにまたがる複数のQA定式化に適用可能であることを示す。
論文 参考訳(メタデータ) (2023-10-13T00:49:09Z) - Fair Enough: Standardizing Evaluation and Model Selection for Fairness
Research in NLP [64.45845091719002]
現代のNLPシステムは様々なバイアスを示しており、モデル偏見に関する文献が増えている。
本稿では,その現状を解明し,公正学習における意味ある進歩の道筋を立案することを目的とする。
論文 参考訳(メタデータ) (2023-02-11T14:54:00Z) - Looking at the Overlooked: An Analysis on the Word-Overlap Bias in
Natural Language Inference [20.112129592923246]
我々は、NLIモデルにおける重複バイアスの見過ごされた側面、すなわちリバースワードオーバーラップバイアスに焦点を当てる。
現在のNLIモデルは、重複の少ないインスタンスにおいて、非エンターメントラベルに対して非常に偏りがある。
重なり合うバイアスの出現とその緩和におけるマイノリティ事例の役割について検討する。
論文 参考訳(メタデータ) (2022-11-07T21:02:23Z) - Evaluating Metrics for Bias in Word Embeddings [64.55554083622258]
我々は、過去の研究の考えに基づいてバイアス定義を定式化し、バイアスメトリクスの条件を導出する。
そこで我々は,既存のメトリクスの欠点に対処する新しい計量であるhetを提案し,その振る舞いを数学的に証明する。
論文 参考訳(メタデータ) (2021-11-15T16:07:15Z) - "Thy algorithm shalt not bear false witness": An Evaluation of
Multiclass Debiasing Methods on Word Embeddings [3.0204693431381515]
本稿では,最先端のマルチクラス・デバイアス技術であるハード・デバイアス,ソフトウィート・デバイアス,コンセプタ・デバイアスについて検討する。
単語埋め込みアソシエーションテスト(WEAT)、平均コサイン類似度(MAC)、相対負性感覚バイアス(RNSB)によるバイアス除去を定量化することにより、共通のバイアス除去時のパフォーマンスを評価する。
論文 参考訳(メタデータ) (2020-10-30T12:49:39Z) - Joint Multiclass Debiasing of Word Embeddings [5.1135133995376085]
本稿では,複数のバイアス次元を同時に脱バイアスできる多クラス脱バイアス手法を提案する。
単語埋め込みにおけるベクトル間の有意義な関係を維持しながら、私たちの概念がバイアスを減らすか、あるいは完全に排除できることを示す。
論文 参考訳(メタデータ) (2020-03-09T22:06:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。