論文の概要: The SAME score: Improved cosine based bias score for word embeddings

• arxiv url: http://arxiv.org/abs/2203.14603v1
• Date: Mon, 28 Mar 2022 09:28:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-30 03:22:41.539584
• Title: The SAME score: Improved cosine based bias score for word embeddings
• Title（参考訳）: 同じスコア: 単語埋め込みのためのコサインベースのバイアススコアの改善
• Authors: Sarah Schr\"oder, Alexander Schulz, Philip Kenneweg, Robert Feldhans, Fabian Hinder, Barbara Hammer
• Abstract要約: 文献の考えに基づくバイアス定義を提供し、バイアススコアの新たな要件を導出する。 既存のバイアススコアの欠点に対処し,単語埋め込みにおけるバイアスの定量化に好適であることを示す。
• 参考スコア（独自算出の注目度）: 63.24247894974291
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Over the last years, word and sentence embeddings have established as text preprocessing for all kinds of NLP tasks and improved performances in these tasks significantly. Unfortunately, it has also been shown that these embeddings inherit various kinds of biases from the training data and thereby pass on biases present in society to NLP solutions. Many papers attempted to quantify bias in word or sentence embeddings to evaluate debiasing methods or compare different embedding models, often with cosine-based scores. However, some works have raised doubts about these scores showing that even though they report low biases, biases persist and can be shown with other tests. In fact, there is a great variety of bias scores or tests proposed in the literature without any consensus on the optimal solutions. We lack works that study the behavior of bias scores and elaborate their advantages and disadvantages. In this work, we will explore different cosine-based bias scores. We provide a bias definition based on the ideas from the literature and derive novel requirements for bias scores. Furthermore, we thoroughly investigate the existing cosine-based scores and their limitations in order to show why these scores fail to report biases in some situations. Finally, we propose a new bias score, SAME, to address the shortcomings of existing bias scores and show empirically that SAME is better suited to quantify biases in word embeddings.
• Abstract（参考訳）: 近年,全てのNLPタスクのテキスト前処理として単語と文の埋め込みが確立され,これらのタスクのパフォーマンスが大幅に向上した。 残念ながら、これらの埋め込みはトレーニングデータから様々な種類のバイアスを継承し、社会に存在するバイアスをNLPソリューションに渡すことも示されている。 多くの論文は、単語や文の埋め込みにおけるバイアスを定量化し、デバイアス法を評価したり、異なる埋め込みモデルを比較したりしようとした。 しかしながら、これらのスコアが低いバイアスを報告しているにもかかわらず、バイアスは持続し、他のテストで示すことができることを示す研究もある。 実際、最適な解についてのコンセンサスなしに、文献に提案されているバイアススコアやテストは多種多様である。 バイアススコアの振る舞いを研究し、その利点とデメリットを詳述する作業が欠けている。 本稿では,コサインに基づくバイアススコアについて検討する。 論文のアイデアに基づいたバイアス定義を提供し,バイアススコアの新たな要件を導出する。 さらに,既存のコサインに基づくスコアとその制限を徹底的に検討し,これらのスコアが一部の状況においてバイアスを報告できない理由を示す。 最後に,既存のバイアススコアの欠点に対処し,単語埋め込みにおけるバイアスの定量化に適していることを示すために,新たなバイアススコアを提案する。

関連論文リスト

• Semantic Properties of cosine based bias scores for word embeddings [48.0753688775574]
  本稿では,バイアスの定量化に有効なバイアススコアの要件を提案する。 これらの要件について,コサインに基づくスコアを文献から分析する。 これらの結果は、バイアススコアの制限がアプリケーションケースに影響を及ぼすことを示す実験で裏付けられている。
  論文  参考訳（メタデータ） (2024-01-27T20:31:10Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)
• Mitigating Bias for Question Answering Models by Tracking Bias Influence [84.66462028537475]
  本稿では,複数選択QAモデルのバイアスを軽減するためのBMBIを提案する。 バイアスのある例から学んだ場合、モデルがよりバイアスに傾くように傾くという直感に基づいて、クエリインスタンスのバイアスレベルを測定します。 本手法は,複数のバイアスカテゴリにまたがる複数のQA定式化に適用可能であることを示す。
  論文  参考訳（メタデータ） (2023-10-13T00:49:09Z)
• Looking at the Overlooked: An Analysis on the Word-Overlap Bias in Natural Language Inference [20.112129592923246]
  我々は、NLIモデルにおける重複バイアスの見過ごされた側面、すなわちリバースワードオーバーラップバイアスに焦点を当てる。 現在のNLIモデルは、重複の少ないインスタンスにおいて、非エンターメントラベルに対して非常に偏りがある。 重なり合うバイアスの出現とその緩和におけるマイノリティ事例の役割について検討する。
  論文  参考訳（メタデータ） (2022-11-07T21:02:23Z)
• No Word Embedding Model Is Perfect: Evaluating the Representation Accuracy for Social Bias in the Media [17.4812995898078]
  我々は,米国オンラインニュース記事に存在する社会バイアスの種類を正確に測定するために,どのような埋め込みアルゴリズムが最適かを検討する。 我々は500万の記事を収集し、予想される社会的偏見に関して心理学文献をレビューする。 我々は、ニュース記事のアルゴリズムでトレーニングされたモデルが、期待される社会的バイアスをどう表すかを比較する。
  論文  参考訳（メタデータ） (2022-11-07T15:45:52Z)
• The Tail Wagging the Dog: Dataset Construction Biases of Social Bias Benchmarks [75.58692290694452]
  社会的偏見と、データセット構築時に選択された選択から生じる非社会的偏見を比較し、人間の目では識別できないかもしれない。 これらの浅い修正は、様々なモデルにまたがるバイアスの程度に驚くべき影響を及ぼす。
  論文  参考訳（メタデータ） (2022-10-18T17:58:39Z)
• Toward Understanding Bias Correlations for Mitigation in NLP [34.956581421295]
  この研究は、緩和におけるバイアスの相関を理解するための最初の体系的な研究を提供することを目的としている。 我々は2つの共通NLPタスク(毒性検出と単語埋め込み)におけるバイアス緩和について検討する。 以上の結果から, 偏見は相関し, 独立性脱バイアスアプローチが不十分な現状が示唆された。
  論文  参考訳（メタデータ） (2022-05-24T22:48:47Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)
• Argument from Old Man's View: Assessing Social Bias in Argumentation [20.65183968971417]
  言語における社会的バイアスは多くのNLPアプリケーションに倫理的影響をもたらす。 最近の研究では、各データに基づいてトレーニングされた機械学習モデルが採用されるだけでなく、バイアスを増幅する可能性があることが示されている。 大規模な英語討論ポータルにおける社会的偏見の存在について検討する。
  論文  参考訳（メタデータ） (2020-11-24T10:39:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。