論文の概要: The SAME score: Improved cosine based bias score for word embeddings

• arxiv url: http://arxiv.org/abs/2203.14603v3
• Date: Thu, 12 Sep 2024 08:08:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-13 22:51:28.711598
• Title: The SAME score: Improved cosine based bias score for word embeddings
• Title（参考訳）: 単語埋め込みにおけるコサインに基づくバイアススコアの改善
• Authors: Sarah Schröder, Alexander Schulz, Barbara Hammer,
• Abstract要約: 埋め込みにおけるセマンティックバイアスのための新しいバイアススコアであるPetを紹介した。 本研究は,下水道作業における意味バイアスを測定し,社会的バイアスの潜在的な原因を特定することができることを示す。
• 参考スコア（独自算出の注目度）: 49.75878234192369
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the enourmous popularity of large language models, many researchers have raised ethical concerns regarding social biases incorporated in such models. Several methods to measure social bias have been introduced, but apparently these methods do not necessarily agree regarding the presence or severity of bias. Furthermore, some works have shown theoretical issues or severe limitations with certain bias measures. For that reason, we introduce SAME, a novel bias score for semantic bias in embeddings. We conduct a thorough theoretical analysis as well as experiments to show its benefits compared to similar bias scores from the literature. We further highlight a substantial relation of semantic bias measured by SAME with downstream bias, a connection that has recently been argued to be negligible. Instead, we show that SAME is capable of measuring semantic bias and identify potential causes for social bias in downstream tasks.
• Abstract（参考訳）: 大規模言語モデルの普及により、多くの研究者はそのようなモデルに組み込まれた社会的偏見に関する倫理的懸念を提起してきた。 社会的偏見を測定するいくつかの方法が導入されたが、これらの方法は必ずしも偏見の存在や深刻さについて一致していない。 さらに、いくつかの研究は、ある偏見測度に関する理論上の問題や厳しい制限を示している。 そこで本研究では,埋め込みにおける意味バイアスのための新しいバイアススコアであるPetを紹介した。 文献から得られた同様のバイアススコアと比較し,その利点を示す実験と同様に, 徹底的な理論的解析を行う。 我々はさらに、最近無視可能であると主張されている下流バイアスによるセマンティックバイアスの有意な関係を強調した。 その代わり,本研究では,下流タスクにおいて意味バイアスを測定し,社会的バイアスの潜在的な原因を特定することができることを示す。

関連論文リスト

• Semantic Properties of cosine based bias scores for word embeddings [48.0753688775574]
  本稿では,バイアスの定量化に有効なバイアススコアの要件を提案する。 これらの要件について,コサインに基づくスコアを文献から分析する。 これらの結果は、バイアススコアの制限がアプリケーションケースに影響を及ぼすことを示す実験で裏付けられている。
  論文  参考訳（メタデータ） (2024-01-27T20:31:10Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)
• Mitigating Bias for Question Answering Models by Tracking Bias Influence [84.66462028537475]
  本稿では,複数選択QAモデルのバイアスを軽減するためのBMBIを提案する。 バイアスのある例から学んだ場合、モデルがよりバイアスに傾くように傾くという直感に基づいて、クエリインスタンスのバイアスレベルを測定します。 本手法は,複数のバイアスカテゴリにまたがる複数のQA定式化に適用可能であることを示す。
  論文  参考訳（メタデータ） (2023-10-13T00:49:09Z)
• Looking at the Overlooked: An Analysis on the Word-Overlap Bias in Natural Language Inference [20.112129592923246]
  我々は、NLIモデルにおける重複バイアスの見過ごされた側面、すなわちリバースワードオーバーラップバイアスに焦点を当てる。 現在のNLIモデルは、重複の少ないインスタンスにおいて、非エンターメントラベルに対して非常に偏りがある。 重なり合うバイアスの出現とその緩和におけるマイノリティ事例の役割について検討する。
  論文  参考訳（メタデータ） (2022-11-07T21:02:23Z)
• No Word Embedding Model Is Perfect: Evaluating the Representation Accuracy for Social Bias in the Media [17.4812995898078]
  我々は,米国オンラインニュース記事に存在する社会バイアスの種類を正確に測定するために,どのような埋め込みアルゴリズムが最適かを検討する。 我々は500万の記事を収集し、予想される社会的偏見に関して心理学文献をレビューする。 我々は、ニュース記事のアルゴリズムでトレーニングされたモデルが、期待される社会的バイアスをどう表すかを比較する。
  論文  参考訳（メタデータ） (2022-11-07T15:45:52Z)
• The Tail Wagging the Dog: Dataset Construction Biases of Social Bias Benchmarks [75.58692290694452]
  社会的偏見と、データセット構築時に選択された選択から生じる非社会的偏見を比較し、人間の目では識別できないかもしれない。 これらの浅い修正は、様々なモデルにまたがるバイアスの程度に驚くべき影響を及ぼす。
  論文  参考訳（メタデータ） (2022-10-18T17:58:39Z)
• Toward Understanding Bias Correlations for Mitigation in NLP [34.956581421295]
  この研究は、緩和におけるバイアスの相関を理解するための最初の体系的な研究を提供することを目的としている。 我々は2つの共通NLPタスク(毒性検出と単語埋め込み)におけるバイアス緩和について検討する。 以上の結果から, 偏見は相関し, 独立性脱バイアスアプローチが不十分な現状が示唆された。
  論文  参考訳（メタデータ） (2022-05-24T22:48:47Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)
• Argument from Old Man's View: Assessing Social Bias in Argumentation [20.65183968971417]
  言語における社会的バイアスは多くのNLPアプリケーションに倫理的影響をもたらす。 最近の研究では、各データに基づいてトレーニングされた機械学習モデルが採用されるだけでなく、バイアスを増幅する可能性があることが示されている。 大規模な英語討論ポータルにおける社会的偏見の存在について検討する。
  論文  参考訳（メタデータ） (2020-11-24T10:39:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。