論文の概要: The SAME score: Improved cosine based bias score for word embeddings
- arxiv url: http://arxiv.org/abs/2203.14603v3
- Date: Thu, 12 Sep 2024 08:08:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-13 22:51:28.711598
- Title: The SAME score: Improved cosine based bias score for word embeddings
- Title(参考訳): 単語埋め込みにおけるコサインに基づくバイアススコアの改善
- Authors: Sarah Schröder, Alexander Schulz, Barbara Hammer,
- Abstract要約: 埋め込みにおけるセマンティックバイアスのための新しいバイアススコアであるPetを紹介した。
本研究は,下水道作業における意味バイアスを測定し,社会的バイアスの潜在的な原因を特定することができることを示す。
- 参考スコア(独自算出の注目度): 49.75878234192369
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the enourmous popularity of large language models, many researchers have raised ethical concerns regarding social biases incorporated in such models. Several methods to measure social bias have been introduced, but apparently these methods do not necessarily agree regarding the presence or severity of bias. Furthermore, some works have shown theoretical issues or severe limitations with certain bias measures. For that reason, we introduce SAME, a novel bias score for semantic bias in embeddings. We conduct a thorough theoretical analysis as well as experiments to show its benefits compared to similar bias scores from the literature. We further highlight a substantial relation of semantic bias measured by SAME with downstream bias, a connection that has recently been argued to be negligible. Instead, we show that SAME is capable of measuring semantic bias and identify potential causes for social bias in downstream tasks.
- Abstract(参考訳): 大規模言語モデルの普及により、多くの研究者はそのようなモデルに組み込まれた社会的偏見に関する倫理的懸念を提起してきた。
社会的偏見を測定するいくつかの方法が導入されたが、これらの方法は必ずしも偏見の存在や深刻さについて一致していない。
さらに、いくつかの研究は、ある偏見測度に関する理論上の問題や厳しい制限を示している。
そこで本研究では,埋め込みにおける意味バイアスのための新しいバイアススコアであるPetを紹介した。
文献から得られた同様のバイアススコアと比較し,その利点を示す実験と同様に, 徹底的な理論的解析を行う。
我々はさらに、最近無視可能であると主張されている下流バイアスによるセマンティックバイアスの有意な関係を強調した。
その代わり,本研究では,下流タスクにおいて意味バイアスを測定し,社会的バイアスの潜在的な原因を特定することができることを示す。
関連論文リスト
- Bias in Language Models: Beyond Trick Tests and Toward RUTEd Evaluation [55.66090768926881]
本研究では,非テクスチャ化された「トリックテスト」と,現実的利用と有形効果に根ざした評価の対応について検討する。
本稿では,現在文献に適合している3つの非文脈評価と,長文コンテンツ生成に適用された3つの類似のRUTED評価を比較した。
トリックテストとRUTEd評価の対応は見つからなかった。
論文 参考訳(メタデータ) (2024-02-20T01:49:15Z) - Semantic Properties of cosine based bias scores for word embeddings [52.13994416317707]
本稿では,バイアスの定量化に有効なバイアススコアの要件を提案する。
これらの要件について,コサインに基づくスコアを文献から分析する。
これらの結果は、バイアススコアの制限がアプリケーションケースに影響を及ぼすことを示す実験で裏付けられている。
論文 参考訳(メタデータ) (2024-01-27T20:31:10Z) - Mitigating Bias for Question Answering Models by Tracking Bias Influence [84.66462028537475]
本稿では,複数選択QAモデルのバイアスを軽減するためのBMBIを提案する。
バイアスのある例から学んだ場合、モデルがよりバイアスに傾くように傾くという直感に基づいて、クエリインスタンスのバイアスレベルを測定します。
本手法は,複数のバイアスカテゴリにまたがる複数のQA定式化に適用可能であることを示す。
論文 参考訳(メタデータ) (2023-10-13T00:49:09Z) - Fair Enough: Standardizing Evaluation and Model Selection for Fairness
Research in NLP [64.45845091719002]
現代のNLPシステムは様々なバイアスを示しており、モデル偏見に関する文献が増えている。
本稿では,その現状を解明し,公正学習における意味ある進歩の道筋を立案することを目的とする。
論文 参考訳(メタデータ) (2023-02-11T14:54:00Z) - Looking at the Overlooked: An Analysis on the Word-Overlap Bias in
Natural Language Inference [20.112129592923246]
我々は、NLIモデルにおける重複バイアスの見過ごされた側面、すなわちリバースワードオーバーラップバイアスに焦点を当てる。
現在のNLIモデルは、重複の少ないインスタンスにおいて、非エンターメントラベルに対して非常に偏りがある。
重なり合うバイアスの出現とその緩和におけるマイノリティ事例の役割について検討する。
論文 参考訳(メタデータ) (2022-11-07T21:02:23Z) - Evaluating Metrics for Bias in Word Embeddings [64.55554083622258]
我々は、過去の研究の考えに基づいてバイアス定義を定式化し、バイアスメトリクスの条件を導出する。
そこで我々は,既存のメトリクスの欠点に対処する新しい計量であるhetを提案し,その振る舞いを数学的に証明する。
論文 参考訳(メタデータ) (2021-11-15T16:07:15Z) - "Thy algorithm shalt not bear false witness": An Evaluation of
Multiclass Debiasing Methods on Word Embeddings [3.0204693431381515]
本稿では,最先端のマルチクラス・デバイアス技術であるハード・デバイアス,ソフトウィート・デバイアス,コンセプタ・デバイアスについて検討する。
単語埋め込みアソシエーションテスト(WEAT)、平均コサイン類似度(MAC)、相対負性感覚バイアス(RNSB)によるバイアス除去を定量化することにより、共通のバイアス除去時のパフォーマンスを評価する。
論文 参考訳(メタデータ) (2020-10-30T12:49:39Z) - Joint Multiclass Debiasing of Word Embeddings [5.1135133995376085]
本稿では,複数のバイアス次元を同時に脱バイアスできる多クラス脱バイアス手法を提案する。
単語埋め込みにおけるベクトル間の有意義な関係を維持しながら、私たちの概念がバイアスを減らすか、あるいは完全に排除できることを示す。
論文 参考訳(メタデータ) (2020-03-09T22:06:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。