論文の概要: No Word Embedding Model Is Perfect: Evaluating the Representation Accuracy for Social Bias in the Media

• arxiv url: http://arxiv.org/abs/2211.03634v1
• Date: Mon, 7 Nov 2022 15:45:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 17:03:30.196945
• Title: No Word Embedding Model Is Perfect: Evaluating the Representation Accuracy for Social Bias in the Media
• Title（参考訳）: 言葉埋め込みモデルは完璧ではない:メディアにおけるソーシャルバイアスの表現精度の評価
• Authors: Maximilian Splieth\"over, Maximilian Keiff, Henning Wachsmuth
• Abstract要約: 我々は,米国オンラインニュース記事に存在する社会バイアスの種類を正確に測定するために,どのような埋め込みアルゴリズムが最適かを検討する。 我々は500万の記事を収集し、予想される社会的偏見に関して心理学文献をレビューする。 我々は、ニュース記事のアルゴリズムでトレーニングされたモデルが、期待される社会的バイアスをどう表すかを比較する。
• 参考スコア（独自算出の注目度）: 17.4812995898078
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: News articles both shape and reflect public opinion across the political spectrum. Analyzing them for social bias can thus provide valuable insights, such as prevailing stereotypes in society and the media, which are often adopted by NLP models trained on respective data. Recent work has relied on word embedding bias measures, such as WEAT. However, several representation issues of embeddings can harm the measures' accuracy, including low-resource settings and token frequency differences. In this work, we study what kind of embedding algorithm serves best to accurately measure types of social bias known to exist in US online news articles. To cover the whole spectrum of political bias in the US, we collect 500k articles and review psychology literature with respect to expected social bias. We then quantify social bias using WEAT along with embedding algorithms that account for the aforementioned issues. We compare how models trained with the algorithms on news articles represent the expected social bias. Our results suggest that the standard way to quantify bias does not align well with knowledge from psychology. While the proposed algorithms reduce the~gap, they still do not fully match the literature.
• Abstract（参考訳）: ニュース記事は、政治的スペクトル全体の世論を形作り、反映する。 社会的偏見の分析は、社会におけるステレオタイプやメディアなど、それぞれのデータに基づいて訓練されたNLPモデルによってしばしば採用される、貴重な洞察を与えることができる。 最近の研究はWEATのような単語埋め込みバイアス尺度に依存している。 しかし、埋め込みのいくつかの表現問題は、低リソース設定やトークン頻度の違いなど、測定値の精度を損なう可能性がある。 本研究では,米国オンラインニュース記事における社会的バイアスの種類を正確に測定するために,どのような組込みアルゴリズムが最適かを検討する。 米国における政治的偏見の全範囲をカバーするため、500万記事を収集し、予想される社会的偏見に関する心理学文献をレビューする。 次に、WEATを用いた社会的偏見と、上記の問題を考慮に入れた埋め込みアルゴリズムを定量化する。 ニュース記事のアルゴリズムでトレーニングされたモデルが、期待される社会的バイアスを表しているかを比較する。 バイアスを定量化する標準的な方法は,心理学の知識とよく一致しないことが示唆された。 提案されたアルゴリズムは、~gapを減少させるが、まだ文献と完全に一致していない。

関連論文リスト

• DocNet: Semantic Structure in Inductive Bias Detection Models [0.4779196219827508]
  本稿では,文書におけるバイアス検出の見過ごされがちな側面として,ニュース記事の意味的構造について考察する。 本稿では,新しい,インダクティブで低リソースなドキュメント埋め込みとバイアス検出モデルであるDocNetを提案する。 また、文書レベルのグラフ埋め込みに代表される、対立するパルチザン側からのニュース記事のセマンティック構造が顕著に類似していることも示している。
  論文  参考訳（メタデータ） (2024-06-16T14:51:12Z)
• A Principled Approach for a New Bias Measure [7.352247786388098]
  偏差値の全範囲で明確かつ簡単な解釈を行う最初のバイアス尺度であるUniform Bias (UB) の定義を提案する。 この結果は,9つの公開データセットを用いて実験的に検証され,理論的に解析され,新たな知見が得られた。 当社のアプローチに基づいて、政策立案者にとって有用なバイアス緩和モデルも設計しています。
  論文  参考訳（メタデータ） (2024-05-20T18:14:33Z)
• Quantifying Bias in Text-to-Image Generative Models [49.60774626839712]
  テキスト・トゥ・イメージ(T2I)モデルにおけるバイアスは不公平な社会的表現を伝播させ、アイデアを積極的にマーケティングしたり、議論の的となっている議題を推進したりするのに用いられる。 既存のT2Iモデルバイアス評価手法は、社会的バイアスのみに焦点を当てる。 本稿では,T2I生成モデルにおける一般バイアスの定量化手法を提案する。
  論文  参考訳（メタデータ） (2023-12-20T14:26:54Z)
• Unveiling the Hidden Agenda: Biases in News Reporting and Consumption [59.55900146668931]
  イタリアのワクチン論争に関する6年間のデータセットを構築し、物語と選択バイアスを特定するためにベイジアン潜在空間モデルを採用する。 バイアスとエンゲージメントの間に非線形な関係が見られ、極端な位置へのエンゲージメントが高くなった。 Twitter上でのニュース消費の分析は、同様のイデオロギー的な立場のニュースメディアの間で、一般的なオーディエンスを明らかにしている。
  論文  参考訳（メタデータ） (2023-01-14T18:58:42Z)
• The Tail Wagging the Dog: Dataset Construction Biases of Social Bias Benchmarks [75.58692290694452]
  社会的偏見と、データセット構築時に選択された選択から生じる非社会的偏見を比較し、人間の目では識別できないかもしれない。 これらの浅い修正は、様々なモデルにまたがるバイアスの程度に驚くべき影響を及ぼす。
  論文  参考訳（メタデータ） (2022-10-18T17:58:39Z)
• The SAME score: Improved cosine based bias score for word embeddings [49.75878234192369]
  埋め込みにおけるセマンティックバイアスのための新しいバイアススコアであるPetを紹介した。 本研究は,下水道作業における意味バイアスを測定し,社会的バイアスの潜在的な原因を特定することができることを示す。
  論文  参考訳（メタデータ） (2022-03-28T09:28:13Z)
• Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
  大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。 テキスト生成における社会的バイアスを軽減するためのステップを提案する。 我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
  論文  参考訳（メタデータ） (2021-06-24T17:52:43Z)
• Argument from Old Man's View: Assessing Social Bias in Argumentation [20.65183968971417]
  言語における社会的バイアスは多くのNLPアプリケーションに倫理的影響をもたらす。 最近の研究では、各データに基づいてトレーニングされた機械学習モデルが採用されるだけでなく、バイアスを増幅する可能性があることが示されている。 大規模な英語討論ポータルにおける社会的偏見の存在について検討する。
  論文  参考訳（メタデータ） (2020-11-24T10:39:44Z)
• "Thy algorithm shalt not bear false witness": An Evaluation of Multiclass Debiasing Methods on Word Embeddings [3.0204693431381515]
  本稿では,最先端のマルチクラス・デバイアス技術であるハード・デバイアス,ソフトウィート・デバイアス,コンセプタ・デバイアスについて検討する。 単語埋め込みアソシエーションテスト(WEAT)、平均コサイン類似度(MAC)、相対負性感覚バイアス(RNSB)によるバイアス除去を定量化することにより、共通のバイアス除去時のパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2020-10-30T12:49:39Z)
• Towards Debiasing Sentence Representations [109.70181221796469]
  Sent-Debiasはバイアスを取り除くのに有効であり、同時に文レベルの下流タスクのパフォーマンスを保っていることを示す。 我々は、より公平なNLPのための広く採用されている文表現から社会的偏見を識別・除去する今後の研究に刺激を与えることを期待している。
  論文  参考訳（メタデータ） (2020-07-16T04:22:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。