論文の概要: No Word Embedding Model Is Perfect: Evaluating the Representation Accuracy for Social Bias in the Media

• arxiv url: http://arxiv.org/abs/2211.03634v1
• Date: Mon, 7 Nov 2022 15:45:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 17:03:30.196945
• Title: No Word Embedding Model Is Perfect: Evaluating the Representation Accuracy for Social Bias in the Media
• Title（参考訳）: 言葉埋め込みモデルは完璧ではない:メディアにおけるソーシャルバイアスの表現精度の評価
• Authors: Maximilian Splieth\"over, Maximilian Keiff, Henning Wachsmuth
• Abstract要約: 我々は,米国オンラインニュース記事に存在する社会バイアスの種類を正確に測定するために,どのような埋め込みアルゴリズムが最適かを検討する。 我々は500万の記事を収集し、予想される社会的偏見に関して心理学文献をレビューする。 我々は、ニュース記事のアルゴリズムでトレーニングされたモデルが、期待される社会的バイアスをどう表すかを比較する。
• 参考スコア（独自算出の注目度）: 17.4812995898078
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: News articles both shape and reflect public opinion across the political spectrum. Analyzing them for social bias can thus provide valuable insights, such as prevailing stereotypes in society and the media, which are often adopted by NLP models trained on respective data. Recent work has relied on word embedding bias measures, such as WEAT. However, several representation issues of embeddings can harm the measures' accuracy, including low-resource settings and token frequency differences. In this work, we study what kind of embedding algorithm serves best to accurately measure types of social bias known to exist in US online news articles. To cover the whole spectrum of political bias in the US, we collect 500k articles and review psychology literature with respect to expected social bias. We then quantify social bias using WEAT along with embedding algorithms that account for the aforementioned issues. We compare how models trained with the algorithms on news articles represent the expected social bias. Our results suggest that the standard way to quantify bias does not align well with knowledge from psychology. While the proposed algorithms reduce the~gap, they still do not fully match the literature.
• Abstract（参考訳）: ニュース記事は、政治的スペクトル全体の世論を形作り、反映する。 社会的偏見の分析は、社会におけるステレオタイプやメディアなど、それぞれのデータに基づいて訓練されたNLPモデルによってしばしば採用される、貴重な洞察を与えることができる。 最近の研究はWEATのような単語埋め込みバイアス尺度に依存している。 しかし、埋め込みのいくつかの表現問題は、低リソース設定やトークン頻度の違いなど、測定値の精度を損なう可能性がある。 本研究では,米国オンラインニュース記事における社会的バイアスの種類を正確に測定するために,どのような組込みアルゴリズムが最適かを検討する。 米国における政治的偏見の全範囲をカバーするため、500万記事を収集し、予想される社会的偏見に関する心理学文献をレビューする。 次に、WEATを用いた社会的偏見と、上記の問題を考慮に入れた埋め込みアルゴリズムを定量化する。 ニュース記事のアルゴリズムでトレーニングされたモデルが、期待される社会的バイアスを表しているかを比較する。 バイアスを定量化する標準的な方法は,心理学の知識とよく一致しないことが示唆された。 提案されたアルゴリズムは、~gapを減少させるが、まだ文献と完全に一致していない。

関連論文リスト

• DocNet: Semantic Structure in Inductive Bias Detection Models [0.4779196219827508]
  本稿では,文書におけるバイアス検出の見過ごされがちな側面として,ニュース記事の意味的構造について考察する。 本稿では,新しい,インダクティブで低リソースなドキュメント埋め込みとバイアス検出モデルであるDocNetを提案する。 また、文書レベルのグラフ埋め込みに代表される、対立するパルチザン側からのニュース記事のセマンティック構造が顕著に類似していることも示している。
  論文  参考訳（メタデータ） (2024-06-16T14:51:12Z)
• Quantifying Bias in Text-to-Image Generative Models [49.60774626839712]
  テキスト・トゥ・イメージ(T2I)モデルにおけるバイアスは不公平な社会的表現を伝播させ、アイデアを積極的にマーケティングしたり、議論の的となっている議題を推進したりするのに用いられる。 既存のT2Iモデルバイアス評価手法は、社会的バイアスのみに焦点を当てる。 本稿では,T2I生成モデルにおける一般バイアスの定量化手法を提案する。
  論文  参考訳（メタデータ） (2023-12-20T14:26:54Z)
• It's All Relative: Interpretable Models for Scoring Bias in Documents [10.678219157857946]
  本稿では,テキストコンテンツのみに基づいて,Webドキュメントに存在するバイアスを評価するための解釈可能なモデルを提案する。 我々のモデルはBradley-Terryの公理を思わせる仮定を取り入れ、同じウィキペディアの記事の2つの修正に基づいて訓練されている。 我々は、訓練されたモデルのパラメータを解釈して、最も偏りを示す単語を見つけることができることを示す。
  論文  参考訳（メタデータ） (2023-07-16T19:35:38Z)
• Unveiling the Hidden Agenda: Biases in News Reporting and Consumption [59.55900146668931]
  イタリアのワクチン論争に関する6年間のデータセットを構築し、物語と選択バイアスを特定するためにベイジアン潜在空間モデルを採用する。 バイアスとエンゲージメントの間に非線形な関係が見られ、極端な位置へのエンゲージメントが高くなった。 Twitter上でのニュース消費の分析は、同様のイデオロギー的な立場のニュースメディアの間で、一般的なオーディエンスを明らかにしている。
  論文  参考訳（メタデータ） (2023-01-14T18:58:42Z)
• The Tail Wagging the Dog: Dataset Construction Biases of Social Bias Benchmarks [75.58692290694452]
  社会的偏見と、データセット構築時に選択された選択から生じる非社会的偏見を比較し、人間の目では識別できないかもしれない。 これらの浅い修正は、様々なモデルにまたがるバイアスの程度に驚くべき影響を及ぼす。
  論文  参考訳（メタデータ） (2022-10-18T17:58:39Z)
• The SAME score: Improved cosine based bias score for word embeddings [63.24247894974291]
  文献の考えに基づくバイアス定義を提供し、バイアススコアの新たな要件を導出する。 既存のバイアススコアの欠点に対処し,単語埋め込みにおけるバイアスの定量化に好適であることを示す。
  論文  参考訳（メタデータ） (2022-03-28T09:28:13Z)
• Evaluating Metrics for Bias in Word Embeddings [64.55554083622258]
  我々は、過去の研究の考えに基づいてバイアス定義を定式化し、バイアスメトリクスの条件を導出する。 そこで我々は,既存のメトリクスの欠点に対処する新しい計量であるhetを提案し,その振る舞いを数学的に証明する。
  論文  参考訳（メタデータ） (2021-11-15T16:07:15Z)
• Argument from Old Man's View: Assessing Social Bias in Argumentation [20.65183968971417]
  言語における社会的バイアスは多くのNLPアプリケーションに倫理的影響をもたらす。 最近の研究では、各データに基づいてトレーニングされた機械学習モデルが採用されるだけでなく、バイアスを増幅する可能性があることが示されている。 大規模な英語討論ポータルにおける社会的偏見の存在について検討する。
  論文  参考訳（メタデータ） (2020-11-24T10:39:44Z)
• "Thy algorithm shalt not bear false witness": An Evaluation of Multiclass Debiasing Methods on Word Embeddings [3.0204693431381515]
  本稿では,最先端のマルチクラス・デバイアス技術であるハード・デバイアス,ソフトウィート・デバイアス,コンセプタ・デバイアスについて検討する。 単語埋め込みアソシエーションテスト(WEAT)、平均コサイン類似度(MAC)、相対負性感覚バイアス(RNSB)によるバイアス除去を定量化することにより、共通のバイアス除去時のパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2020-10-30T12:49:39Z)
• Robustness and Reliability of Gender Bias Assessment in Word Embeddings: The Role of Base Pairs [23.574442657224008]
  単語埋め込みはジェンダーバイアスを示すことが示されており、これを定量化するために様々な方法が提案されている。 これまでの研究では、男女の単語ペアを利用して偏見を測定し、偏見のある類似点を抽出してきた。 これらの性的なペアへの依存には、強い制限があることが示される。 特に、"man is to computer-grammer as woman is to homemaker"というよく知られたアナロジーは、社会的バイアスよりも言葉の類似性によるものである。
  論文  参考訳（メタデータ） (2020-10-06T16:09:05Z)
• Towards Debiasing Sentence Representations [109.70181221796469]
  Sent-Debiasはバイアスを取り除くのに有効であり、同時に文レベルの下流タスクのパフォーマンスを保っていることを示す。 我々は、より公平なNLPのための広く採用されている文表現から社会的偏見を識別・除去する今後の研究に刺激を与えることを期待している。
  論文  参考訳（メタデータ） (2020-07-16T04:22:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。