論文の概要: From Languages to Geographies: Towards Evaluating Cultural Bias in Hate Speech Datasets

• arxiv url: http://arxiv.org/abs/2404.17874v1
• Date: Sat, 27 Apr 2024 12:10:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-30 18:51:42.800240
• Title: From Languages to Geographies: Towards Evaluating Cultural Bias in Hate Speech Datasets
• Title（参考訳）: 言語から地理へ:ヘイトスピーチデータセットにおける文化的バイアスの評価に向けて
• Authors: Manuel Tonneau, Diyi Liu, Samuel Fraiberger, Ralph Schroeder, Scott A. Hale, Paul Röttger,
• Abstract要約: ヘイトスピーチデータセットは伝統的に言語によって開発されてきた。 HSデータセットにおける文化バイアスを,言語と地理の2つの関係する文化的プロキシを利用して評価する。 英語、アラビア語、スペイン語のHSデータセットは、地理的に文化的に強い偏見を示す。
• 参考スコア（独自算出の注目度）: 10.264294331399434
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Perceptions of hate can vary greatly across cultural contexts. Hate speech (HS) datasets, however, have traditionally been developed by language. This hides potential cultural biases, as one language may be spoken in different countries home to different cultures. In this work, we evaluate cultural bias in HS datasets by leveraging two interrelated cultural proxies: language and geography. We conduct a systematic survey of HS datasets in eight languages and confirm past findings on their English-language bias, but also show that this bias has been steadily decreasing in the past few years. For three geographically-widespread languages -- English, Arabic and Spanish -- we then leverage geographical metadata from tweets to approximate geo-cultural contexts by pairing language and country information. We find that HS datasets for these languages exhibit a strong geo-cultural bias, largely overrepresenting a handful of countries (e.g., US and UK for English) relative to their prominence in both the broader social media population and the general population speaking these languages. Based on these findings, we formulate recommendations for the creation of future HS datasets.
• Abstract（参考訳）: 憎悪の認識は文化的文脈によって大きく異なる。 しかし、Hate Speech (HS)データセットは伝統的に言語によって開発されてきた。 これは、ある言語が異なる文化を持つ国で話される可能性があるため、潜在的な文化的偏見を隠蔽する。 本研究では,言語と地理の2つの関係する文化的プロキシを活用することで,HSデータセットの文化的バイアスを評価する。 我々は、8つの言語でHSデータセットを体系的に調査し、彼らの英語偏見に関する過去の知見を確認するとともに、このバイアスはここ数年着実に減少していることを示している。 地理的に広範に広がる3つの言語(英語、アラビア語、スペイン語)では、ツイートからの地理的メタデータを利用して、言語と国情報のペアリングによって地理的文化的文脈を近似します。 これらの言語に対するHSデータセットは強い地理的文化的偏見を示しており、これらの言語を話すソーシャルメディア人口と一般人口の両方において、その優位性に対して少数の国(例えば、アメリカ、イギリス)を過大に表している。 これらの知見に基づき,今後のHSデータセット作成のための推奨事項を定式化する。

関連論文リスト

• WorldCuisines: A Massive-Scale Benchmark for Multilingual and Multicultural Visual Question Answering on Global Cuisines [74.25764182510295]
  視覚言語モデル(VLM)は、特に英語以外の言語において、文化特有の知識に苦しむことが多い。 我々は多言語および多文化の視覚的理解のための大規模ベンチマークであるWorld Cuisinesを紹介した。 このベンチマークには、30の言語と方言にまたがるテキストイメージペアを備えた、視覚的質問応答(VQA)データセットが含まれている。
  論文  参考訳（メタデータ） (2024-10-16T16:11:49Z)
• BanStereoSet: A Dataset to Measure Stereotypical Social Biases in LLMs for Bangla [0.0]
  本研究は,バングラ語用多言語LLMにおけるステレオタイプ的社会的バイアスを評価するためのデータセットであるBanStereoSetを提示する。 私たちのデータセットは、人種、職業、性別、年齢、職業の美しさ、地域、カースト、宗教の9つのカテゴリーにまたがる1,194の文で構成されています。
  論文  参考訳（メタデータ） (2024-09-18T02:02:30Z)
• CVQA: Culturally-diverse Multilingual Visual Question Answering Benchmark [68.21939124278065]
  言語と文化の豊富なセットをカバーするために設計された、文化的に多言語なビジュアル質問回答ベンチマーク。 CVQAには文化的に駆動されたイメージと、4大陸30カ国の質問が含まれ、31の言語と13のスクリプトをカバーし、合計10万の質問を提供する。 CVQA上で複数のマルチモーダル大言語モデル (MLLM) をベンチマークし、現在の最先端モデルではデータセットが困難であることを示す。
  論文  参考訳（メタデータ） (2024-06-10T01:59:00Z)
• Global Voices, Local Biases: Socio-Cultural Prejudices across Languages [22.92083941222383]
  人間の偏見はユビキタスであるが、一様ではない。言語、文化、社会的境界を越えて格差が存在する。 本研究では,Word Embedding Association Test (WEAT) を24言語に拡張し,より広範な研究を可能にする。 より広く普及している社会的バイアスを包含するために、毒性、能力主義などにわたる新しいバイアス次元について検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:07:50Z)
• NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages [54.808217147579036]
  インドネシアの地方言語について事例研究を行う。 データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。 本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
  論文  参考訳（メタデータ） (2023-09-19T14:42:33Z)
• Exploring Cross-Cultural Differences in English Hate Speech Annotations: From Dataset Construction to Analysis [44.17106903728264]
  ほとんどのヘイトスピーチデータセットは、単一の言語における文化的多様性を無視している。 そこで本研究では,CRoss文化の英語Hate音声データセットであるCREHateを紹介する。 CREHateのポストの56.2%のみが全国でコンセンサスを達成しており、ペアのラベル差が最も高いのは26%である。
  論文  参考訳（メタデータ） (2023-08-31T13:14:47Z)
• Multi-lingual and Multi-cultural Figurative Language Understanding [69.47641938200817]
  図形言語は人間のコミュニケーションに浸透するが、NLPでは比較的過小評価されている。 Hindi, Indonesian, Javanese, Kannada, Sundanese, Swahili, Yorubaの7つの多様な言語に関するデータセットを作成しました。 我々のデータセットから,各言語は,同じ領域から派生した言語間で最も高い重なり合いを持つ,図形表現の文化的・地域的概念に依存していることが明らかとなった。 全ての言語は、事前学習データと微調整データの可用性を反映した性能の変化により、英語と比較して大きな欠陥がある。
  論文  参考訳（メタデータ） (2023-05-25T15:30:31Z)
• Comparing Biases and the Impact of Multilingual Training across Multiple Languages [70.84047257764405]
  ダウンストリーム感情分析タスクにおいて,イタリア語,中国語,英語,ヘブライ語,スペイン語のバイアス分析を行う。 我々は、既存の感情バイアスのテンプレートを、人種、宗教、国籍、性別の4つの属性で、イタリア語、中国語、ヘブライ語、スペイン語に適応させる。 以上の結果から,各言語の文化に支配的な集団の嗜好など,バイアス表現の類似性を明らかにした。
  論文  参考訳（メタデータ） (2023-05-18T18:15:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。