論文の概要: BanStereoSet: A Dataset to Measure Stereotypical Social Biases in LLMs for Bangla

• arxiv url: http://arxiv.org/abs/2409.11638v1
• Date: Wed, 18 Sep 2024 02:02:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 19:29:58.469262
• Title: BanStereoSet: A Dataset to Measure Stereotypical Social Biases in LLMs for Bangla
• Title（参考訳）: BanStereoSet:Stereotypeal Social Biases in LLMs for Bangla
• Authors: Mahammed Kamruzzaman, Abdullah Al Monsur, Shrabon Das, Enamul Hassan, Gene Louis Kim,
• Abstract要約: 本研究は,バングラ語用多言語LLMにおけるステレオタイプ的社会的バイアスを評価するためのデータセットであるBanStereoSetを提示する。 私たちのデータセットは、人種、職業、性別、年齢、職業の美しさ、地域、カースト、宗教の9つのカテゴリーにまたがる1,194の文で構成されています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study presents BanStereoSet, a dataset designed to evaluate stereotypical social biases in multilingual LLMs for the Bangla language. In an effort to extend the focus of bias research beyond English-centric datasets, we have localized the content from the StereoSet, IndiBias, and Kamruzzaman et. al.'s datasets, producing a resource tailored to capture biases prevalent within the Bangla-speaking community. Our BanStereoSet dataset consists of 1,194 sentences spanning 9 categories of bias: race, profession, gender, ageism, beauty, beauty in profession, region, caste, and religion. This dataset not only serves as a crucial tool for measuring bias in multilingual LLMs but also facilitates the exploration of stereotypical bias across different social categories, potentially guiding the development of more equitable language technologies in Bangladeshi contexts. Our analysis of several language models using this dataset indicates significant biases, reinforcing the necessity for culturally and linguistically adapted datasets to develop more equitable language technologies.
• Abstract（参考訳）: 本研究は,Bangla言語用多言語LLMにおけるステレオタイプ的社会的バイアスを評価するためのデータセットであるBanStereoSetを提示する。 英語中心のデータセットを超えてバイアス研究の焦点を拡大するために、私たちはStereoSet、IndiBias、Kamruzzamanらのデータセットからコンテンツをローカライズし、バングラ語コミュニティで広く使われているバイアスを捉えるのに適したリソースを作成しました。 BanStereoSetデータセットは、人種、職業、性別、年齢、美しさ、職業、地域、キャスト、宗教の9つのカテゴリーにまたがる1,194の文で構成されています。 このデータセットは、多言語LLMにおけるバイアスを測定する重要なツールとして機能するだけでなく、様々な社会カテゴリーにわたるステレオタイプバイアスの探索にも役立ち、バングラデシュの文脈におけるより公平な言語技術の発展を導く可能性がある。 このデータセットを用いたいくつかの言語モデルの解析は、より公平な言語技術を開発するために、文化的かつ言語的に適応されたデータセットの必要性を補強する重要なバイアスを示している。

関連論文リスト

• Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
  本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。 多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。 これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
  論文  参考訳（メタデータ） (2024-08-14T16:55:06Z)
• MBBQ: A Dataset for Cross-Lingual Comparison of Stereotypes in Generative LLMs [6.781972039785424]
  生成的大規模言語モデル(LLM)は有害なバイアスやステレオタイプを示すことが示されている。 MBBQは、オランダ語、スペイン語、トルコ語でよく見られるステレオタイプを測定するデータセットである。 その結果、文化的な変化を抑えながら、英語以外の言語では、英語よりも偏見に悩まされていることが確認された。
  論文  参考訳（メタデータ） (2024-06-11T13:23:14Z)
• IndiBias: A Benchmark Dataset to Measure Social Biases in Language Models for Indian Context [32.48196952339581]
  インドにおける社会的バイアスを評価するためのベンチマークデータセットであるIndiBiasを紹介する。 バイアスの次元には、性別、宗教、キャスト、年齢、地域、身体的外観、職業が含まれる。 我々のデータセットには800の文対と300の偏差測定が含まれている。
  論文  参考訳（メタデータ） (2024-03-29T12:32:06Z)
• RuBia: A Russian Language Bias Detection Dataset [3.8501658629243076]
  本稿では,RuBiaと呼ばれるロシア語に特化して設計されたバイアス検出データセットを提案する。 RuBiaデータセットは、性別、国籍、社会経済的地位、多様性の4つの領域に分けられる。 ルビアには、19の国に2000近いユニークな文が散在している。
  論文  参考訳（メタデータ） (2024-03-26T10:01:01Z)
• Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
  最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。 この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。 方言データセットに対するNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
  論文  参考訳（メタデータ） (2024-01-11T03:04:38Z)
• Global Voices, Local Biases: Socio-Cultural Prejudices across Languages [22.92083941222383]
  人間の偏見はユビキタスであるが、一様ではない。言語、文化、社会的境界を越えて格差が存在する。 本研究では,Word Embedding Association Test (WEAT) を24言語に拡張し,より広範な研究を可能にする。 より広く普及している社会的バイアスを包含するために、毒性、能力主義などにわたる新しいバイアス次元について検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:07:50Z)
• Quantifying the Dialect Gap and its Correlates Across Languages [69.18461982439031]
  この研究は、明らかな相違を明らかにし、マインドフルなデータ収集を通じてそれらに対処する可能性のある経路を特定することによって、方言NLPの分野を強化する基盤となる。
  論文  参考訳（メタデータ） (2023-10-23T17:42:01Z)
• NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages [54.808217147579036]
  インドネシアの地方言語について事例研究を行う。 データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。 本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
  論文  参考訳（メタデータ） (2023-09-19T14:42:33Z)
• Cross-Lingual NER for Financial Transaction Data in Low-Resource Languages [70.25418443146435]
  半構造化テキストデータにおける言語間名前認識のための効率的なモデリングフレームワークを提案する。 我々は2つの独立したSMSデータセットを英語とアラビア語で使用し、それぞれが半構造化された銀行取引情報を持っている。 わずか30のラベル付きサンプルにアクセスすることで、我々のモデルは、英語からアラビア語までの商人、金額、その他の分野の認識を一般化することができる。
  論文  参考訳（メタデータ） (2023-07-16T00:45:42Z)
• Multi-lingual and Multi-cultural Figurative Language Understanding [69.47641938200817]
  図形言語は人間のコミュニケーションに浸透するが、NLPでは比較的過小評価されている。 Hindi, Indonesian, Javanese, Kannada, Sundanese, Swahili, Yorubaの7つの多様な言語に関するデータセットを作成しました。 我々のデータセットから,各言語は,同じ領域から派生した言語間で最も高い重なり合いを持つ,図形表現の文化的・地域的概念に依存していることが明らかとなった。 全ての言語は、事前学習データと微調整データの可用性を反映した性能の変化により、英語と比較して大きな欠陥がある。
  論文  参考訳（メタデータ） (2023-05-25T15:30:31Z)
• An Analysis of Social Biases Present in BERT Variants Across Multiple Languages [0.0]
  多様な言語からなる単言語BERTモデルにおけるバイアスについて検討する。 文の擬似類似度に基づいて,任意のバイアスを測定するテンプレートベースの手法を提案する。 偏見探索の現在の手法は言語に依存していると結論付けている。
  論文  参考訳（メタデータ） (2022-11-25T23:38:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。