論文の概要: IndiBias: A Benchmark Dataset to Measure Social Biases in Language Models for Indian Context
- arxiv url: http://arxiv.org/abs/2403.20147v1
- Date: Fri, 29 Mar 2024 12:32:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 15:44:18.832156
- Title: IndiBias: A Benchmark Dataset to Measure Social Biases in Language Models for Indian Context
- Title（参考訳）: IndiBias:インドにおける言語モデルにおける社会的バイアスを測定するベンチマークデータセット
- Authors: Nihar Ranjan Sahoo, Pranamya Prashant Kulkarni, Narjis Asad, Arif Ahmad, Tanu Goyal, Aparna Garimella, Pushpak Bhattacharyya,
- Abstract要約: インドにおける社会的バイアスを評価するためのベンチマークデータセットであるIndiBiasを紹介する。
バイアスの次元には、性別、宗教、キャスト、年齢、地域、身体的外観、職業が含まれる。
また、3つの交叉次元に沿った交叉バイアスに対処するリソースも構築する。
- 参考スコア（独自算出の注目度）: 32.48196952339581
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The pervasive influence of social biases in language data has sparked the need for benchmark datasets that capture and evaluate these biases in Large Language Models (LLMs). Existing efforts predominantly focus on English language and the Western context, leaving a void for a reliable dataset that encapsulates India's unique socio-cultural nuances. To bridge this gap, we introduce IndiBias, a comprehensive benchmarking dataset designed specifically for evaluating social biases in the Indian context. We filter and translate the existing CrowS-Pairs dataset to create a benchmark dataset suited to the Indian context in Hindi language. Additionally, we leverage LLMs including ChatGPT and InstructGPT to augment our dataset with diverse societal biases and stereotypes prevalent in India. The included bias dimensions encompass gender, religion, caste, age, region, physical appearance, and occupation. We also build a resource to address intersectional biases along three intersectional dimensions. Our dataset contains 800 filtered sentences from the CrowS-Pairs dataset and tuples for bias measurement across different demographics. It is made available in English and Hindi languages, providing a size comparable to existing benchmark datasets. Furthermore, using IndiBias we compare ten different language models on multiple bias measurement metrics. We observed that the language models exhibit more bias across a majority of the intersectional groups.
- Abstract（参考訳）: 言語データにおける社会的バイアスの広範的影響により、大規模言語モデル(LLM)において、これらのバイアスをキャプチャして評価するベンチマークデータセットの必要性が高まった。
既存の努力は主に英語と西洋の文脈に焦点を当てており、インド固有の社会文化的ニュアンスをカプセル化した信頼性の高いデータセットの空白を残している。
このギャップを埋めるために、インドにおける社会的バイアスを評価するために特別に設計された包括的なベンチマークデータセットであるIndiBiasを紹介します。
我々は、既存のCrowS-Pairsデータセットをフィルタリングして、ヒンディー語におけるインドの文脈に適したベンチマークデータセットを作成する。
さらに、ChatGPTやInstructGPTといったLCMを活用して、インドで広く普及している多様な社会的バイアスとステレオタイプでデータセットを拡大します。
バイアスの次元には、性別、宗教、キャスト、年齢、地域、身体的外観、職業が含まれる。
また、3つの交叉次元に沿った交叉バイアスに対処するリソースも構築する。
我々のデータセットには、CrowS-Pairsデータセットから800のフィルタリング文と、異なる人口層にわたるバイアス測定のためのタプルが含まれています。
英語とヒンディー語で利用可能であり、既存のベンチマークデータセットに匹敵するサイズを提供する。
さらに、IndiBiasを使用して、複数のバイアス測定メトリクスで10の異なる言語モデルを比較します。
その結果,言語モデルでは,交叉群の大部分に偏りが認められた。
関連論文リスト
- BanStereoSet: A Dataset to Measure Stereotypical Social Biases in LLMs for Bangla [0.0]
本研究は,バングラ語用多言語LLMにおけるステレオタイプ的社会的バイアスを評価するためのデータセットであるBanStereoSetを提示する。
私たちのデータセットは、人種、職業、性別、年齢、職業の美しさ、地域、カースト、宗教の9つのカテゴリーにまたがる1,194の文で構成されています。
論文 参考訳（メタデータ） (2024-09-18T02:02:30Z) - Navigating Text-to-Image Generative Bias across Indic Languages [53.92640848303192]
本研究ではインドで広く話されているIndic言語に対するテキスト・ツー・イメージ(TTI)モデルのバイアスについて検討する。
これらの言語における主要なTTIモデルの生成的パフォーマンスと文化的関連性を評価し,比較する。
論文 参考訳（メタデータ） (2024-08-01T04:56:13Z) - Multilingual Diversity Improves Vision-Language Representations [66.41030381363244]
このデータセットの事前トレーニングは、ImageNet上で英語のみまたは英語が支配するデータセットを使用してパフォーマンスが向上する。
GeoDEのような地理的に多様なタスクでは、アフリカから得られる最大の利益とともに、すべての地域における改善も観察します。
論文 参考訳（メタデータ） (2024-05-27T08:08:51Z) - RuBia: A Russian Language Bias Detection Dataset [3.8501658629243076]
本稿では,RuBiaと呼ばれるロシア語に特化して設計されたバイアス検出データセットを提案する。
RuBiaデータセットは、性別、国籍、社会経済的地位、多様性の4つの領域に分けられる。
ルビアには、19の国に2000近いユニークな文が散在している。
論文 参考訳（メタデータ） (2024-03-26T10:01:01Z) - Towards Better Inclusivity: A Diverse Tweet Corpus of English Varieties [0.0]
私たちは、その根本にあるバイアス(データそのもの)の問題に対処することを目指しています。
英語の多言語話者の割合が低い国からのツイートのデータセットをキュレートする。
ベストプラクティスに従って、我々の成長するコーパスには7カ国から170,800のツイートが写っている。
論文 参考訳（メタデータ） (2024-01-21T13:18:20Z) - Global Voices, Local Biases: Socio-Cultural Prejudices across Languages [22.92083941222383]
人間の偏見はユビキタスであるが、一様ではない。言語、文化、社会的境界を越えて格差が存在する。
本研究では,Word Embedding Association Test (WEAT) を24言語に拡張し,より広範な研究を可能にする。
より広く普及している社会的バイアスを包含するために、毒性、能力主義などにわたる新しいバイアス次元について検討する。
論文 参考訳（メタデータ） (2023-10-26T17:07:50Z) - CBBQ: A Chinese Bias Benchmark Dataset Curated with Human-AI
Collaboration for Large Language Models [52.25049362267279]
本稿では,人的専門家と生成言語モデルによって共同で構築された100万以上の質問からなる中国語バイアスベンチマークデータセットを提案する。
データセットのテストインスタンスは、手作業による厳格な品質管理を備えた3K以上の高品質テンプレートから自動的に抽出される。
大規模な実験により、データセットがモデルバイアスを検出することの有効性が実証された。
論文 参考訳（メタデータ） (2023-06-28T14:14:44Z) - XRICL: Cross-lingual Retrieval-Augmented In-Context Learning for
Cross-lingual Text-to-SQL Semantic Parsing [70.40401197026925]
大規模言語モデルを用いたインコンテキスト学習は、最近セマンティック解析タスクの驚くべき結果を示している。
この研究は、あるクエリに対して関連する英語の例を検索する学習を行うXRICLフレームワークを導入している。
また、大規模言語モデルの翻訳プロセスを容易にするために、対象言語に対するグローバルな翻訳例も含んでいる。
論文 参考訳（メタデータ） (2022-10-25T01:33:49Z) - A Data Bootstrapping Recipe for Low Resource Multilingual Relation
Classification [38.83366564843953]
IndoREは21Kのエンティティと3つのインド語と英語でタグ付けされた金の文を持つデータセットである。
まず,多言語BERT (mBERT) ベースのシステムから始める。
我々は、高価な金のインスタンスと翻訳された'銀のインスタンスと整合した'銀のインスタンスとの精度のトレードオフについて検討する。
論文 参考訳（メタデータ） (2021-10-18T18:40:46Z) - REVISE: A Tool for Measuring and Mitigating Bias in Visual Datasets [64.76453161039973]
REVISE(Revealing VIsual biaSEs)は、視覚的データセットの調査を支援するツールである。
1)オブジェクトベース,(2)個人ベース,(3)地理ベースという3つの次元に沿った潜在的なバイアスを呈示する。
論文 参考訳（メタデータ） (2020-04-16T23:54:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。