論文の概要: BharatBBQ: A Multilingual Bias Benchmark for Question Answering in the Indian Context

• arxiv url: http://arxiv.org/abs/2508.07090v1
• Date: Sat, 09 Aug 2025 20:24:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.695045
• Title: BharatBBQ: A Multilingual Bias Benchmark for Question Answering in the Indian Context
• Title（参考訳）: BharatBBQ: インドにおける質問回答のための多言語バイアスベンチマーク
• Authors: Aditya Tomar, Nihar Ranjan Sahoo, Pushpak Bhattacharyya,
• Abstract要約: Bias Benchmark for Question Answering (BBQ)のような既存のベンチマークは主に西洋の文脈に焦点を当てている。 BharatBBQは、ヒンディー語、英語、マラティー語、ベンガル語、タミル語、テルグ語、オディア語、アッサム語のバイアスを評価するために設計された、文化的に適応したベンチマークである。 我々のデータセットは1つの言語で49,108のサンプルを含み、翻訳と検証によって拡張され、8つの言語で392,864のサンプルとなる。
• 参考スコア（独自算出の注目度）: 36.56689822791777
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating social biases in language models (LMs) is crucial for ensuring fairness and minimizing the reinforcement of harmful stereotypes in AI systems. Existing benchmarks, such as the Bias Benchmark for Question Answering (BBQ), primarily focus on Western contexts, limiting their applicability to the Indian context. To address this gap, we introduce BharatBBQ, a culturally adapted benchmark designed to assess biases in Hindi, English, Marathi, Bengali, Tamil, Telugu, Odia, and Assamese. BharatBBQ covers 13 social categories, including 3 intersectional groups, reflecting prevalent biases in the Indian sociocultural landscape. Our dataset contains 49,108 examples in one language that are expanded using translation and verification to 392,864 examples in eight different languages. We evaluate five multilingual LM families across zero and few-shot settings, analyzing their bias and stereotypical bias scores. Our findings highlight persistent biases across languages and social categories and often amplified biases in Indian languages compared to English, demonstrating the necessity of linguistically and culturally grounded benchmarks for bias evaluation.
• Abstract（参考訳）: 言語モデル(LM)における社会的バイアスの評価は、公正性の確保とAIシステムにおける有害なステレオタイプの強化の最小化に不可欠である。 既存のベンチマーク、例えばBias Benchmark for Question Answering (BBQ)は、主に西洋の文脈に焦点を当て、インドの文脈に適用性を制限する。 BharatBBQは、ヒンディー語、英語、マラタイ語、ベンガル語、タミル語、テルグ語、オディア語、アッサム語のバイアスを評価するために設計された、文化的に適応したベンチマークである。 バーラトBBQは、インド社会文化の風景に偏見を反映して、3つの交差するグループを含む13の社会カテゴリーをカバーしている。 我々のデータセットは1つの言語で49,108のサンプルを含み、翻訳と検証によって拡張され、8つの言語で392,864のサンプルとなる。 ゼロおよび少数ショット設定で5つの多言語LMファミリーを評価し,そのバイアスとステレオタイプバイアススコアを解析した。 本研究は, 言語や社会カテゴリーにまたがる永続的バイアスと, 英語と比較してインドの言語に顕著なバイアスを呈示し, バイアス評価に言語的, 文化的に根ざしたベンチマークの必要性を実証した。

関連論文リスト

• See It from My Perspective: How Language Affects Cultural Bias in Image Understanding [60.70852566256668]
  視覚言語モデル(VLM)は、多くの言語における画像に関するクエリに応答することができる。 画像理解におけるVLMの西洋的偏見を特徴付け,この格差の中で言語が果たす役割について検討する。
  論文  参考訳（メタデータ） (2024-06-17T15:49:51Z)
• CVQA: Culturally-diverse Multilingual Visual Question Answering Benchmark [68.21939124278065]
  言語と文化の豊富なセットをカバーするために設計された、文化的に多言語なビジュアル質問回答ベンチマーク。 CVQAには文化的に駆動されたイメージと、4大陸30カ国の質問が含まれ、31の言語と13のスクリプトをカバーし、合計10万の質問を提供する。 CVQA上で複数のマルチモーダル大言語モデル (MLLM) をベンチマークし、現在の最先端モデルではデータセットが困難であることを示す。
  論文  参考訳（メタデータ） (2024-06-10T01:59:00Z)
• IndiBias: A Benchmark Dataset to Measure Social Biases in Language Models for Indian Context [32.48196952339581]
  インドにおける社会的バイアスを評価するためのベンチマークデータセットであるIndiBiasを紹介する。 バイアスの次元には、性別、宗教、キャスト、年齢、地域、身体的外観、職業が含まれる。 我々のデータセットには800の文対と300の偏差測定が含まれている。
  論文  参考訳（メタデータ） (2024-03-29T12:32:06Z)
• Social Bias Probing: Fairness Benchmarking for Language Models [38.180696489079985]
  本稿では,社会的偏見を考慮した言語モデル構築のための新しい枠組みを提案する。 既存のフェアネスコレクションの制限に対処するために設計された大規模なベンチマークであるSoFaをキュレートする。 我々は、言語モデル内のバイアスが認識されるよりもニュアンスが高いことを示し、これまで認識されていたよりもより広く符号化されたバイアスの範囲を示している。
  論文  参考訳（メタデータ） (2023-11-15T16:35:59Z)
• KoBBQ: Korean Bias Benchmark for Question Answering [28.091808407408823]
  Bias Benchmark for Question Answering (BBQ)は、言語モデル(LM)の社会的バイアスを評価するように設計されている。 韓国のバイアスベンチマークデータセットであるKoBBQを紹介する。 本稿では,データセットの文化的適応を考慮に入れた一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2023-07-31T15:44:15Z)
• Comparing Biases and the Impact of Multilingual Training across Multiple Languages [70.84047257764405]
  ダウンストリーム感情分析タスクにおいて,イタリア語,中国語,英語,ヘブライ語,スペイン語のバイアス分析を行う。 我々は、既存の感情バイアスのテンプレートを、人種、宗教、国籍、性別の4つの属性で、イタリア語、中国語、ヘブライ語、スペイン語に適応させる。 以上の結果から,各言語の文化に支配的な集団の嗜好など,バイアス表現の類似性を明らかにした。
  論文  参考訳（メタデータ） (2023-05-18T18:15:07Z)
• Socially Aware Bias Measurements for Hindi Language Representations [38.40818373580979]
  偏見は、広く話されている地域の歴史と文化に基づいて、特定の言語表現に特有のものであることを示す。 我々は,言語表現のモデル化において,言語的・文法的アーティファクトとともに,社会認識の必要性を強調した。
  論文  参考訳（メタデータ） (2021-10-15T05:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。