論文の概要: AmchiBias: Measuring Stereotypical Bias in Goan Identity Groups with a Minimal Pair Dataset in English and Konkani

• arxiv url: http://arxiv.org/abs/2606.15191v1
• Date: Sat, 13 Jun 2026 08:36:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.046041
• Title: AmchiBias: Measuring Stereotypical Bias in Goan Identity Groups with a Minimal Pair Dataset in English and Konkani
• Title（参考訳）: AmchiBias:英語とコンカニ語における最小ペアデータセットを用いたゴアンアイデンティティグループにおけるステレオタイプバイアスの測定
• Authors: Michelle Barbosa, Sebastian Padó, Franziska Weeber,
• Abstract要約: AmchiBiasは、インドのゴア州の社会文化的ステレオタイプバイアスを測定するための最初のベンチマークである。 本ベンチマークでは,5つの多言語エンコーダモデルのステレオタイプバイアスを評価する。 英語で検索すると、インド語がより強いモデルでは、高局所ゴアン群よりもパン・インディアン群の方が高い偏見を示す。
• 参考スコア（独自算出の注目度）: 5.457386921498268
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Socio-cultural stereotypical bias is an important consideration in the development and deployment of NLP systems. It is however often considered only at the national level, despite rich subnational socio-cultural structures. We present AmchiBias, the first benchmark for measuring socio-cultural stereotypical bias for the Indian state of Goa with its unique historically multicultural setting. It covers various Goan identity groups and comprises 313 minimal pairs across eight sociodemographic dimensions in both English and Devanagari Konkani. We then evaluate stereotypical bias in five multilingual encoder models on this benchmark. We find near-chance scores in Konkani, reflecting language incompetence for general multilingual models and a lack of Goan cultural competence for Indian language models. Queried in English, models with a stronger Indian language coverage show higher bias for pan-Indian groups than hyperlocal Goan groups. This suggests the English signal reflects pan-Indian pretraining associations rather than genuine Goan cultural knowledge. Our findings highlight a critical gap in low-resource multilingual NLP evaluation for hyperlocal community identities.
• Abstract（参考訳）: 社会文化的ステレオタイプバイアスは、NLPシステムの開発と展開において重要な考慮事項である。 しかし、多国籍の社会文化構造にもかかわらず、国家レベルでのみ見なされることが多い。 インドのゴア州における社会文化的ステレオタイプバイアスを測定するための最初のベンチマークであるAmchiBiasを紹介する。 ゴアン・アイデンティティー・グループを網羅し、英語とデバナガリ・コンカニ語の両方で8つの社会デマグラフィー次元にまたがる313の最小のペアから構成される。 次に、このベンチマークで5つの多言語エンコーダモデルにおけるステレオタイプバイアスを評価する。 コンカニでは,一般的な多言語モデルに対する言語能力の欠如と,インドの言語モデルに対するゴアン文化能力の欠如を反映して,近チャンススコアが得られた。 英語で検索すると、インド語がより強いモデルでは、高局所ゴアン群よりもパン・インディアン群の方が高い偏見を示す。 これは、英語の信号が本物のゴアン文化知識よりも、パン・インディアン事前訓練協会を反映していることを示している。 本研究は,超局所的コミュニティアイデンティティに対する低リソース多言語NLP評価における重要なギャップを浮き彫りにした。

関連論文リスト

• IndoBias: A Dual Track Culturally Grounded Benchmark for LLMs Bias Evaluation in Indonesian Languages [10.458023217824545]
  IndoBiasは,大規模言語モデルを評価するために,文化的なバイアスベンチマークとして導入する。 以上の結果から,既存のLLMはインドネシアの原型文に対して強い偏見を示すことが明らかとなった。 インドネシアでは、コモン・クローリングのテキストは、人間がレビューした記事のテキストに比べて、事前訓練中により偏見をもたらす。
  論文  参考訳（メタデータ） (2026-05-31T14:27:31Z)
• The GaoYao Benchmark: A Comprehensive Framework for Evaluating Multilingual and Multicultural Abilities of Large Language Models [51.61416200800499]
  GaoYaoは182.3kサンプル、26言語、51か国/地域からなる総合ベンチマークである。 まず、GaoYao氏は評価タスクを3つの文化階層に分類する統一的なフレームワークを提案する。 第二に、専門家を活用して、主観的なベンチマークを19言語に厳格にローカライズすることで、ネイティブ品質の拡大を実現しています。 第3に,20以上のフラッグシップおよびコンパクトLCMの詳細な診断を行う。
  論文  参考訳（メタデータ） (2026-04-22T06:19:46Z)
• BengaliMoralBench: A Benchmark for Auditing Moral Reasoning in Large Language Models within Bengali Language and Culture [5.215285027585101]
  ベンガル語は2億8500万人以上が話しており、世界第6位である。 既存の倫理ベンチマークは、主に英語中心で、西洋のフレームワークによって形作られています。 我々はベンガル語と社会文化の文脈に関する最初の大規模倫理ベンチマークであるBengaliMoralBenchを紹介する。
  論文  参考訳（メタデータ） (2025-11-05T04:55:35Z)
• Do You Know About My Nation? Investigating Multilingual Language Models' Cultural Literacy Through Factual Knowledge [68.6805229085352]
  ほとんどの多言語質問答えベンチマークは、取得した情報の地域的多様性を規定していない。 XNationQAには、9カ国の地理、文化、歴史に関する合計49,280の質問が7つの言語で提示されている。 我々はXNationQA上で8つの標準多言語LLMをベンチマークし、2つの新しい転送指標を用いて評価した。
  論文  参考訳（メタデータ） (2025-11-01T18:41:34Z)
• BharatBBQ: A Multilingual Bias Benchmark for Question Answering in the Indian Context [36.56689822791777]
  Bias Benchmark for Question Answering (BBQ)のような既存のベンチマークは主に西洋の文脈に焦点を当てている。 BharatBBQは、ヒンディー語、英語、マラティー語、ベンガル語、タミル語、テルグ語、オディア語、アッサム語のバイアスを評価するために設計された、文化的に適応したベンチマークである。 我々のデータセットは1つの言語で49,108のサンプルを含み、翻訳と検証によって拡張され、8つの言語で392,864のサンプルとなる。
  論文  参考訳（メタデータ） (2025-08-09T20:24:24Z)
• Measuring South Asian Biases in Large Language Models [1.5903891569492878]
  本研究は,Large Language Models (LLMs) の多言語および交叉解析を行うことにより,ギャップに対処する。 我々は、性別、宗教、婚姻状況、子供の数など、未発見の交差点を捉えた文化的根拠に基づく偏見辞書を構築した。 Indo-Aryan言語とDravidian言語における文化的偏見を減らすための2つの自己バイアス戦略を評価する。
  論文  参考訳（メタデータ） (2025-05-24T02:18:17Z)
• CVQA: Culturally-diverse Multilingual Visual Question Answering Benchmark [68.21939124278065]
  言語と文化の豊富なセットをカバーするために設計された、文化的に多言語なビジュアル質問回答ベンチマーク。 CVQAには文化的に駆動されたイメージと、4大陸30カ国の質問が含まれ、31の言語と13のスクリプトをカバーし、合計10万の質問を提供する。 CVQA上で複数のマルチモーダル大言語モデル (MLLM) をベンチマークし、現在の最先端モデルではデータセットが困難であることを示す。
  論文  参考訳（メタデータ） (2024-06-10T01:59:00Z)
• SeeGULL Multilingual: a Dataset of Geo-Culturally Situated Stereotypes [18.991295993710224]
  SeeGULLは、20の言語にまたがって、23のリージョンにわたる人間のアノテーションを備えた、グローバルにスケールした、ソーシャルステレオタイプの多言語データセットである。
  論文  参考訳（メタデータ） (2024-03-08T22:09:58Z)
• Exploring Cross-Cultural Differences in English Hate Speech Annotations: From Dataset Construction to Analysis [44.17106903728264]
  ほとんどのヘイトスピーチデータセットは、単一の言語における文化的多様性を無視している。 そこで本研究では,CRoss文化の英語Hate音声データセットであるCREHateを紹介する。 CREHateのポストの56.2%のみが全国でコンセンサスを達成しており、ペアのラベル差が最も高いのは26%である。
  論文  参考訳（メタデータ） (2023-08-31T13:14:47Z)
• Comparing Biases and the Impact of Multilingual Training across Multiple Languages [70.84047257764405]
  ダウンストリーム感情分析タスクにおいて,イタリア語,中国語,英語,ヘブライ語,スペイン語のバイアス分析を行う。 我々は、既存の感情バイアスのテンプレートを、人種、宗教、国籍、性別の4つの属性で、イタリア語、中国語、ヘブライ語、スペイン語に適応させる。 以上の結果から,各言語の文化に支配的な集団の嗜好など,バイアス表現の類似性を明らかにした。
  論文  参考訳（メタデータ） (2023-05-18T18:15:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。