論文の概要: Leveraging Wikidata for Geographically Informed Sociocultural Bias Dataset Creation: Application to Latin America

• arxiv url: http://arxiv.org/abs/2603.10001v2
• Date: Thu, 12 Mar 2026 13:13:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-15 16:38:22.549808
• Title: Leveraging Wikidata for Geographically Informed Sociocultural Bias Dataset Creation: Application to Latin America
• Title（参考訳）: 地理インフォームド・ソシオカルチャー・バイアスデータセット作成のためのウィキデータを活用したラテンアメリカへの応用
• Authors: Yannis Karmim, Renato Pino, Hernan Contreras, Hernan Lira, Sebastian Cifuentes, Simon Escoffier, Luis Martí, Djamé Seddah, Valentin Barrière,
• Abstract要約: 大規模言語モデル(LLM)は、グローバルノースのデータに基づいて訓練され、他の文化に対する偏見的行動を示す。 本稿では、ウィキペディアの内容、ウィキデータ知識グラフの構造、社会科学からのエキスパート知識を活用して、質問/回答ペアのデータセットを作成することを提案する。 我々は、26k以上のウィキペディア記事から抽出された26k以上の質問と関連する回答からなるLatamQAデータベースを作成し、スペイン語とポルトガル語で多重選択質問(MCQ)に変換し、その後、英語に翻訳した。
• 参考スコア（独自算出の注目度）: 4.587479593949085
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) exhibit inequalities with respect to various cultural contexts. Most prominent open-weights models are trained on Global North data and show prejudicial behavior towards other cultures. Moreover, there is a notable lack of resources to detect biases in non-English languages, especially from Latin America (Latam), a continent containing various cultures, even though they share a common cultural ground. We propose to leverage the content of Wikipedia, the structure of the Wikidata knowledge graph, and expert knowledge from social science in order to create a dataset of question/answer (Q/As) pairs, based on the different popular and social cultures of various Latin American countries. We create the LatamQA database of over 26k questions and associated answers extracted from 26k Wikipedia articles, and transformed into multiple-choice questions (MCQ) in Spanish and Portuguese, in turn translated to English. We use this MCQ to quantify the degree of knowledge of various LLMs and find out (i) a discrepancy in performances between the Latam countries, ones being easier than others for the majority of the models, (ii) that the models perform better in their original language, and (iii) that Iberian Spanish culture is better known than Latam one.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、様々な文化的文脈に関して不平等を示す。 ほとんどの著名なオープンウェイトモデルは、グローバルノースのデータに基づいてトレーニングされており、他の文化に対する偏見的な行動を示している。 さらに、英語以外の言語、特に共通の文化基盤を共有しているにもかかわらず、様々な文化を含む大陸であるラテンアメリカ(ラタム)からバイアスを検出するリソースが不足している。 我々は、ウィキペディアの内容、ウィキデータ知識グラフの構造、社会科学からのエキスパート知識を活用して、様々なラテンアメリカ諸国のポピュラー文化と社会文化に基づいて、質問/回答(Q/A)ペアのデータセットを作成することを提案する。 我々は、26k以上のウィキペディア記事から抽出された26k以上の質問と関連する回答からなるLatamQAデータベースを作成し、スペイン語とポルトガル語で多重選択質問(MCQ)に変換し、その後、英語に翻訳した。 我々はこのMCQを用いて様々なLCMの知識の度合いを定量化し、発見する。 (i)ラタム諸国間のパフォーマンスの相違、モデルの大多数において他よりも容易であること。 (二)モデルが本来の言語でより良い性能を発揮すること、及び (三)イベリアのスペイン文化はラタム文化よりもよく知られている。

関連論文リスト

• Do You Know About My Nation? Investigating Multilingual Language Models' Cultural Literacy Through Factual Knowledge [68.6805229085352]
  ほとんどの多言語質問答えベンチマークは、取得した情報の地域的多様性を規定していない。 XNationQAには、9カ国の地理、文化、歴史に関する合計49,280の質問が7つの言語で提示されている。 我々はXNationQA上で8つの標準多言語LLMをベンチマークし、2つの新しい転送指標を用いて評価した。
  論文  参考訳（メタデータ） (2025-11-01T18:41:34Z)
• WorldCuisines: A Massive-Scale Benchmark for Multilingual and Multicultural Visual Question Answering on Global Cuisines [74.25764182510295]
  視覚言語モデル(VLM)は、特に英語以外の言語において、文化特有の知識に苦しむことが多い。 我々は多言語および多文化の視覚的理解のための大規模ベンチマークであるWorld Cuisinesを紹介した。 このベンチマークには、30の言語と方言にまたがるテキストイメージペアを備えた、視覚的質問応答(VQA)データセットが含まれている。
  論文  参考訳（メタデータ） (2024-10-16T16:11:49Z)
• CaLMQA: Exploring culturally specific long-form question answering across 23 languages [58.18984409715615]
  CaLMQAは、文化的に異なる23言語にわたる51.7Kの質問のデータセットである。 我々は,LLM生成長文回答の事実性,関連性,表面品質を評価する。
  論文  参考訳（メタデータ） (2024-06-25T17:45:26Z)
• BLEnD: A Benchmark for LLMs on Everyday Knowledge in Diverse Cultures and Languages [39.17279399722437]
  大型言語モデル(LLM)は、特に多種多様な地域や非英語言語において、日常生活に関する文化特有の知識を欠いていることが多い。 BLEnDはLLMの日常的な知識を様々な文化や言語で評価するために設計された手作りのベンチマークである。 提案手法は,短問合せと複数問合せの2つの形式を含むベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-06-14T11:48:54Z)
• BertaQA: How Much Do Language Models Know About Local Culture? [33.27901483916244]
  本稿では,英語とバスク語に平行なトリビアデータセットであるBertaQAを紹介する。 データセットは、バスク文化に関連する質問のあるローカルサブセットと、より広い関心を持つ質問を持つグローバルサブセットで構成されている。 バスク語での事前学習は、英語で質問しても、バスク語文化におけるモデルのパフォーマンスを大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-06-11T14:30:34Z)
• CVQA: Culturally-diverse Multilingual Visual Question Answering Benchmark [68.21939124278065]
  言語と文化の豊富なセットをカバーするために設計された、文化的に多言語なビジュアル質問回答ベンチマーク。 CVQAには文化的に駆動されたイメージと、4大陸30カ国の質問が含まれ、31の言語と13のスクリプトをカバーし、合計10万の質問を提供する。 CVQA上で複数のマルチモーダル大言語モデル (MLLM) をベンチマークし、現在の最先端モデルではデータセットが困難であることを示す。
  論文  参考訳（メタデータ） (2024-06-10T01:59:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。