論文の概要: NaijaFacts: A Framework for Disentangling Language from Knowledge in Facts about Nigeria

• arxiv url: http://arxiv.org/abs/2611.06504v1
• Date: Wed, 04 Nov 2026 13:34:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:58.122429
• Title: NaijaFacts: A Framework for Disentangling Language from Knowledge in Facts about Nigeria
• Title（参考訳）: NaijaFacts:ナイジェリアのファクトにおける知識から言語を遠ざけるためのフレームワーク
• Abstract要約: ナイジェリアに関する事実および統計的な質問のベンチマークである naija を紹介します。 すべての質問は英語、ナイジェリアのピジン、ヨルバ、イグボ、ハウサで入手できる。 8つのフロンティアモデルとナイジェリア対応モデルで、知識効果が支配的だ。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual benchmarks for African languages mostly translate generic questions into local languages, measuring linguistic competence but not whether models know facts about Africa. We introduce \naija, a benchmark of factual and statistical questions about Nigeria, authored by native speakers and grounded in authoritative official statistics, with every question available in English, Nigerian Pidgin, \yoruba, Igbo, and Hausa. Answering similar questions for the UK and US yields a country by language matrix that disentangles a language effect (the model knows the fact but degrades in a low-resource language) from a knowledge effect (the fact is absent in every language). Across eight frontier and Nigeria-adapted models, the knowledge effect dominates: English-query accuracy is 49--50\% for the US/UK but 20\% for Nigeria. The language effect is smaller and tracks web representation, degrading from English to \yoruba{} (9 points on Nigeria, up to 24 on US/UK questions). We find scale does not help: the strongest models reach 66--79\% on the UK and the US but none exceed 31\% on Nigerian statistics. Extending to all 54 African countries with our best performing frontier model shows the same profile continent-wide, 96\% on culture and 98\% on politics against 26\% on statistics, so the gap is not specific to Nigeria.
• Abstract（参考訳）: アフリカ言語の多言語ベンチマークは、一般的な質問を現地の言語に翻訳し、言語能力を測定するが、モデルがアフリカに関する事実を知っているかどうかではない。 ナイジェリアに関する事実的および統計的な質問のベンチマークである \naija を紹介します。ネイティブスピーカーによって作成され、権威的な公式統計に基づいており、すべての質問は英語、ナイジェリアのピジン、シャイルバ、イグボ、ハウサで利用可能です。 イギリスと米国で同様の質問に答えると、言語効果(モデルは事実を知っているが、低リソース言語では劣化する)を知識効果(事実はすべての言語で欠落している)から切り離す言語マトリックスによって国が得られる。 8つのフロンティアモデルとナイジェリア適応モデルにおいて、知識効果は優位である: 英語クエリの精度は49-50\%であるが、ナイジェリアでは20\%である。言語効果は小さく、ウェブ表現をトラックし、英語から "yoruba{}" (ナイジェリアでは9ポイント、米国/イギリスでは24ポイント)に格下げする。スケールは役に立たない: 最強モデルは英国と米国で66-79\%に達するが、ナイジェリアの統計では31\%を超えない。 最強のフロンティアモデルを持つ54か国に拡大すると、アフリカ全土で同じプロファイルが示され、文化では96.%、政治では98.%、統計では26.%となっているため、このギャップはナイジェリアに特有ではない。

関連論文リスト

• Red-Teaming Large Language Models in Low-Resource African Languages: A Case Study of Yoruba and Nigerian Pidgin [8.269770499991916]
  本研究は,ヨルバとナイジェリアのピジンにおける400の明示的な敵対的プロンプトを用いて,最先端の6つの大規模言語モデルを評価する。 ナイジェリアのほとんどの言語では攻撃の成功率が上昇し、GPT-4o Miniは言語間の安全性の最も顕著な相違を示した。 最も難しい被害カテゴリーは、文化的ステレオタイプと差別であった。
  論文  参考訳（メタデータ） (2026-10-29T08:30:29Z)
• Ibom NLP: A Step Toward Inclusive Natural Language Processing for Nigeria's Minority Languages [5.5078606217036965]
  ナイジェリアはアフリカで最も人口の多い国であり、人口は2億人を超えている。 ナイジェリアでは500以上の言語が話されており、世界で最も言語的に多様である。 それにもかかわらず、自然言語処理(NLP)の研究は主に、Hausa、Igbo、ナイジェリア・ピジン、Yorubaの4つの言語に焦点を当てている。
  論文  参考訳（メタデータ） (2025-11-09T20:33:39Z)
• Do You Know About My Nation? Investigating Multilingual Language Models' Cultural Literacy Through Factual Knowledge [68.6805229085352]
  ほとんどの多言語質問答えベンチマークは、取得した情報の地域的多様性を規定していない。 XNationQAには、9カ国の地理、文化、歴史に関する合計49,280の質問が7つの言語で提示されている。 我々はXNationQA上で8つの標準多言語LLMをベンチマークし、2つの新しい転送指標を用いて評価した。
  論文  参考訳（メタデータ） (2025-11-01T18:41:34Z)
• Lugha-Llama: Adapting Large Language Models for African Languages [48.97516583523523]
  大規模言語モデル(LLM)は、幅広い自然言語アプリケーションにおいて印象的な成果を上げている。 低リソースのアフリカ言語にLLMを適用する方法について検討する。 アフリカの言語から得られたキュレートされたデータと高品質な英語の教育用テキストを組み合わせることで、これらの言語上でのモデルの性能を大幅に向上させる訓練ミックスが得られることがわかった。
  論文  参考訳（メタデータ） (2025-04-09T02:25:53Z)
• Does Generative AI speak Nigerian-Pidgin?: Issues about Representativeness and Bias for Multilingualism in LLMs [8.829688681748413]
  ナイジャ語はナイジェリアのピジン語で、約120万人の話者によって話されている。 西アフリカ・ピジン英語(西アフリカ・ピジン英語、西アフリカ・ピジン英語、西アフリカ・ピジン英語、西アフリカ・ピジン英語、西アフリカ・ピジン英語、西アフリカ・ピジン英語、西アフリカ・ピジン
  論文  参考訳（メタデータ） (2024-04-30T10:45:40Z)
• AfroBench: How Good are Large Language Models on African Languages? [55.35674466745322]
  AfroBenchは、64のアフリカ言語にわたるLLMのパフォーマンスを評価するためのベンチマークである。 AfroBenchは9つの自然言語理解データセット、6つのテキスト生成データセット、6つの知識と質問応答タスク、1つの数学的推論タスクで構成される。
  論文  参考訳（メタデータ） (2023-11-14T08:10:14Z)
• AfriSenti: A Twitter Sentiment Analysis Benchmark for African Languages [45.88640066767242]
  アフリカには6以上の言語族から2000以上の言語があり、全大陸で最高の言語多様性がある。 しかし、アフリカ語で実施されているNLP研究はほとんどない。そのような研究を可能にする上で重要なのは、高品質な注釈付きデータセットが利用可能であることだ。 本稿では,14のアフリカ語で110,000以上のツイートを含む感情分析ベンチマークであるAfriSentiを紹介する。
  論文  参考訳（メタデータ） (2023-02-17T15:40:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。