論文の概要: Afri-MCQA: Multimodal Cultural Question Answering for African Languages

• arxiv url: http://arxiv.org/abs/2601.05699v2
• Date: Wed, 14 Jan 2026 09:03:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-15 14:49:41.083779
• Title: Afri-MCQA: Multimodal Cultural Question Answering for African Languages
• Title（参考訳）: Afri-MCQA: アフリカの言語に対するマルチモーダルな文化的質問
• Authors: Atnafu Lambebo Tonja, Srija Anand, Emilio Villa-Cueva, Israel Abebe Azime, Jesujoba Oluwadara Alabi, Muhidin A. Mohamed, Debela Desalegn Yadeta, Negasi Haile Abadi, Abigail Oppong, Nnaemeka Casmir Obiefuna, Idris Abdulmumin, Naome A Etori, Eric Peter Wairagala, Kanda Patrick Tshinu, Imanigirimbabazi Emmanuel, Gabofetswe Malema, Alham Fikri Aji, David Ifeoluwa Adelani, Thamar Solorio,
• Abstract要約: Afri-MCQAは、12カ国の15のアフリカ言語にわたる7.5万のQ&Aペアをカバーする、初の多言語文化質問回答ベンチマークである。 このベンチマークは、テキストと音声のモダリティに並列な英語とアフリカ語のQ&Aペアを提供しており、完全にネイティブスピーカーによって作成されている。
• 参考スコア（独自算出の注目度）: 23.158316603283478
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Africa is home to over one-third of the world's languages, yet remains underrepresented in AI research. We introduce Afri-MCQA, the first Multilingual Cultural Question-Answering benchmark covering 7.5k Q&A pairs across 15 African languages from 12 countries. The benchmark offers parallel English-African language Q&A pairs across text and speech modalities and was entirely created by native speakers. Benchmarking large language models (LLMs) on Afri-MCQA shows that open-weight models perform poorly across evaluated cultures, with near-zero accuracy on open-ended VQA when queried in native language or speech. To evaluate linguistic competence, we include control experiments meant to assess this specific aspect separate from cultural knowledge, and we observe significant performance gaps between native languages and English for both text and speech. These findings underscore the need for speech-first approaches, culturally grounded pretraining, and cross-lingual cultural transfer. To support more inclusive multimodal AI development in African languages, we release our Afri-MCQA under academic license or CC BY-NC 4.0 on HuggingFace (https://huggingface.co/datasets/Atnafu/Afri-MCQA)
• Abstract（参考訳）: アフリカには世界の3分の1以上の言語があるが、AI研究の分野ではまだ不足している。 Afri-MCQAは、12カ国の15のアフリカ言語で7.5万のQ&Aペアをカバーする最初の多言語文化質問回答ベンチマークである。 このベンチマークは、テキストと音声のモダリティに並列な英語とアフリカ語のQ&Aペアを提供しており、完全にネイティブスピーカーによって作成されている。 Afri-MCQA上での大規模言語モデル(LLM)のベンチマークでは、ネイティブ言語や音声でクエリされた場合、オープンエンドのVQAに対してほぼゼロの精度で、オープンウェイトモデルが評価された文化間で性能が低いことが示されている。 言語能力を評価するために、文化知識とは別個に、この特定の側面を評価するための制御実験を含め、テキストと音声の両方において、母国語と英語の顕著なパフォーマンスギャップを観察する。 これらの知見は、言語第一のアプローチ、文化的根拠を持つ事前訓練、言語間文化移転の必要性を浮き彫りにした。 アフリカの言語におけるより包括的なマルチモーダルAI開発をサポートするため、Afri-MCQAを学術ライセンスまたはHuggingFace上のCC BY-NC 4.0(https://huggingface.co/datasets/Atnafu/Afri-MCQA)でリリースします。

関連論文リスト

• Beyond MCQ: An Open-Ended Arabic Cultural QA Benchmark with Dialect Variants [7.228273711234901]
  大きな言語モデル(LLM)は、日々の質問に答えるためにますます使われています。 文化的な基盤と方言のコンテンツに関する彼らのパフォーマンスは、言語間で不均一なままである。 本稿では,現代標準アラビア語(MSA)多重選択質問(MCQ)を英語およびいくつかのアラビア方言に翻訳する包括的手法を提案する。
  論文  参考訳（メタデータ） (2025-10-28T11:52:51Z)
• MMA-ASIA: A Multilingual and Multimodal Alignment Framework for Culturally-Grounded Evaluation [91.22008265721952]
  MMA-ASIAは、アジア8か国と10か国を対象とする人為的、多言語的、マルチモーダルなベンチマークに重点を置いている。 これは、テキスト、画像(視覚的質問応答)、音声の3つのモードにまたがる入力レベルで整列された最初のデータセットである。 i) 国間の文化的認識格差、(ii) 言語間の整合性、(iii) 言語間の整合性、(iv) 文化知識の一般化、(v) 基礎的妥当性を評価する5次元評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2025-10-07T14:12:12Z)
• MAKIEval: A Multilingual Automatic WiKidata-based Framework for Cultural Awareness Evaluation for LLMs [37.98920430188422]
  MAKIEvalは、大規模言語モデルにおける文化的認識を評価するための自動多言語フレームワークである。 モデル出力における文化的実体を自動的に識別し、構造化された知識にリンクする。 オープンソースのシステムとプロプライエタリシステムの両方を対象とする,世界のさまざまな場所で開発された7つのLLMを評価した。
  論文  参考訳（メタデータ） (2025-05-27T19:29:40Z)
• WorldCuisines: A Massive-Scale Benchmark for Multilingual and Multicultural Visual Question Answering on Global Cuisines [74.25764182510295]
  視覚言語モデル(VLM)は、特に英語以外の言語において、文化特有の知識に苦しむことが多い。 我々は多言語および多文化の視覚的理解のための大規模ベンチマークであるWorld Cuisinesを紹介した。 このベンチマークには、30の言語と方言にまたがるテキストイメージペアを備えた、視覚的質問応答(VQA)データセットが含まれている。
  論文  参考訳（メタデータ） (2024-10-16T16:11:49Z)
• CaLMQA: Exploring culturally specific long-form question answering across 23 languages [58.18984409715615]
  CaLMQAは、文化的に異なる23言語にわたる51.7Kの質問のデータセットである。 我々は,LLM生成長文回答の事実性,関連性,表面品質を評価する。
  論文  参考訳（メタデータ） (2024-06-25T17:45:26Z)
• CVQA: Culturally-diverse Multilingual Visual Question Answering Benchmark [68.21939124278065]
  言語と文化の豊富なセットをカバーするために設計された、文化的に多言語なビジュアル質問回答ベンチマーク。 CVQAには文化的に駆動されたイメージと、4大陸30カ国の質問が含まれ、31の言語と13のスクリプトをカバーし、合計10万の質問を提供する。 CVQA上で複数のマルチモーダル大言語モデル (MLLM) をベンチマークし、現在の最先端モデルではデータセットが困難であることを示す。
  論文  参考訳（メタデータ） (2024-06-10T01:59:00Z)
• AfriQA: Cross-lingual Open-Retrieval Question Answering for African Languages [18.689806554953236]
  XOR QAシステムは、母国語の人々に仕えながら、他言語からの回答内容を検索する。 AfriQAはアフリカ言語に焦点を当てた最初の言語間QAデータセットです。 AfriQAには10言語にわたる12,000以上のXOR QAサンプルが含まれている。
  論文  参考訳（メタデータ） (2023-05-11T15:34:53Z)
• MasakhaNER 2.0: Africa-centric Transfer Learning for Named Entity Recognition [55.95128479289923]
  アフリカ系言語は10億人を超える人々によって話されているが、NLPの研究や開発ではあまり語られていない。 我々は、20のアフリカ言語で最大の人間アノテーション付きNERデータセットを作成します。 最適な転送言語を選択すると、ゼロショットF1スコアが平均14ポイント向上することを示す。
  論文  参考訳（メタデータ） (2022-10-22T08:53:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。