論文の概要: Do Language Models Understand Igbo Culture? Beyond Multiple Choice

• arxiv url: http://arxiv.org/abs/2610.35168v2
• Date: Tue, 27 Oct 2026 09:20:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.358328
• Title: Do Language Models Understand Igbo Culture? Beyond Multiple Choice
• Title（参考訳）: 言語モデルはIgbo文化を理解するか?
• Abstract要約: CAB-Igboは、先住民の文化資料から開発され、6つのドメインにまたがるネイティブスピーカーによって検証されたベンチマークである。 その結果、言語と文化の知識の解離が明らかとなった。 ネイティブ言語は主に言語品質とプラグマティック品質を劣化させる。
• 参考スコア（独自算出の注目度）: 8.269770499991916
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The value of language models for any community depends on whether a model actually understands the culture of the people it intends to serve. We use the Igbo language as a case study. Existing benchmarks test translated Western ideas, lacking depth. To address this, we introduce CAB-Igbo, a benchmark developed from indigenous cultural sources and verified by native speakers across six domains. We evaluated diverse models under varying conditions, incorporating regional personas. Performance was assessed using multiple-choice accuracy and human evaluations across Epistemic Fidelity, Representational Richness, Linguistic Quality, and Pragmatic Proficiency. Results reveal a stark dissociation between language fluency and cultural knowledge. Through statistical testing, we show that for most models, the severe lack of Epistemic Fidelity and Representational Richness is already present in English and does not significantly worsen when switching to Igbo. Instead, native language prompting mainly degrades Linguistic Quality and Pragmatic Proficiency. Gemini 2.0 Flash is the only model whose cultural knowledge scores improve under Igbo prompting. We find that current models struggle to demonstrate the knowledge needed for true alignment with Igbo, and multiple-choice formats allow pattern-matching to appear as understanding. Furthermore, automated judges agree with humans on linguistic quality but fail on epistemic fidelity. Ultimately, cultural evaluation must be built from community knowledge, establishing human evaluation as the gold standard to prevent misrepresenting low-resource communities globally.
• Abstract（参考訳）: あらゆるコミュニティにおける言語モデルの価値は、モデルが実際に提供しようとする人々の文化を理解しているかどうかに依存する。 私たちはケーススタディとしてIgbo言語を使用します。 既存のベンチマークは西洋のアイデアを翻訳し、深さを欠いている。 CAB-Igboは、先住民の文化資料から開発され、6つのドメインにまたがるネイティブスピーカーによって検証されたベンチマークである。 地域的ペルソナを取り入れた各種モデルの評価を行った。 評価は,複数の選択精度と人的評価を用いて,情緒的忠実度,表現的富度,言語的品質,実践的習熟度を測定した。 結果は、言語流布と文化知識の強い解離を明らかにしている。 統計検査の結果,ほとんどのモデルでは,Igboに切り替える際には,表皮の忠実度や表現豊かさが著しく欠如していることが判明した。 代わりに、ネイティブ言語は言語品質とプラグマティックな習熟度を主に低下させる。 Gemini 2.0 Flashは、Igboのプロンプトの下で文化的知識が向上する唯一のモデルである。 現在のモデルは、Igboとの真の整合に必要な知識を示すのに苦労している。 さらに、自動化された裁判官は言語的品質について人間に同意するが、疫学的な忠実さでは失敗する。 最終的に、文化評価は地域社会の知識から構築され、世界の低資源コミュニティの誤った表現を防ぐために、人的評価を金の基準として確立する必要がある。

関連論文リスト

• From annotation to reasoning: Culture in language models [51.02064693757239]
  我々は、文学的解釈がこれらの能力を研究するのに役立つと論じる。 我々の中心的な主張は、文学者がその支援の質を認識しながら解釈に異を唱えることができるということである。 本稿では,エビデンス中心のベンチマーク,学術的不一致を抑える評価,文献データ,文脈資源,学術的フィードバックに関するモデル開発実験のリンクを提案する。
  論文  参考訳（メタデータ） (2026-09-25T07:04:41Z)
• BavGround: A Benchmark for Regional Cultural Grounding and Dialect Competence in Bavarian [33.0382356140632]
  バイエルン地方の文化基盤と方言能力を評価するためのベンチマークであるBavGroundを紹介する。 BavGroundには、言語ごとに8つの文化領域にまたがる206の複数の選択肢がある。 強い多言語モデルは全体としては最高に機能するが、バイエルン語項目やソースグラウンドの質問では性能が低下する。
  論文  参考訳（メタデータ） (2026-08-13T07:23:53Z)
• Do You Know About My Nation? Investigating Multilingual Language Models' Cultural Literacy Through Factual Knowledge [68.6805229085352]
  ほとんどの多言語質問答えベンチマークは、取得した情報の地域的多様性を規定していない。 XNationQAには、9カ国の地理、文化、歴史に関する合計49,280の質問が7つの言語で提示されている。 我々はXNationQA上で8つの標準多言語LLMをベンチマークし、2つの新しい転送指標を用いて評価した。
  論文  参考訳（メタデータ） (2025-11-01T18:41:34Z)
• Identity-Aware Large Language Models require Cultural Reasoning [3.1866496693431934]
  我々は文化的な推論を、文化固有の知識価値と社会的規範を認識するためのモデルの能力として定義する。 文化は解釈、感情的共鳴、許容される行動を形成するため、文化的推論はアイデンティティを意識するAIにとって不可欠である。 文化的推論は、事実的正確性や言語的一貫性とともに基礎的な能力として扱われなければならないと我々は主張する。
  論文  参考訳（メタデータ） (2025-10-21T10:50:51Z)
• I Am Aligned, But With Whom? MENA Values Benchmark for Evaluating Cultural Alignment and Multilingual Bias in LLMs [5.060243371992739]
  大規模言語モデル(LLM)の文化的アライメントと多言語バイアスを評価するための新しいベンチマークであるMENAValuesを紹介する。 大規模で権威ある人的調査から、我々は16カ国の人口レベルの応答分布を持つMENAの社会文化的景観を捉えた構造化データセットをキュレートした。 分析の結果,同じ質問が言語に基づいて大きく異なる反応をもたらす「クロス・Lingual Value Shifts」,その理由の説明を促す「Reasoning-induced Degradation」,モデルがセンシティブな質問を拒否する「Logit Leakage」,内部確率が強く隠蔽される「Logit Leakage」の3つの重要な現象が明らかになった。
  論文  参考訳（メタデータ） (2025-10-15T05:10:57Z)
• Multilingual != Multicultural: Evaluating Gaps Between Multilingual Capabilities and Cultural Alignment in LLMs [5.8210182389588105]
  大規模言語モデル(LLM)は、グローバル言語全体でますます能力を高めつつある。 しかし、言語間のコミュニケーション能力が必ずしも適切な文化的表現に変換されるとは限らない。 GoogleのGemmaモデルとOpenAIのターボシリーズの2つのモデルを比較します。 言語能力と文化的アライメントの間には、一貫した関係は見つからない。
  論文  参考訳（メタデータ） (2025-02-23T11:02:41Z)
• Not All Countries Celebrate Thanksgiving: On the Cultural Dominance in Large Language Models [89.94270049334479]
  本稿では,大規模言語モデル(LLM)における文化的優位性について述べる。 LLMは、ユーザーが非英語で尋ねるときに期待する文化とは無関係な、不適切な英語文化関連の回答を提供することが多い。
  論文  参考訳（メタデータ） (2023-10-19T05:38:23Z)
• SeaEval for Multilingual Foundation Models: From Cross-Lingual Alignment to Cultural Reasoning [44.53966523376327]
  SeaEvalは多言語基盤モデルのベンチマークである。 これらのモデルがどのように理解し、自然言語で推論するかを特徴付ける。 また、文化の実践やニュアンス、価値観をいかに理解したかについても検討する。
  論文  参考訳（メタデータ） (2023-09-09T11:42:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。