論文の概要: The Masked Advantage: Uncovering Local-Language Access to Cultural Knowledge in LLMs

• arxiv url: http://arxiv.org/abs/2606.07422v2
• Date: Mon, 08 Jun 2026 19:53:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 13:21:50.708835
• Title: The Masked Advantage: Uncovering Local-Language Access to Cultural Knowledge in LLMs
• Title（参考訳）: 仮面アドバンテージ: LLMにおける文化的知識の地域的アクセス
• Authors: Yang Zhang, Xiao Fei, Amr Mohamed, Sarah Almeida Carneiro, Mersin Konomi, Mingmeng Geng, Ahmed Asaad, Guokan Shang, Michalis Vazirgiannis,
• Abstract要約: 地域ベンチマークやローカルソースから収集した実世界の文化的質問に基づいて構築された,制御されたフレームワークを使用している。 我々は、文化に依存しない質問に対して、一貫した英語の優位性を見つけ、より強い英語の習熟度を示す。 ローカル言語は、ほとんどすべてのローカライズモデル設定において、肯定的な知識アクセスの優位性を示す。
• 参考スコア（独自算出の注目度）: 23.21868527222738
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are increasingly used to answer culturally grounded questions across languages, yet it remains unclear whether local cultural knowledge is better accessed through English or the local language. Existing evaluations face two key limitations: many rely on parallel template-based questions that may not reflect how cultural knowledge naturally appears, and raw accuracy conflates general language proficiency with language-conditioned knowledge access. We address these issues with a controlled framework built on real-world cultural questions collected from regional benchmarks and local sources. By crossing question type (culture-agnostic vs. culture-specific) with query language (English vs. local language), and estimating ability with a shared 1PL item response theory model, we separate proficiency from localized knowledge access. Across 13 locales and roughly 80 models, we find a consistent English advantage on culture-agnostic questions, indicating stronger English proficiency. However, after accounting for this proficiency gap, local languages show a positive knowledge-access advantage in nearly all locale-model settings. This advantage is often masked in raw accuracy but becomes more visible for frontier, regionally aligned, or language-adapted models. Our results suggest that weaker local-language performance does not necessarily imply weaker cultural knowledge; rather, local cultural knowledge may be more accessible through the local language but hidden by limited language proficiency.
• Abstract（参考訳）: 大規模な言語モデルは、言語全体にわたって文化的に根ざした質問に答えるのにますます使われているが、現地の文化知識が英語や現地の言語を通してよりよくアクセスされているかどうかは不明である。 既存の評価には2つの重要な制限がある: その多くは、文化的な知識が自然にどのように出現するかを反映しない、平行テンプレートベースの質問に依存している。 地域ベンチマークや地域情報源から収集した実世界の文化的質問に基づいて,これらの問題に対処する。 質問タイプ(文化非依存対文化特化)を問合せ言語(英語対ローカル言語)で横断し,共有された1PL項目応答理論モデルを用いて推定能力を推定することにより,局所的な知識アクセスから習熟度を分離する。 13の地方住民と約80のモデルにまたがって、文化に依存しない質問に対して一貫した英語の優位性を見出した。 しかし、この習熟度差を考慮に入れた結果、ほとんどすべての局所モデル設定において、局所言語は肯定的な知識アクセスの優位性を示す。 この利点は、しばしば生の精度で隠蔽されるが、フロンティア、地域的に整列したモデル、あるいは言語に適応したモデルでより見えるようになる。 以上の結果から, 地域文化の知識は, 言語能力の限界によって隠蔽され, 地域文化の知識は, 必ずしも文化的知識の弱さを示唆するものではないことが示唆された。

関連論文リスト

• CultureForest: Understanding and Evaluating Cultural Norm Grounded Reasoning in LLMs [59.09971492475217]
  TextitCultural Norm Grounded ReasoningのベンチマークであるCultureForestを紹介する。 CultureForestは8つのドメインで5,378のサンプルと53の国/リージョンで構成されている。 大規模な実験では、トップ層モデルでさえ、オープンな設定で大幅に劣化していることが明らかになった。
  論文  参考訳（メタデータ） (2026-06-01T08:25:12Z)
• Cross-Lingual Consensus: Aligning Multilingual Cultural Knowledge via Multilingual Self-Consistency [1.338174941551702]
  大規模言語モデル(LLM)は、言語間での大幅なパフォーマンスの相違を示す。 本稿では,この知識ギャップを埋める新たな自己教師型フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-21T08:11:01Z)
• Do You Know About My Nation? Investigating Multilingual Language Models' Cultural Literacy Through Factual Knowledge [68.6805229085352]
  ほとんどの多言語質問答えベンチマークは、取得した情報の地域的多様性を規定していない。 XNationQAには、9カ国の地理、文化、歴史に関する合計49,280の質問が7つの言語で提示されている。 我々はXNationQA上で8つの標準多言語LLMをベンチマークし、2つの新しい転送指標を用いて評価した。
  論文  参考訳（メタデータ） (2025-11-01T18:41:34Z)
• CultureScope: A Dimensional Lens for Probing Cultural Understanding in LLMs [57.653830744706305]
  CultureScopeは、大規模な言語モデルにおける文化的理解を評価するための、これまでで最も包括的な評価フレームワークである。 文化的な氷山理論に触発されて、文化知識分類のための新しい次元スキーマを設計する。 実験結果から,文化的理解を効果的に評価できることが示唆された。
  論文  参考訳（メタデータ） (2025-09-19T17:47:48Z)
• MAKIEval: A Multilingual Automatic WiKidata-based Framework for Cultural Awareness Evaluation for LLMs [37.98920430188422]
  MAKIEvalは、大規模言語モデルにおける文化的認識を評価するための自動多言語フレームワークである。 モデル出力における文化的実体を自動的に識別し、構造化された知識にリンクする。 オープンソースのシステムとプロプライエタリシステムの両方を対象とする,世界のさまざまな場所で開発された7つのLLMを評価した。
  論文  参考訳（メタデータ） (2025-05-27T19:29:40Z)
• CaLMQA: Exploring culturally specific long-form question answering across 23 languages [58.18984409715615]
  CaLMQAは、文化的に異なる23言語にわたる51.7Kの質問のデータセットである。 我々は,LLM生成長文回答の事実性,関連性,表面品質を評価する。
  論文  参考訳（メタデータ） (2024-06-25T17:45:26Z)
• Understanding the Capabilities and Limitations of Large Language Models for Cultural Commonsense [98.09670425244462]
  大規模言語モデル(LLM)は、かなりの常識的理解を示している。 本稿では,文化的コモンセンスタスクの文脈におけるいくつかの最先端LCMの能力と限界について検討する。
  論文  参考訳（メタデータ） (2024-05-07T20:28:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。