論文の概要: Do You Know About My Nation? Investigating Multilingual Language Models' Cultural Literacy Through Factual Knowledge

• arxiv url: http://arxiv.org/abs/2511.00657v1
• Date: Sat, 01 Nov 2025 18:41:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:26.881722
• Title: Do You Know About My Nation? Investigating Multilingual Language Models' Cultural Literacy Through Factual Knowledge
• Title（参考訳）: 私の国について知ってますか? ファクチュアル知識による多言語モデルの文化的リテラシーの調査
• Authors: Eshaan Tanwar, Anwoy Chatterjee, Michael Saxon, Alon Albalak, William Yang Wang, Tanmoy Chakraborty,
• Abstract要約: ほとんどの多言語質問答えベンチマークは、取得した情報の地域的多様性を規定していない。 XNationQAには、9カ国の地理、文化、歴史に関する合計49,280の質問が7つの言語で提示されている。 我々はXNationQA上で8つの標準多言語LLMをベンチマークし、2つの新しい転送指標を用いて評価した。
• 参考スコア（独自算出の注目度）: 68.6805229085352
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most multilingual question-answering benchmarks, while covering a diverse pool of languages, do not factor in regional diversity in the information they capture and tend to be Western-centric. This introduces a significant gap in fairly evaluating multilingual models' comprehension of factual information from diverse geographical locations. To address this, we introduce XNationQA for investigating the cultural literacy of multilingual LLMs. XNationQA encompasses a total of 49,280 questions on the geography, culture, and history of nine countries, presented in seven languages. We benchmark eight standard multilingual LLMs on XNationQA and evaluate them using two novel transference metrics. Our analyses uncover a considerable discrepancy in the models' accessibility to culturally specific facts across languages. Notably, we often find that a model demonstrates greater knowledge of cultural information in English than in the dominant language of the respective culture. The models exhibit better performance in Western languages, although this does not necessarily translate to being more literate for Western countries, which is counterintuitive. Furthermore, we observe that models have a very limited ability to transfer knowledge across languages, particularly evident in open-source models.
• Abstract（参考訳）: 多くの多言語質問答えベンチマークは、多様な言語群をカバーしているが、それらが捉えている情報の地域的多様性に影響を与えず、西洋中心である傾向がある。 このことは、多言語モデルの様々な地理的位置からの事実情報の理解を正確に評価する上で、大きなギャップをもたらす。 そこで本稿では,多言語LLMの文化的リテラシーを調査するためのXNationQAを紹介する。 XNationQAには、9カ国の地理、文化、歴史に関する合計49,280の質問が7つの言語で提示されている。 我々はXNationQA上で8つの標準多言語LLMをベンチマークし、2つの新しい転送指標を用いて評価した。 我々の分析は、言語全体にわたる文化的に特定の事実へのモデルのアクセシビリティーにおいて、かなりの不一致を明らかにした。 特に、あるモデルが、それぞれの文化の支配的な言語よりも、英語の文化的情報のより深い知識を示すことがよく見られる。 これらのモデルは西洋語でより優れた性能を示すが、必ずしも西洋諸国にとってより文学的になるとは限らない。 さらに、特にオープンソースモデルでは、モデルが言語間で知識を伝達する能力が非常に限られていることが観察されている。

関連論文リスト

• MAKIEval: A Multilingual Automatic WiKidata-based Framework for Cultural Awareness Evaluation for LLMs [37.98920430188422]
  MAKIEvalは、大規模言語モデルにおける文化的認識を評価するための自動多言語フレームワークである。 モデル出力における文化的実体を自動的に識別し、構造化された知識にリンクする。 オープンソースのシステムとプロプライエタリシステムの両方を対象とする,世界のさまざまな場所で開発された7つのLLMを評価した。
  論文  参考訳（メタデータ） (2025-05-27T19:29:40Z)
• CARE: Multilingual Human Preference Learning for Cultural Awareness [48.760262639641496]
  我々は,3,490の文化的特異な質問と31.7kの人的判断応答を含む多言語リソースであるtextbfCAREを紹介する。 質の高いネイティブな嗜好の質が、様々なLMの文化意識をいかに向上させるかを示す。 分析の結果,初期の文化的パフォーマンスが向上したモデルの方がアライメントの恩恵を受けやすいことがわかった。
  論文  参考訳（メタデータ） (2025-04-07T14:57:06Z)
• WorldCuisines: A Massive-Scale Benchmark for Multilingual and Multicultural Visual Question Answering on Global Cuisines [74.25764182510295]
  視覚言語モデル(VLM)は、特に英語以外の言語において、文化特有の知識に苦しむことが多い。 我々は多言語および多文化の視覚的理解のための大規模ベンチマークであるWorld Cuisinesを紹介した。 このベンチマークには、30の言語と方言にまたがるテキストイメージペアを備えた、視覚的質問応答(VQA)データセットが含まれている。
  論文  参考訳（メタデータ） (2024-10-16T16:11:49Z)
• CVQA: Culturally-diverse Multilingual Visual Question Answering Benchmark [68.21939124278065]
  言語と文化の豊富なセットをカバーするために設計された、文化的に多言語なビジュアル質問回答ベンチマーク。 CVQAには文化的に駆動されたイメージと、4大陸30カ国の質問が含まれ、31の言語と13のスクリプトをカバーし、合計10万の質問を提供する。 CVQA上で複数のマルチモーダル大言語モデル (MLLM) をベンチマークし、現在の最先端モデルではデータセットが困難であることを示す。
  論文  参考訳（メタデータ） (2024-06-10T01:59:00Z)
• Multi-lingual and Multi-cultural Figurative Language Understanding [69.47641938200817]
  図形言語は人間のコミュニケーションに浸透するが、NLPでは比較的過小評価されている。 Hindi, Indonesian, Javanese, Kannada, Sundanese, Swahili, Yorubaの7つの多様な言語に関するデータセットを作成しました。 我々のデータセットから,各言語は,同じ領域から派生した言語間で最も高い重なり合いを持つ,図形表現の文化的・地域的概念に依存していることが明らかとなった。 全ての言語は、事前学習データと微調整データの可用性を反映した性能の変化により、英語と比較して大きな欠陥がある。
  論文  参考訳（メタデータ） (2023-05-25T15:30:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。