論文の概要: MAKIEval: A Multilingual Automatic WiKidata-based Framework for Cultural Awareness Evaluation for LLMs

• arxiv url: http://arxiv.org/abs/2505.21693v2
• Date: Fri, 30 May 2025 14:37:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 15:03:35.332689
• Title: MAKIEval: A Multilingual Automatic WiKidata-based Framework for Cultural Awareness Evaluation for LLMs
• Title（参考訳）: MAKIEval: LLMの文化的意識評価のための多言語自動WiKidataフレームワーク
• Authors: Raoyuan Zhao, Beiduo Chen, Barbara Plank, Michael A. Hedderich,
• Abstract要約: MAKIEvalは、大規模言語モデルにおける文化的認識を評価するための自動多言語フレームワークである。 モデル出力における文化的実体を自動的に識別し、構造化された知識にリンクする。 オープンソースのシステムとプロプライエタリシステムの両方を対象とする,世界のさまざまな場所で開発された7つのLLMを評価した。
• 参考スコア（独自算出の注目度）: 26.806566827956875
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are used globally across many languages, but their English-centric pretraining raises concerns about cross-lingual disparities for cultural awareness, often resulting in biased outputs. However, comprehensive multilingual evaluation remains challenging due to limited benchmarks and questionable translation quality. To better assess these disparities, we introduce MAKIEval, an automatic multilingual framework for evaluating cultural awareness in LLMs across languages, regions, and topics. MAKIEval evaluates open-ended text generation, capturing how models express culturally grounded knowledge in natural language. Leveraging Wikidata's multilingual structure as a cross-lingual anchor, it automatically identifies cultural entities in model outputs and links them to structured knowledge, enabling scalable, language-agnostic evaluation without manual annotation or translation. We then introduce four metrics that capture complementary dimensions of cultural awareness: granularity, diversity, cultural specificity, and consensus across languages. We assess 7 LLMs developed from different parts of the world, encompassing both open-source and proprietary systems, across 13 languages, 19 countries and regions, and 6 culturally salient topics (e.g., food, clothing). Notably, we find that models tend to exhibit stronger cultural awareness in English, suggesting that English prompts more effectively activate culturally grounded knowledge. We publicly release our code and data.
• Abstract（参考訳）: 大きな言語モデル(LLM)は多くの言語で世界中で使用されているが、その英語中心の事前訓練は、文化的認識に対する言語間格差に対する懸念を高め、しばしばバイアスのあるアウトプットをもたらす。 しかし、限られたベンチマークと疑わしい翻訳品質のため、包括的な多言語評価は依然として困難である。 言語,地域,トピック間のLLMにおける文化的認識を評価するための自動多言語フレームワークであるMAKIEvalを紹介する。 MAKIEvalはオープンエンドテキスト生成を評価し、モデルが自然言語で文化的基盤を持つ知識をどのように表現するかをキャプチャする。 Wikidataの多言語構造を言語間アンカーとして活用し、モデル出力中の文化的実体を自動的に識別し、構造化された知識にリンクし、手動の注釈や翻訳なしにスケーラブルで言語に依存しない評価を可能にする。 次に,文化意識の相補的な側面を捉える4つの指標を紹介した。 13の言語、19の国、地域をまたいだオープンソースおよびプロプライエタリなシステムと、6つの文化的に有能なトピック(食品、衣服など)を含む、世界のさまざまな地域から開発された7つのLCMを評価した。 特に、モデルが英語の文化意識を高める傾向にあり、英語がより効果的に文化的に根ざした知識を活性化させることが示唆される。 コードとデータを公開しています。

関連論文リスト

• CulFiT: A Fine-grained Cultural-aware LLM Training Paradigm via Multilingual Critique Data Synthesis [41.261808170896686]
  CulFiTは、多言語データと微粒な報酬モデリングを利用して、文化的感受性と傾きを高める新しいトレーニングパラダイムである。 本手法は,文化関連諸質問を合成し,文化関連言語における批判データを構築し,文化文献を検証可能な知識単位に分解するために,きめ細かい報酬を用いる。
  論文  参考訳（メタデータ） (2025-05-26T04:08:26Z)
• CARE: Aligning Language Models for Regional Cultural Awareness [28.676469530858924]
  既存の言語モデル(LM)はしばしば西洋中心のバイアスを示し、多様な文化的知識を表現するのに苦労する。 これに対処する以前の試みは、合成データに頼り、文化的な知識を英語でのみ表現するものだった。 まず、中国文化とアラブ文化に関する2,580の質問に対して、人選好による24.1k応答の多言語リソースであるCAREを紹介した。
  論文  参考訳（メタデータ） (2025-04-07T14:57:06Z)
• Multilingual != Multicultural: Evaluating Gaps Between Multilingual Capabilities and Cultural Alignment in LLMs [2.5212698425008377]
  大規模言語モデル(LLM)は、グローバル言語全体でますます能力を高めつつある。 しかし、言語間のコミュニケーション能力が必ずしも適切な文化的表現に変換されるとは限らない。 GoogleのGemmaモデルとOpenAIのターボシリーズの2つのモデルを比較します。 言語能力と文化的アライメントの間には、一貫した関係は見つからない。
  論文  参考訳（メタデータ） (2025-02-23T11:02:41Z)
• Global MMLU: Understanding and Addressing Cultural and Linguistic Biases in Multilingual Evaluation [71.59208664920452]
  多言語データセットの文化的バイアスは、グローバルベンチマークとしての有効性に重大な課題をもたらす。 MMLUの進歩は西洋中心の概念の学習に大きく依存しており、文化に敏感な知識を必要とする質問の28%がそうである。 改良されたMMLUであるGlobal MMLUをリリースし,42言語を対象に評価を行った。
  論文  参考訳（メタデータ） (2024-12-04T13:27:09Z)
• All Languages Matter: Evaluating LMMs on Culturally Diverse 100 Languages [73.93600813999306]
  ALM-benchは、100言語にわたるLMMを評価するための、これまでで最大かつ最も包括的な取り組みである。 様々な言語でテキストと組み合わせた文化的に多様なイメージを理解し、推論する能力をテストすることで、既存のモデルに挑戦する。 このベンチマークは、真/偽、複数選択、オープンな質問など、さまざまな質問フォーマットを備えた、堅牢でニュアンスの高い評価フレームワークを提供する。
  論文  参考訳（メタデータ） (2024-11-25T15:44:42Z)
• Understanding the Capabilities and Limitations of Large Language Models for Cultural Commonsense [98.09670425244462]
  大規模言語モデル(LLM)は、かなりの常識的理解を示している。 本稿では,文化的コモンセンスタスクの文脈におけるいくつかの最先端LCMの能力と限界について検討する。
  論文  参考訳（メタデータ） (2024-05-07T20:28:34Z)
• Massively Multi-Cultural Knowledge Acquisition & LM Benchmarking [48.21982147529661]
  本稿では,多文化知識獲得のための新しいアプローチを提案する。 本手法は,文化トピックに関するウィキペディア文書からリンクページの広範囲なネットワークへ戦略的にナビゲートする。 私たちの仕事は、AIにおける文化的格差のギャップを深く理解し、橋渡しするための重要なステップです。
  論文  参考訳（メタデータ） (2024-02-14T18:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。