論文の概要: Camellia: Benchmarking Cultural Biases in LLMs for Asian Languages

• arxiv url: http://arxiv.org/abs/2510.05291v1
• Date: Mon, 06 Oct 2025 18:59:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:07.947977
• Title: Camellia: Benchmarking Cultural Biases in LLMs for Asian Languages
• Title（参考訳）: Camellia: アジアの言語のためのLLMにおける文化的バイアスのベンチマーク
• Authors: Tarek Naous, Anagha Savit, Carlos Rafael Catalan, Geyang Guo, Jaehyeok Lee, Kyungdon Lee, Lheane Marie Dizon, Mengyu Ye, Neel Kothari, Sahajpreet Singh, Sarah Masud, Tanish Patwa, Trung Thanh Tran, Zohaib Khan, Alan Ritter, JinYeong Bak, Keisuke Sakaguchi, Tanmoy Chakraborty, Yuki Arase, Wei Xu,
• Abstract要約: カメリア(Camellia)は、6つの異なるアジア文化にまたがる9つのアジア言語において、エンティティ中心の文化的バイアスを測定するためのベンチマークである。 文化的文脈適応,感情関連,実体抽出QAなど,多言語多言語大言語モデルにおける文化的バイアスの評価を行った。 分析の結果,すべてのアジア諸言語におけるLLMの文化的適応に苦慮する傾向がみられた。
• 参考スコア（独自算出の注目度）: 46.3747338016989
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As Large Language Models (LLMs) gain stronger multilingual capabilities, their ability to handle culturally diverse entities becomes crucial. Prior work has shown that LLMs often favor Western-associated entities in Arabic, raising concerns about cultural fairness. Due to the lack of multilingual benchmarks, it remains unclear if such biases also manifest in different non-Western languages. In this paper, we introduce Camellia, a benchmark for measuring entity-centric cultural biases in nine Asian languages spanning six distinct Asian cultures. Camellia includes 19,530 entities manually annotated for association with the specific Asian or Western culture, as well as 2,173 naturally occurring masked contexts for entities derived from social media posts. Using Camellia, we evaluate cultural biases in four recent multilingual LLM families across various tasks such as cultural context adaptation, sentiment association, and entity extractive QA. Our analyses show a struggle by LLMs at cultural adaptation in all Asian languages, with performance differing across models developed in regions with varying access to culturally-relevant data. We further observe that different LLM families hold their distinct biases, differing in how they associate cultures with particular sentiments. Lastly, we find that LLMs struggle with context understanding in Asian languages, creating performance gaps between cultures in entity extraction.
• Abstract（参考訳）: 大規模言語モデル(LLM)がより強力な多言語能力を獲得するにつれ、文化的に多様なエンティティを扱う能力が重要になる。 以前の研究によると、LLMはアラビア語の西洋関連団体を好んで好んでおり、文化の公平性への懸念を提起している。 多言語ベンチマークが欠如しているため、そのようなバイアスが西欧以外の言語にも現れるかどうかは不明である。 本稿では、6つの異なるアジア文化にまたがる9つのアジア言語におけるエンティティ中心の文化的バイアスを測定するためのベンチマークであるCamelliaを紹介する。 カメリアには、特定のアジア文化や西洋文化と結びつくために手動で注釈付けされた19,530のエンティティと、ソーシャルメディア投稿から派生したエンティティのために自然に発生する2,173のマスク付きコンテキストが含まれている。 カメリアを用いて、文化文脈適応、感情関連、実体抽出QAなど、近年の4つの多言語LLMファミリーの文化的バイアスを評価する。 分析の結果,すべてのアジア諸言語におけるLLMの文化的適応に苦慮する傾向がみられた。 さらに、異なるLLMファミリーが異なるバイアスを持ち、文化と特定の感情をどう関連づけるかが異なることを観察する。 最後に、LLMはアジア言語における文脈理解に苦慮し、エンティティ抽出における文化間のパフォーマンスギャップを生じさせる。

関連論文リスト

• Cross-Cultural Transfer of Commonsense Reasoning in LLMs: Evidence from the Arab World [68.19795061447044]
  本稿では,アラブ世界におけるコモンセンス推論の異文化間移動について検討する。 アラブ13カ国を対象とした文化基盤のコモンセンス推論データセットを用いて,軽量アライメント手法の評価を行った。 以上の結果から,他国の文化特有例は12例に過ぎず,他国の文化特有例を平均10%向上させることができた。
  論文  参考訳（メタデータ） (2025-09-23T17:24:14Z)
• Self-Pluralising Culture Alignment for Large Language Models [36.689491885394034]
  本稿では,大規模言語モデルと多言語文化との整合性を実現するフレームワークであるCultureSPAを提案する。 カルチャー・アウェア/アウェアアウトプットを比較することで、カルチャー関連インスタンスを検出し、収集することができる。 広範囲な実験により、CultureSPAは、一般の能力を損なうことなく、多様な文化へのLCMのアライメントを著しく改善することが示された。
  論文  参考訳（メタデータ） (2024-10-16T19:06:08Z)
• Analyzing Cultural Representations of Emotions in LLMs through Mixed Emotion Survey [2.9213203896291766]
  本研究では,大規模言語モデル(LLM)における感情の文化的表現の分析に焦点をあてる。 本手法は,日本人とアメリカ人の反応に特徴的な感情指標を同定した宮本らの研究に基づいている。 モデルが文献の証拠と限定的に一致していることがわかりました。
  論文  参考訳（メタデータ） (2024-08-04T20:56:05Z)
• CULTURE-GEN: Revealing Global Cultural Perception in Language Models through Natural Language Prompting [73.94059188347582]
  110か国・地域での3つのSOTAモデルの文化認識を,文化条件付き世代を通して8つの文化関連トピックについて明らかにした。 文化条件付き世代は、デフォルトの文化と区別される余分な文化を区別する言語的な「マーカー」から成り立っていることが判明した。
  論文  参考訳（メタデータ） (2024-04-16T00:50:43Z)
• Does Mapo Tofu Contain Coffee? Probing LLMs for Food-related Cultural Knowledge [47.57055368312541]
  FmLAMA(FmLAMA)は、食品関連の文化的事実と食実践のバリエーションに着目した多言語データセットである。 我々は,LLMを様々なアーキテクチャや構成にわたって分析し,その性能を単言語と多言語の両方で評価する。
  論文  参考訳（メタデータ） (2024-04-10T08:49:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。