論文の概要: Fluent but Culturally Distant: Can Regional Training Teach Cultural Understanding?
- arxiv url: http://arxiv.org/abs/2505.21548v1
- Date: Sun, 25 May 2025 01:59:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-29 17:35:50.149861
- Title: Fluent but Culturally Distant: Can Regional Training Teach Cultural Understanding?
- Title(参考訳): フレントだが文化的距離:地域教育は文化的理解を学ばせるか?
- Authors: Dhruv Agarwal, Anya Shukla, Sunayana Sitaram, Aditya Vashistha,
- Abstract要約: 我々は,5つの指標と5つのグローバルLLMを,価値と実践の2つの重要な側面に沿って評価する。
すべての4つのタスクにおいて、Indicモデルはグローバルモデルよりもインド文化の規範と密に一致していないことが分かる。
この失敗は、高品質で、翻訳されず、文化的に根拠のない事前訓練と微調整のデータが不足していることに遡る。
- 参考スコア(独自算出の注目度): 17.231806929840015
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are used around the world but exhibit Western cultural tendencies. To address this cultural misalignment, many countries have begun developing "regional" LLMs tailored to local communities. Yet it remains unclear whether these models merely speak the language of their users or also reflect their cultural values and practices. Using India as a case study, we evaluate five Indic and five global LLMs along two key dimensions: values (via the Inglehart-Welzel map and GlobalOpinionQA) and practices (via CulturalBench and NormAd). Across all four tasks, we find that Indic models do not align more closely with Indian cultural norms than global models. In fact, an average American person is a better proxy for Indian cultural values than any Indic model. Even prompting strategies fail to meaningfully improve alignment. Ablations show that regional fine-tuning does not enhance cultural competence and may in fact hurt it by impeding recall of existing knowledge. We trace this failure to the scarcity of high-quality, untranslated, and culturally grounded pretraining and fine-tuning data. Our study positions cultural evaluation as a first-class requirement alongside multilingual benchmarks and offers a reusable methodology for developers. We call for deeper investments in culturally representative data to build and evaluate truly sovereign LLMs.
- Abstract(参考訳): 大規模な言語モデル(LLM)は世界中で使用されているが、西洋文化の傾向を示す。
この文化的不整合に対処するため、多くの国が地域社会に適した「地域的」LLMの開発を始めた。
しかし、これらのモデルが単にユーザーの言葉を話すだけなのか、あるいは彼らの文化的価値観や実践を反映しているのかは不明だ。
インドをケーススタディとして、IndicとGlobal LLMを2つの重要な次元(Inglehart-Welzel MapとGlobalOpinionQA)とプラクティス(CulturalBenchとNormAd)に沿って評価した。
すべての4つのタスクにおいて、Indicモデルはグローバルモデルよりもインド文化の規範と密に一致していないことが分かる。
実際、平均的なアメリカ人は、どのインド人モデルよりもインド文化の価値観の代弁者である。
迅速な戦略でさえ、アライメントを有意義に改善することができない。
アブレーションは、地域の微調整が文化的な能力を高めておらず、既存の知識を思い出すのを妨げることによって、実際にそれを損なう可能性があることを示している。
この失敗は、高品質で、翻訳されず、文化的に根拠のない事前訓練と微調整のデータが不足していることに遡る。
本研究は,多言語ベンチマークと並んで文化評価を第一級要件と位置づけ,開発者が再利用可能な方法論を提供する。
我々は、真に主権のあるLCMを構築し評価するために、文化的に代表されるデータに対するより深い投資を求めている。
関連論文リスト
- CultureVLM: Characterizing and Improving Cultural Understanding of Vision-Language Models for over 100 Countries [63.00147630084146]
視覚言語モデル(VLM)は高度な人間とAIの相互作用を持つが、文化的な理解に苦慮している。
CultureVerseは大規模なマルチモーダルベンチマークで、682の文化的概念、188の国/地域、15の文化的概念、3の質問タイプをカバーしている。
本稿では,文化理解の大幅な向上を実現するために,我々のデータセットを微調整したVLMのシリーズであるCultureVLMを提案する。
論文 参考訳(メタデータ) (2025-01-02T14:42:37Z) - Self-Alignment: Improving Alignment of Cultural Values in LLMs via In-Context Learning [13.034603322224548]
In-context Learning(ICL)とヒューマンサーベイデータを組み合わせた簡易で安価な手法を提案する。
本手法は、英語以外のテスト言語で有用であることが証明され、文化的に多種多様な国に対応する文化的価値との整合性を向上させることができる。
論文 参考訳(メタデータ) (2024-08-29T12:18:04Z) - CulturePark: Boosting Cross-cultural Understanding in Large Language Models [63.452948673344395]
本稿では,LLMを利用した文化データ収集のためのマルチエージェント通信フレームワークであるCultureParkを紹介する。
人間の信念、規範、習慣をカプセル化した高品質な異文化対話を生成する。
我々はこれらのモデルを,コンテンツモデレーション,文化的アライメント,文化教育という3つの下流課題にまたがって評価する。
論文 参考訳(メタデータ) (2024-05-24T01:49:02Z) - NormAd: A Framework for Measuring the Cultural Adaptability of Large Language Models [26.64843536942309]
大規模言語モデル(LLM)は、ユーザ価値や文化にアウトプットを適応させる必要があります。
LLMの文化的適応性を評価するための評価フレームワークであるNormAdを紹介する。
我々はNormAd-Etiを作成した。これは、75か国における、社会的な倫理的関連文化規範を表す2.6kの状況記述のベンチマークである。
論文 参考訳(メタデータ) (2024-04-18T18:48:50Z) - Not All Countries Celebrate Thanksgiving: On the Cultural Dominance in
Large Language Models [89.94270049334479]
本稿では,大規模言語モデル(LLM)における文化的優位性について述べる。
LLMは、ユーザーが非英語で尋ねるときに期待する文化とは無関係な、不適切な英語文化関連の回答を提供することが多い。
論文 参考訳(メタデータ) (2023-10-19T05:38:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。