論文の概要: An Evaluation of Cultural Value Alignment in LLM

• arxiv url: http://arxiv.org/abs/2504.08863v1
• Date: Fri, 11 Apr 2025 09:13:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:55:44.052930
• Title: An Evaluation of Cultural Value Alignment in LLM
• Title（参考訳）: LLMにおける文化的価値アライメントの評価
• Authors: Nicholas Sukiennik, Chen Gao, Fengli Xu, Yong Li,
• Abstract要約: 20カ国の文化と言語を10のLLMで評価し,LLM文化の大規模評価を行った。 以上の結果から,全てのモデルにまたがるアウトプットは中程度の文化的中核となることが示唆された。 より深い調査は、モデルの起源、プロンプト言語、および価値次元が文化的なアウトプットに与える影響に光を当てている。
• 参考スコア（独自算出の注目度）: 27.437888319382893
• License:
• Abstract: LLMs as intelligent agents are being increasingly applied in scenarios where human interactions are involved, leading to a critical concern about whether LLMs are faithful to the variations in culture across regions. Several works have investigated this question in various ways, finding that there are biases present in the cultural representations of LLM outputs. To gain a more comprehensive view, in this work, we conduct the first large-scale evaluation of LLM culture assessing 20 countries' cultures and languages across ten LLMs. With a renowned cultural values questionnaire and by carefully analyzing LLM output with human ground truth scores, we thoroughly study LLMs' cultural alignment across countries and among individual models. Our findings show that the output over all models represents a moderate cultural middle ground. Given the overall skew, we propose an alignment metric, revealing that the United States is the best-aligned country and GLM-4 has the best ability to align to cultural values. Deeper investigation sheds light on the influence of model origin, prompt language, and value dimensions on cultural output. Specifically, models, regardless of where they originate, align better with the US than they do with China. The conclusions provide insight to how LLMs can be better aligned to various cultures as well as provoke further discussion of the potential for LLMs to propagate cultural bias and the need for more culturally adaptable models.
• Abstract（参考訳）: 知的エージェントとしてのLLMは、人間の相互作用が関与するシナリオにおいて、ますます適用されてきている。 いくつかの研究がこの問題を様々な方法で研究し、LCM出力の文化的表現に偏りがあることを発見した。 より包括的視点を得るため,本研究では,10ヶ国にわたる20の文化と言語を評価するLLM文化を大規模に評価する。 優れた文化的価値観のアンケートと人的根拠の真理スコアによるLCMの出力を慎重に分析することにより、LSMの各国および個々のモデル間の文化的アライメントを徹底的に研究する。 以上の結果から,全てのモデルにまたがるアウトプットは中程度の文化的中核となることが示唆された。 全体としては,米国が最良適合国であり,GLM-4が文化的価値観に適合する最善の能力を有することを示すアライメント指標を提案する。 より深い調査は、モデルの起源、プロンプト言語、および価値次元が文化的なアウトプットに与える影響に光を当てている。 特に、モデルがどこから来たかに関わらず、中国よりも米国とよく一致している。 これらの結論は、LLMが様々な文化にどのように適合するかについての洞察を与えるとともに、LLMが文化的バイアスを広める可能性や、より文化的に適応可能なモデルの必要性についてさらなる議論を引き起こしている。

関連論文リスト

• Through the Prism of Culture: Evaluating LLMs' Understanding of Indian Subcultures and Traditions [9.357186653223332]
  インド社会におけるリトル・トラディションを認識し,正確に応答する大規模言語モデルの能力を評価する。 一連のケーススタディを通じて、LLMが支配的なグレートトラディションとローカライズされたリトルトラディションの相互作用のバランスをとることができるかどうかを評価する。 その結果,LLMは文化的ニュアンスを表現できる能力を示す一方で,実践的,文脈特異的なシナリオにこの理解を適用するのに苦慮していることが明らかとなった。
  論文  参考訳（メタデータ） (2025-01-28T06:58:25Z)
• Self-Pluralising Culture Alignment for Large Language Models [36.689491885394034]
  本稿では,大規模言語モデルと多言語文化との整合性を実現するフレームワークであるCultureSPAを提案する。 カルチャー・アウェア/アウェアアウトプットを比較することで、カルチャー関連インスタンスを検出し、収集することができる。 広範囲な実験により、CultureSPAは、一般の能力を損なうことなく、多様な文化へのLCMのアライメントを著しく改善することが示された。
  論文  参考訳（メタデータ） (2024-10-16T19:06:08Z)
• How Well Do LLMs Represent Values Across Cultures? Empirical Analysis of LLM Responses Based on Hofstede Cultural Dimensions [9.275967682881944]
  ユーザの既知の国のステレオタイプ値に基づいて,大規模言語モデルがユーザに対して異なる値を示すかどうかを理解することが重要である。 我々は,5つのホフスティード文化次元に基づく一連のアドバイス要請で,異なるLCMを刺激する。 LLMは、ある価値の一方の側面と他方の側面を区別することができ、また、国が異なる価値を持っていることを理解できます。
  論文  参考訳（メタデータ） (2024-06-21T00:58:01Z)
• Translating Across Cultures: LLMs for Intralingual Cultural Adaptation [12.5954253354303]
  文化適応の課題を定義し,現代LLMの性能を評価するための評価枠組みを構築した。 我々は、自動適応で起こりうる問題を解析する。 本稿は, LLMの文化的理解と, 異文化のシナリオにおける創造性について, より深い知見を提供していくことを願っている。
  論文  参考訳（メタデータ） (2024-06-20T17:06:58Z)
• CulturePark: Boosting Cross-cultural Understanding in Large Language Models [63.452948673344395]
  本稿では,LLMを利用した文化データ収集のためのマルチエージェント通信フレームワークであるCultureParkを紹介する。 人間の信念、規範、習慣をカプセル化した高品質な異文化対話を生成する。 我々はこれらのモデルを,コンテンツモデレーション,文化的アライメント,文化教育という3つの下流課題にまたがって評価する。
  論文  参考訳（メタデータ） (2024-05-24T01:49:02Z)
• Understanding the Capabilities and Limitations of Large Language Models for Cultural Commonsense [98.09670425244462]
  大規模言語モデル(LLM)は、かなりの常識的理解を示している。 本稿では,文化的コモンセンスタスクの文脈におけるいくつかの最先端LCMの能力と限界について検討する。
  論文  参考訳（メタデータ） (2024-05-07T20:28:34Z)
• CULTURE-GEN: Revealing Global Cultural Perception in Language Models through Natural Language Prompting [73.94059188347582]
  110か国・地域での3つのSOTAモデルの文化認識を,文化条件付き世代を通して8つの文化関連トピックについて明らかにした。 文化条件付き世代は、デフォルトの文化と区別される余分な文化を区別する言語的な「マーカー」から成り立っていることが判明した。
  論文  参考訳（メタデータ） (2024-04-16T00:50:43Z)
• Does Mapo Tofu Contain Coffee? Probing LLMs for Food-related Cultural Knowledge [47.57055368312541]
  FmLAMA(FmLAMA)は、食品関連の文化的事実と食実践のバリエーションに着目した多言語データセットである。 我々は,LLMを様々なアーキテクチャや構成にわたって分析し,その性能を単言語と多言語の両方で評価する。
  論文  参考訳（メタデータ） (2024-04-10T08:49:27Z)
• CulturalTeaming: AI-Assisted Interactive Red-Teaming for Challenging LLMs' (Lack of) Multicultural Knowledge [69.82940934994333]
  我々は、人間とAIのコラボレーションを活用して、挑戦的な評価データセットを構築するインタラクティブなレッドチームシステムであるCulturalTeamingを紹介する。 我々の研究は、CulturalTeamingの様々なAI支援モードが、文化的な質問の作成においてアノテータを支援することを明らかにした。 CULTURALBENCH-V0.1は、ユーザのリピートの試みにより、コンパクトだが高品質な評価データセットである。
  論文  参考訳（メタデータ） (2024-04-10T00:25:09Z)
• Cultural Alignment in Large Language Models: An Explanatory Analysis Based on Hofstede's Cultural Dimensions [10.415002561977655]
  本研究は,ホフステデの文化次元の枠組みを用いて文化的アライメントを定量化する文化アライメントテスト (Hoftede's CAT) を提案する。 我々は、米国、中国、アラブ諸国といった地域の文化的側面に対して、大規模言語モデル(LLM)を定量的に評価する。 その結果, LLMの文化的アライメントを定量化し, 説明的文化的次元におけるLCMの差異を明らかにすることができた。
  論文  参考訳（メタデータ） (2023-08-25T14:50:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。