Fugu-MT 論文翻訳(概要): An Evaluation of Cultural Value Alignment in LLM

論文の概要: An Evaluation of Cultural Value Alignment in LLM

arxiv url: http://arxiv.org/abs/2504.08863v1
Date: Fri, 11 Apr 2025 09:13:19 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-25 03:13:10.675667
Title: An Evaluation of Cultural Value Alignment in LLM
Title（参考訳）: LLMにおける文化的価値アライメントの評価
Authors: Nicholas Sukiennik, Chen Gao, Fengli Xu, Yong Li,
Abstract要約: 20カ国の文化と言語を10のLLMで評価し,LLM文化の大規模評価を行った。以上の結果から,全てのモデルにまたがるアウトプットは中程度の文化的中核となることが示唆された。より深い調査は、モデルの起源、プロンプト言語、および価値次元が文化的なアウトプットに与える影響に光を当てている。
参考スコア（独自算出の注目度）: 27.437888319382893
License: http://creativecommons.org/licenses/by/4.0/
Abstract: LLMs as intelligent agents are being increasingly applied in scenarios where human interactions are involved, leading to a critical concern about whether LLMs are faithful to the variations in culture across regions. Several works have investigated this question in various ways, finding that there are biases present in the cultural representations of LLM outputs. To gain a more comprehensive view, in this work, we conduct the first large-scale evaluation of LLM culture assessing 20 countries' cultures and languages across ten LLMs. With a renowned cultural values questionnaire and by carefully analyzing LLM output with human ground truth scores, we thoroughly study LLMs' cultural alignment across countries and among individual models. Our findings show that the output over all models represents a moderate cultural middle ground. Given the overall skew, we propose an alignment metric, revealing that the United States is the best-aligned country and GLM-4 has the best ability to align to cultural values. Deeper investigation sheds light on the influence of model origin, prompt language, and value dimensions on cultural output. Specifically, models, regardless of where they originate, align better with the US than they do with China. The conclusions provide insight to how LLMs can be better aligned to various cultures as well as provoke further discussion of the potential for LLMs to propagate cultural bias and the need for more culturally adaptable models.
Abstract（参考訳）: 知的エージェントとしてのLLMは、人間の相互作用が関与するシナリオにおいて、ますます適用されてきている。いくつかの研究がこの問題を様々な方法で研究し、LCM出力の文化的表現に偏りがあることを発見した。より包括的視点を得るため,本研究では,10ヶ国にわたる20の文化と言語を評価するLLM文化を大規模に評価する。優れた文化的価値観のアンケートと人的根拠の真理スコアによるLCMの出力を慎重に分析することにより、LSMの各国および個々のモデル間の文化的アライメントを徹底的に研究する。以上の結果から,全てのモデルにまたがるアウトプットは中程度の文化的中核となることが示唆された。全体としては,米国が最良適合国であり,GLM-4が文化的価値観に適合する最善の能力を有することを示すアライメント指標を提案する。より深い調査は、モデルの起源、プロンプト言語、および価値次元が文化的なアウトプットに与える影響に光を当てている。特に、モデルがどこから来たかに関わらず、中国よりも米国とよく一致している。これらの結論は、LLMが様々な文化にどのように適合するかについての洞察を与えるとともに、LLMが文化的バイアスを広める可能性や、より文化的に適応可能なモデルの必要性についてさらなる議論を引き起こしている。

関連論文リスト

CAReDiO: Cultural Alignment of LLM via Representativeness and Distinctiveness Guided Data Optimization [50.90288681622152]
大規模言語モデル(LLM)は、より深く様々な地域における人間の生活に統合される。既存のアプローチは、文化固有のコーパスを微調整することで、文化的に整合したLCMを開発する。本稿では,新しい文化データ構築フレームワークであるCAReDiOを紹介する。
論文参考訳（メタデータ） (2025-04-09T13:40:13Z)
Cultural Learning-Based Culture Adaptation of Language Models [70.1063219524999]
大きな言語モデル(LLM)をさまざまな文化的価値に適用することは難しい課題です。文化的学習に基づくLLMと文化的価値との整合性を高めるための新しい枠組みであるCLCAについて述べる。
論文参考訳（メタデータ） (2025-04-03T18:16:26Z)
Meta-Cultural Competence: Climbing the Right Hill of Cultural Awareness [11.98067475490853]
我々は、それは文化的な認識や知識ではなく、AIシステムに必要なメタ文化的能力であると主張している。メタカルチャー・コンピテンスAIシステムの原則を概説し、それらを測定・モデル化する方法について議論する。
論文参考訳（メタデータ） (2025-02-09T04:51:59Z)
Through the Prism of Culture: Evaluating LLMs' Understanding of Indian Subcultures and Traditions [9.357186653223332]
インド社会におけるリトル・トラディションを認識し,正確に応答する大規模言語モデルの能力を評価する。一連のケーススタディを通じて、LLMが支配的なグレートトラディションとローカライズされたリトルトラディションの相互作用のバランスをとることができるかどうかを評価する。その結果,LLMは文化的ニュアンスを表現できる能力を示す一方で,実践的,文脈特異的なシナリオにこの理解を適用するのに苦慮していることが明らかとなった。
論文参考訳（メタデータ） (2025-01-28T06:58:25Z)
Self-Pluralising Culture Alignment for Large Language Models [36.689491885394034]
本稿では,大規模言語モデルと多言語文化との整合性を実現するフレームワークであるCultureSPAを提案する。カルチャー・アウェア/アウェアアウトプットを比較することで、カルチャー関連インスタンスを検出し、収集することができる。広範囲な実験により、CultureSPAは、一般の能力を損なうことなく、多様な文化へのLCMのアライメントを著しく改善することが示された。
論文参考訳（メタデータ） (2024-10-16T19:06:08Z)
How Well Do LLMs Represent Values Across Cultures? Empirical Analysis of LLM Responses Based on Hofstede Cultural Dimensions [9.275967682881944]
ユーザの既知の国のステレオタイプ値に基づいて,大規模言語モデルがユーザに対して異なる値を示すかどうかを理解することが重要である。我々は,5つのホフスティード文化次元に基づく一連のアドバイス要請で,異なるLCMを刺激する。 LLMは、ある価値の一方の側面と他方の側面を区別することができ、また、国が異なる価値を持っていることを理解できます。
論文参考訳（メタデータ） (2024-06-21T00:58:01Z)
Translating Across Cultures: LLMs for Intralingual Cultural Adaptation [12.5954253354303]
文化適応の課題を定義し,現代LLMの性能を評価するための評価枠組みを構築した。我々は、自動適応で起こりうる問題を解析する。本稿は, LLMの文化的理解と, 異文化のシナリオにおける創造性について, より深い知見を提供していくことを願っている。
論文参考訳（メタデータ） (2024-06-20T17:06:58Z)
Understanding the Capabilities and Limitations of Large Language Models for Cultural Commonsense [98.09670425244462]
大規模言語モデル(LLM)は、かなりの常識的理解を示している。本稿では,文化的コモンセンスタスクの文脈におけるいくつかの最先端LCMの能力と限界について検討する。
論文参考訳（メタデータ） (2024-05-07T20:28:34Z)
CULTURE-GEN: Revealing Global Cultural Perception in Language Models through Natural Language Prompting [73.94059188347582]
110か国・地域での3つのSOTAモデルの文化認識を,文化条件付き世代を通して8つの文化関連トピックについて明らかにした。文化条件付き世代は、デフォルトの文化と区別される余分な文化を区別する言語的な「マーカー」から成り立っていることが判明した。
論文参考訳（メタデータ） (2024-04-16T00:50:43Z)
Does Mapo Tofu Contain Coffee? Probing LLMs for Food-related Cultural Knowledge [47.57055368312541]
FmLAMA(FmLAMA)は、食品関連の文化的事実と食実践のバリエーションに着目した多言語データセットである。我々は,LLMを様々なアーキテクチャや構成にわたって分析し,その性能を単言語と多言語の両方で評価する。
論文参考訳（メタデータ） (2024-04-10T08:49:27Z)
CulturalTeaming: AI-Assisted Interactive Red-Teaming for Challenging LLMs' (Lack of) Multicultural Knowledge [69.82940934994333]
我々は、人間とAIのコラボレーションを活用して、挑戦的な評価データセットを構築するインタラクティブなレッドチームシステムであるCulturalTeamingを紹介する。我々の研究は、CulturalTeamingの様々なAI支援モードが、文化的な質問の作成においてアノテータを支援することを明らかにした。 CULTURALBENCH-V0.1は、ユーザのリピートの試みにより、コンパクトだが高品質な評価データセットである。
論文参考訳（メタデータ） (2024-04-10T00:25:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。