論文の概要: How Well Do LLMs Represent Values Across Cultures? Empirical Analysis of LLM Responses Based on Hofstede Cultural Dimensions

• arxiv url: http://arxiv.org/abs/2406.14805v1
• Date: Fri, 21 Jun 2024 00:58:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-24 15:02:37.146450
• Title: How Well Do LLMs Represent Values Across Cultures? Empirical Analysis of LLM Responses Based on Hofstede Cultural Dimensions
• Title（参考訳）: LLMは文化全体の価値をどのように表現するか : ホフスティード文化次元に基づくLCM応答の実証分析
• Authors: Julia Kharchenko, Tanya Roosta, Aman Chadha, Chirag Shah,
• Abstract要約: ユーザの既知の国のステレオタイプ値に基づいて,大規模言語モデルがユーザに対して異なる値を示すかどうかを理解することが重要である。 我々は,5つのホフスティード文化次元に基づく一連のアドバイス要請で,異なるLCMを刺激する。 LLMは、ある価値の一方の側面と他方の側面を区別することができ、また、国が異なる価値を持っていることを理解できます。
• 参考スコア（独自算出の注目度）: 9.275967682881944
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Language Models (LLMs) attempt to imitate human behavior by responding to humans in a way that pleases them, including by adhering to their values. However, humans come from diverse cultures with different values. It is critical to understand whether LLMs showcase different values to the user based on the stereotypical values of a user's known country. We prompt different LLMs with a series of advice requests based on 5 Hofstede Cultural Dimensions -- a quantifiable way of representing the values of a country. Throughout each prompt, we incorporate personas representing 36 different countries and, separately, languages predominantly tied to each country to analyze the consistency in the LLMs' cultural understanding. Through our analysis of the responses, we found that LLMs can differentiate between one side of a value and another, as well as understand that countries have differing values, but will not always uphold the values when giving advice, and fail to understand the need to answer differently based on different cultural values. Rooted in these findings, we present recommendations for training value-aligned and culturally sensitive LLMs. More importantly, the methodology and the framework developed here can help further understand and mitigate culture and language alignment issues with LLMs.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、人間に反応して人間の振る舞いを模倣しようと試みる。 しかし、人間は異なる価値を持つ多様な文化から来ています。 LLMは、ユーザの既知の国のステレオタイプ値に基づいて、ユーザに対して異なる値を示すかどうかを理解することが重要である。 我々は、各国の価値観を表す定量的な方法である5つのホフスティード文化次元に基づく一連のアドバイス要求により、異なるLCMを刺激する。 それぞれのプロンプトを通じて、36の異なる国を代表するペルソナと、それぞれの国に主に結びついている言語を組み込んで、LLMの文化的理解の一貫性を分析する。 分析の結果,LDMは価値の一方の側面と他方の側面を区別することができ,また,各国が異なる価値を持っていることは理解できたが,アドバイスを行う際には常に価値を守ろうとするわけではなく,異なる文化的価値に基づいて異なる回答を行う必要性を理解できなかった。 本研究は,これらの知見を引用し,価値と文化に敏感なLCMの育成を推奨する。 さらに重要なのは、ここで開発された方法論とフレームワークは、LLMによる文化や言語アライメントの問題をさらに理解し緩和するのに役立ちます。

関連論文リスト

• Large Language Models Reflect the Ideology of their Creators [73.25935570218375]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 異なるLLMや言語にまたがるイデオロギー的姿勢の顕著な多様性を明らかにする。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Self-Pluralising Culture Alignment for Large Language Models [36.689491885394034]
  本稿では,大規模言語モデルと多言語文化との整合性を実現するフレームワークであるCultureSPAを提案する。 カルチャー・アウェア/アウェアアウトプットを比較することで、カルチャー関連インスタンスを検出し、収集することができる。 広範囲な実験により、CultureSPAは、一般の能力を損なうことなく、多様な文化へのLCMのアライメントを著しく改善することが示された。
  論文  参考訳（メタデータ） (2024-10-16T19:06:08Z)
• Hate Personified: Investigating the role of LLMs in content moderation [64.26243779985393]
  ヘイト検出などの主観的タスクでは,人々が嫌悪感を知覚する場合には,多様なグループを表現できるLarge Language Model(LLM)の能力は不明確である。 追加の文脈をプロンプトに含めることで、LLMの地理的プライミングに対する感受性、ペルソナ属性、数値情報を分析し、様々なグループのニーズがどの程度反映されているかを評価する。
  論文  参考訳（メタデータ） (2024-10-03T16:43:17Z)
• Self-Alignment: Improving Alignment of Cultural Values in LLMs via In-Context Learning [13.034603322224548]
  In-context Learning(ICL)とヒューマンサーベイデータを組み合わせた簡易で安価な手法を提案する。 本手法は、英語以外のテスト言語で有用であることが証明され、文化的に多種多様な国に対応する文化的価値との整合性を向上させることができる。
  論文  参考訳（メタデータ） (2024-08-29T12:18:04Z)
• Cultural Value Differences of LLMs: Prompt, Language, and Model Size [35.176429953825924]
  本研究の目的は,大規模言語モデル(LLM)による文化的価値の行動パターンの同定である。 研究された変種には、質問の順序付け、プロンプト言語、モデルサイズが含まれる。 実験の結果,LLMのクエリ言語とモデルサイズが文化的価値の相違をもたらす主な要因であることが判明した。
  論文  参考訳（メタデータ） (2024-06-17T12:35:33Z)
• Understanding the Capabilities and Limitations of Large Language Models for Cultural Commonsense [98.09670425244462]
  大規模言語モデル(LLM)は、かなりの常識的理解を示している。 本稿では,文化的コモンセンスタスクの文脈におけるいくつかの最先端LCMの能力と限界について検討する。
  論文  参考訳（メタデータ） (2024-05-07T20:28:34Z)
• CULTURE-GEN: Revealing Global Cultural Perception in Language Models through Natural Language Prompting [73.94059188347582]
  110か国・地域での3つのSOTAモデルの文化認識を,文化条件付き世代を通して8つの文化関連トピックについて明らかにした。 文化条件付き世代は、デフォルトの文化と区別される余分な文化を区別する言語的な「マーカー」から成り立っていることが判明した。
  論文  参考訳（メタデータ） (2024-04-16T00:50:43Z)
• CulturalTeaming: AI-Assisted Interactive Red-Teaming for Challenging LLMs' (Lack of) Multicultural Knowledge [69.82940934994333]
  我々は、人間とAIのコラボレーションを活用して、挑戦的な評価データセットを構築するインタラクティブなレッドチームシステムであるCulturalTeamingを紹介する。 我々の研究は、CulturalTeamingの様々なAI支援モードが、文化的な質問の作成においてアノテータを支援することを明らかにした。 CULTURALBENCH-V0.1は、ユーザのリピートの試みにより、コンパクトだが高品質な評価データセットである。
  論文  参考訳（メタデータ） (2024-04-10T00:25:09Z)
• Assessing LLMs for Moral Value Pluralism [2.860608352191896]
  我々は、認識値共鳴(RVR)NLPモデルを用いて、与えられたテキストの文節に共鳴し矛盾する世界価値調査(WVS)値を特定する。 LLMはいくつかの西洋中心の値バイアスを示す。 以上の結果から,社会科学に情報提供された技術ソリューションの必要性が浮き彫りになった。
  論文  参考訳（メタデータ） (2023-12-08T16:18:15Z)
• Heterogeneous Value Alignment Evaluation for Large Language Models [91.96728871418]
  大規模言語モデル(LLM)は、その価値を人間のものと整合させることを重要視している。 本研究では,LLMと不均一値の整合性を評価するため,不均一値アライメント評価(HVAE)システムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T02:34:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。