論文の概要: LLMs as mirrors of societal moral standards: reflection of cultural divergence and agreement across ethical topics

• arxiv url: http://arxiv.org/abs/2412.00962v1
• Date: Sun, 01 Dec 2024 20:39:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:49:36.426228
• Title: LLMs as mirrors of societal moral standards: reflection of cultural divergence and agreement across ethical topics
• Title（参考訳）: 社会的道徳基準のミラーとしてのLLM--文化的多様性と倫理的トピック間の合意の反映
• Authors: Mijntje Meijer, Hadi Mohammadi, Ayoub Bagheri,
• Abstract要約: 大規模言語モデル(LLM)は、そのパフォーマンス能力の最近の進歩により、様々な領域においてますます重要になっている。 本研究は,LLMが道徳的視点において,異文化間の差異や類似性を正確に反映しているかどうかを考察する。
• 参考スコア（独自算出の注目度）: 0.5852077003870417
• License:
• Abstract: Large language models (LLMs) have become increasingly pivotal in various domains due the recent advancements in their performance capabilities. However, concerns persist regarding biases in LLMs, including gender, racial, and cultural biases derived from their training data. These biases raise critical questions about the ethical deployment and societal impact of LLMs. Acknowledging these concerns, this study investigates whether LLMs accurately reflect cross-cultural variations and similarities in moral perspectives. In assessing whether the chosen LLMs capture patterns of divergence and agreement on moral topics across cultures, three main methods are employed: (1) comparison of model-generated and survey-based moral score variances, (2) cluster alignment analysis to evaluate the correspondence between country clusters derived from model-generated moral scores and those derived from survey data, and (3) probing LLMs with direct comparative prompts. All three methods involve the use of systematic prompts and token pairs designed to assess how well LLMs understand and reflect cultural variations in moral attitudes. The findings of this study indicate overall variable and low performance in reflecting cross-cultural differences and similarities in moral values across the models tested, highlighting the necessity for improving models' accuracy in capturing these nuances effectively. The insights gained from this study aim to inform discussions on the ethical development and deployment of LLMs in global contexts, emphasizing the importance of mitigating biases and promoting fair representation across diverse cultural perspectives.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、そのパフォーマンス能力の最近の進歩により、様々な領域においてますます重要になっている。 しかし、性、人種、文化的偏見など、LSMのバイアスに関する懸念は続く。 これらのバイアスは、LLMの倫理的展開と社会的影響について批判的な疑問を提起する。 これらの懸念を認識し,LLMが道徳的視点における異文化間の差異や類似性を正確に反映しているかどうかを考察した。 選抜されたLLMが、文化全体にわたるモラルトピックのばらつきと合意のパターンを捉えているかどうかを評価するために、(1)モデル生成とサーベイに基づくモラルスコアの分散の比較、(2)モデル生成のモラルスコアとサーベイデータから得られたカントリークラスタの対応性を評価するクラスタアライメント分析、(3)直接比較プロンプトによるLCMの探索の3つの主要な手法を用いる。 これら3つの手法は全て、LLMが道徳的態度における文化的変化をいかに理解し、反映するかを評価するために設計された体系的なプロンプトとトークンペアの使用を含んでいる。 本研究は, これらのニュアンスを効果的に捉える上で, モデル精度の向上の必要性を浮き彫りにした。 本研究から得られた知見は,世界的文脈におけるLLMの倫理的発展と展開について,バイアス緩和の重要性を強調し,多様な文化的観点から公正な表現を促進することを目的としている。

関連論文リスト

• Normative Evaluation of Large Language Models with Everyday Moral Dilemmas [0.0]
  Reddit 上の "Am I the Asshole" (AITA) コミュニティから得られた複雑で日常的な道徳的ジレンマに基づいて,大規模言語モデル (LLM) を評価する。 以上の結果から,AITAサブレディットにおける人的評価とは大きく異なる,大きな言語モデルでは道徳的判断のパターンが異なることが示唆された。
  論文  参考訳（メタデータ） (2025-01-30T01:29:46Z)
• Value Compass Leaderboard: A Platform for Fundamental and Validated Evaluation of LLMs Values [76.70893269183684]
  大きな言語モデル(LLM)は目覚ましいブレークスルーを達成し、その価値を人間と一致させることが必須になっている。 既存の評価は、バイアスや毒性といった安全性のリスクに焦点を絞っている。 既存のベンチマークはデータ汚染の傾向があります。 個人や文化にまたがる人的価値の多元的性質は、LLM値アライメントの測定において無視される。
  論文  参考訳（メタデータ） (2025-01-13T05:53:56Z)
• Toward Inclusive Educational AI: Auditing Frontier LLMs through a Multiplexity Lens [1.094065133109559]
  本稿では,大規模言語モデル(LLM)における文化的バイアスの評価と緩和のための枠組みを提案する。 分析の結果,LLMには文化的偏極が頻繁に見られ,バイアスは過度にも微妙にも現れることがわかった。 システムプロンプトに直接多重化原理を組み込む textitContextual-Implemented Multiplex LLM と、複数の LLM エージェントがそれぞれ異なる文化的視点を表現し、バランスよく合成された応答を協調的に生成する textitMulti-Agent System (MAS)-Implemented Multiplex LLM という2つの戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-02T11:27:08Z)
• Global MMLU: Understanding and Addressing Cultural and Linguistic Biases in Multilingual Evaluation [71.59208664920452]
  多言語データセットの文化的バイアスは、グローバルベンチマークとしての有効性に重大な課題をもたらす。 MMLUの進歩は西洋中心の概念の学習に大きく依存しており、文化に敏感な知識を必要とする質問の28%がそうである。 改良されたMMLUであるGlobal MMLUをリリースし,42言語を対象に評価を行った。
  論文  参考訳（メタデータ） (2024-12-04T13:27:09Z)
• Large Language Models as Mirrors of Societal Moral Standards [0.5852077003870417]
  言語モデルは、限られた範囲において、様々な文化的文脈において道徳的規範を表現することができる。 本研究は,40か国以上の道徳的視点を包含するWVSとPEWという2つの調査から得られた情報を用いて,これらのモデルの有効性を評価する。 その結果、偏見は単言語モデルと多言語モデルの両方に存在することが示され、それらは通常、多様な文化の道徳的複雑さを正確に捉えるには不十分である。
  論文  参考訳（メタデータ） (2024-12-01T20:20:35Z)
• LLM-GLOBE: A Benchmark Evaluating the Cultural Values Embedded in LLM Output [8.435090588116973]
  LLMの文化的価値システムを評価するためのLLM-GLOBEベンチマークを提案する。 次に、このベンチマークを利用して、中国とアメリカのLLMの値を比較します。 提案手法は,オープンエンドコンテンツの評価を自動化する新しい"LLMs-as-a-Jury"パイプラインを含む。
  論文  参考訳（メタデータ） (2024-11-09T01:38:55Z)
• Large Language Models Reflect the Ideology of their Creators [71.65505524599888]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 本稿では, LLMのイデオロギー的姿勢が創造者の世界観を反映していることを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Hate Personified: Investigating the role of LLMs in content moderation [64.26243779985393]
  ヘイト検出などの主観的タスクでは,人々が嫌悪感を知覚する場合には,多様なグループを表現できるLarge Language Model(LLM)の能力は不明確である。 追加の文脈をプロンプトに含めることで、LLMの地理的プライミングに対する感受性、ペルソナ属性、数値情報を分析し、様々なグループのニーズがどの程度反映されているかを評価する。
  論文  参考訳（メタデータ） (2024-10-03T16:43:17Z)
• Surveying Attitudinal Alignment Between Large Language Models Vs. Humans Towards 17 Sustainable Development Goals [28.98314322374492]
  大規模言語モデル(LLM)は、国連の持続可能な開発目標を推進するための強力なツールとして登場した。 本研究は, LLM の17 SDG に対する態度に関する文献の総合的なレビューと分析を行う。 本研究は,理解と感情,文化的・地域的差異,課題目的の変化,意思決定プロセスにおいて考慮される要因など,潜在的な相違について検討する。
  論文  参考訳（メタデータ） (2024-04-22T05:12:52Z)
• Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
  LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。 価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。