論文の概要: Assessing LLMs for Moral Value Pluralism

• arxiv url: http://arxiv.org/abs/2312.10075v1
• Date: Fri, 8 Dec 2023 16:18:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-15 13:48:31.884170
• Title: Assessing LLMs for Moral Value Pluralism
• Title（参考訳）: 道徳価値多元主義におけるllmの評価
• Authors: Noam Benkler, Drisana Mosaphir, Scott Friedman, Andrew Smart, Sonja Schmer-Galunder
• Abstract要約: 我々は、認識値共鳴(RVR)NLPモデルを用いて、与えられたテキストの文節に共鳴し矛盾する世界価値調査(WVS)値を特定する。 LLMはいくつかの西洋中心の値バイアスを示す。 以上の結果から,社会科学に情報提供された技術ソリューションの必要性が浮き彫りになった。
• 参考スコア（独自算出の注目度）: 2.860608352191896
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The fields of AI current lacks methods to quantitatively assess and potentially alter the moral values inherent in the output of large language models (LLMs). However, decades of social science research has developed and refined widely-accepted moral value surveys, such as the World Values Survey (WVS), eliciting value judgments from direct questions in various geographies. We have turned those questions into value statements and use NLP to compute to how well popular LLMs are aligned with moral values for various demographics and cultures. While the WVS is accepted as an explicit assessment of values, we lack methods for assessing implicit moral and cultural values in media, e.g., encountered in social media, political rhetoric, narratives, and generated by AI systems such as LLMs that are increasingly present in our daily lives. As we consume online content and utilize LLM outputs, we might ask, which moral values are being implicitly promoted or undercut, or -- in the case of LLMs -- if they are intending to represent a cultural identity, are they doing so consistently? In this paper we utilize a Recognizing Value Resonance (RVR) NLP model to identify WVS values that resonate and conflict with a given passage of output text. We apply RVR to the text generated by LLMs to characterize implicit moral values, allowing us to quantify the moral/cultural distance between LLMs and various demographics that have been surveyed using the WVS. In line with other work we find that LLMs exhibit several Western-centric value biases; they overestimate how conservative people in non-Western countries are, they are less accurate in representing gender for non-Western countries, and portray older populations as having more traditional values. Our results highlight value misalignment and age groups, and a need for social science informed technological solutions addressing value plurality in LLMs.
• Abstract（参考訳）: AI電流の分野には、大規模言語モデル(LLM)の出力に固有の道徳的価値を定量的に評価し、潜在的に変化させる方法がない。 しかし、社会科学研究の数十年間、世界価値調査(wvs)のような広く受け入れられた道徳的価値調査が発展し、様々な地理学の直接的疑問から価値判断を引き出した。 我々はこれらの質問を価値ステートメントに変え、NLPを使って、様々な人口統計学や文化の道徳的価値とどのように調和しているかを計算した。 wvsは価値の明示的な評価として受け入れられているが、ソーシャルメディア、政治的修辞、物語、そして日々の生活にますます存在するllmのようなaiシステムによって生成されるメディアにおける暗黙の道徳的、文化的価値を評価する方法が欠けている。 オンラインコンテンツを消費し、llmのアウトプットを利用するとき、どの道徳的価値が暗黙的に宣伝されているか、または、(llmの場合)、彼らが文化的なアイデンティティを表現しようとしているなら、彼らは一貫してやっているのだろうか? 本稿では、RVR(Recognizing Value Resonance) NLPモデルを用いて、与えられた出力テキストに共鳴し、矛盾するWVS値を特定する。 我々は、LLMが生成したテキストにRVRを適用し、暗黙の道徳的価値を特徴づけ、LLMとWVSを用いて調査された様々な人口層の間の道徳的・文化的距離を定量化することができる。 彼らは非西洋諸国の保守的な人々について過大評価しており、非西洋諸国の性別を表す上では正確性が低く、より伝統的な価値を持っていると表現している。 以上の結果から,LLMの複数の価値に対処する社会科学的な技術ソリューションの必要性が浮き彫りとなった。

関連論文リスト

• Large Language Models Reflect the Ideology of their Creators [73.25935570218375]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 異なるLLMや言語にまたがるイデオロギー的姿勢の顕著な多様性を明らかにする。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Do LLMs have Consistent Values? [27.58375296918161]
  大規模言語モデル(LLM)技術は、人間のような対話に向けて常に改善されている。 価値は人間の行動の基礎となる基本的な推進力であるが、LLMによって生成されたテキストで表される価値を研究するための研究はほとんど行われていない。 我々は,LLMが,値のランク付けや値の相関など,人間で実証されたのと同じ値構造を示すかどうかを問う。
  論文  参考訳（メタデータ） (2024-07-16T08:58:00Z)
• How Well Do LLMs Represent Values Across Cultures? Empirical Analysis of LLM Responses Based on Hofstede Cultural Dimensions [9.275967682881944]
  ユーザの既知の国のステレオタイプ値に基づいて,大規模言語モデルがユーザに対して異なる値を示すかどうかを理解することが重要である。 我々は,5つのホフスティード文化次元に基づく一連のアドバイス要請で,異なるLCMを刺激する。 LLMは、ある価値の一方の側面と他方の側面を区別することができ、また、国が異なる価値を持っていることを理解できます。
  論文  参考訳（メタデータ） (2024-06-21T00:58:01Z)
• Beyond Human Norms: Unveiling Unique Values of Large Language Models through Interdisciplinary Approaches [69.73783026870998]
  本研究では,大言語モデルの固有値システムをスクラッチから再構築する新しいフレームワークであるValueLexを提案する。 語彙仮説に基づいて、ValueLexは30以上のLLMから様々な値を引き出すための生成的アプローチを導入している。 我々は,3つのコア値次元,能力,キャラクタ,積分をそれぞれ特定の部分次元で同定し,LLMが非人間的だが構造化された価値体系を持っていることを明らかにした。
  論文  参考訳（メタデータ） (2024-04-19T09:44:51Z)
• Political Compass or Spinning Arrow? Towards More Meaningful Evaluations for Values and Opinions in Large Language Models [61.45529177682614]
  我々は,大規模言語モデルにおける価値と意見の制約評価パラダイムに挑戦する。 強制されない場合、モデルが実質的に異なる答えを与えることを示す。 我々はこれらの知見をLLMの価値と意見を評価するための推奨とオープンな課題に抽出する。
  論文  参考訳（メタデータ） (2024-02-26T18:00:49Z)
• Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
  LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。 価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• Denevil: Towards Deciphering and Navigating the Ethical Values of Large Language Models via Instruction Learning [36.66806788879868]
  大きな言語モデル(LLM)は前例のない突破口をたどったが、彼らの日常生活への統合は非倫理的コンテンツによって社会的リスクを引き起こす可能性がある。 この研究はモラル・ファンデーション理論を利用した倫理的価値を論じている。
  論文  参考訳（メタデータ） (2023-10-17T07:42:40Z)
• Heterogeneous Value Alignment Evaluation for Large Language Models [91.96728871418]
  大規模言語モデル(LLM)は、その価値を人間のものと整合させることを重要視している。 本研究では,LLMと不均一値の整合性を評価するため,不均一値アライメント評価(HVAE)システムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T02:34:20Z)
• Whose Opinions Do Language Models Reflect? [88.35520051971538]
  質の高い世論調査と関連する人的反応を利用して,言語モデル(LM)に反映された意見を検討する。 我々は、現在のLMが反映している見解と、アメリカの人口集団の見解の間にかなりの不一致を見出した。 我々の分析は、人間のフィードバック調整されたLMの左利き傾向に関する事前の観察を裏付けるものである。
  論文  参考訳（メタデータ） (2023-03-30T17:17:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。