論文の概要: Assessing LLMs for Moral Value Pluralism
- arxiv url: http://arxiv.org/abs/2312.10075v1
- Date: Fri, 8 Dec 2023 16:18:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-15 13:48:31.884170
- Title: Assessing LLMs for Moral Value Pluralism
- Title(参考訳): 道徳価値多元主義におけるllmの評価
- Authors: Noam Benkler, Drisana Mosaphir, Scott Friedman, Andrew Smart, Sonja
Schmer-Galunder
- Abstract要約: 我々は、認識値共鳴(RVR)NLPモデルを用いて、与えられたテキストの文節に共鳴し矛盾する世界価値調査(WVS)値を特定する。
LLMはいくつかの西洋中心の値バイアスを示す。
以上の結果から,社会科学に情報提供された技術ソリューションの必要性が浮き彫りになった。
- 参考スコア(独自算出の注目度): 2.860608352191896
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The fields of AI current lacks methods to quantitatively assess and
potentially alter the moral values inherent in the output of large language
models (LLMs). However, decades of social science research has developed and
refined widely-accepted moral value surveys, such as the World Values Survey
(WVS), eliciting value judgments from direct questions in various geographies.
We have turned those questions into value statements and use NLP to compute to
how well popular LLMs are aligned with moral values for various demographics
and cultures. While the WVS is accepted as an explicit assessment of values, we
lack methods for assessing implicit moral and cultural values in media, e.g.,
encountered in social media, political rhetoric, narratives, and generated by
AI systems such as LLMs that are increasingly present in our daily lives. As we
consume online content and utilize LLM outputs, we might ask, which moral
values are being implicitly promoted or undercut, or -- in the case of LLMs --
if they are intending to represent a cultural identity, are they doing so
consistently? In this paper we utilize a Recognizing Value Resonance (RVR) NLP
model to identify WVS values that resonate and conflict with a given passage of
output text. We apply RVR to the text generated by LLMs to characterize
implicit moral values, allowing us to quantify the moral/cultural distance
between LLMs and various demographics that have been surveyed using the WVS. In
line with other work we find that LLMs exhibit several Western-centric value
biases; they overestimate how conservative people in non-Western countries are,
they are less accurate in representing gender for non-Western countries, and
portray older populations as having more traditional values. Our results
highlight value misalignment and age groups, and a need for social science
informed technological solutions addressing value plurality in LLMs.
- Abstract(参考訳): AI電流の分野には、大規模言語モデル(LLM)の出力に固有の道徳的価値を定量的に評価し、潜在的に変化させる方法がない。
しかし、社会科学研究の数十年間、世界価値調査(wvs)のような広く受け入れられた道徳的価値調査が発展し、様々な地理学の直接的疑問から価値判断を引き出した。
我々はこれらの質問を価値ステートメントに変え、NLPを使って、様々な人口統計学や文化の道徳的価値とどのように調和しているかを計算した。
wvsは価値の明示的な評価として受け入れられているが、ソーシャルメディア、政治的修辞、物語、そして日々の生活にますます存在するllmのようなaiシステムによって生成されるメディアにおける暗黙の道徳的、文化的価値を評価する方法が欠けている。
オンラインコンテンツを消費し、llmのアウトプットを利用するとき、どの道徳的価値が暗黙的に宣伝されているか、または、(llmの場合)、彼らが文化的なアイデンティティを表現しようとしているなら、彼らは一貫してやっているのだろうか?
本稿では、RVR(Recognizing Value Resonance) NLPモデルを用いて、与えられた出力テキストに共鳴し、矛盾するWVS値を特定する。
我々は、LLMが生成したテキストにRVRを適用し、暗黙の道徳的価値を特徴づけ、LLMとWVSを用いて調査された様々な人口層の間の道徳的・文化的距離を定量化することができる。
彼らは非西洋諸国の保守的な人々について過大評価しており、非西洋諸国の性別を表す上では正確性が低く、より伝統的な価値を持っていると表現している。
以上の結果から,LLMの複数の価値に対処する社会科学的な技術ソリューションの必要性が浮き彫りとなった。
関連論文リスト
- Political Compass or Spinning Arrow? Towards More Meaningful Evaluations
for Values and Opinions in Large Language Models [32.02697384213719]
我々は,大規模言語モデルにおける価値と意見の制約評価パラダイムに挑戦する。
強制されない場合、モデルが実質的に異なる答えを与えることを示す。
我々はこれらの知見をLLMの価値と意見を評価するための推奨とオープンな課題に抽出する。
論文 参考訳(メタデータ) (2024-02-26T18:00:49Z) - Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。
価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
論文 参考訳(メタデータ) (2024-02-16T18:28:43Z) - Navigating the Ocean of Biases: Political Bias Attribution in Language
Models via Causal Structures [58.059631072902356]
我々は、LLMの価値観を批判したり、検証したりせず、どのようにして「良い議論」を解釈し、偏見づけるかを見極めることを目的としている。
本研究では,活動依存ネットワーク(ADN)を用いてLCMの暗黙的基準を抽出する。
人-AIアライメントとバイアス緩和について,本研究の結果について考察した。
論文 参考訳(メタデータ) (2023-11-15T00:02:25Z) - Denevil: Towards Deciphering and Navigating the Ethical Values of Large
Language Models via Instruction Learning [36.66806788879868]
大きな言語モデル(LLM)は前例のない突破口をたどったが、彼らの日常生活への統合は非倫理的コンテンツによって社会的リスクを引き起こす可能性がある。
この研究はモラル・ファンデーション理論を利用した倫理的価値を論じている。
論文 参考訳(メタデータ) (2023-10-17T07:42:40Z) - Value Kaleidoscope: Engaging AI with Pluralistic Human Values, Rights,
and Duties [70.20460442039375]
価値多元性とは、複数の正しい値が互いに緊張して保持されるという考え方である。
統計的学習者として、AIシステムはデフォルトで平均に適合する。
ValuePrismは、218kの値、権利、義務の大規模なデータセットで、31kの人間が記述した状況に関連付けられています。
論文 参考訳(メタデータ) (2023-09-02T01:24:59Z) - A Survey on Evaluation of Large Language Models [87.60417393701331]
大規模言語モデル(LLM)は、学術と産業の両方で人気が高まっている。
本稿では,評価方法,評価方法,評価方法の3つの重要な側面に焦点をあてる。
論文 参考訳(メタデータ) (2023-07-06T16:28:35Z) - Heterogeneous Value Alignment Evaluation for Large Language Models [91.96728871418]
大規模言語モデル(LLM)は、その価値を人間のものと整合させることを重要視している。
本研究では,LLMと不均一値の整合性を評価するため,不均一値アライメント評価(HVAE)システムを提案する。
論文 参考訳(メタデータ) (2023-05-26T02:34:20Z) - Whose Opinions Do Language Models Reflect? [88.35520051971538]
質の高い世論調査と関連する人的反応を利用して,言語モデル(LM)に反映された意見を検討する。
我々は、現在のLMが反映している見解と、アメリカの人口集団の見解の間にかなりの不一致を見出した。
我々の分析は、人間のフィードバック調整されたLMの左利き傾向に関する事前の観察を裏付けるものである。
論文 参考訳(メタデータ) (2023-03-30T17:17:08Z) - Probing Pre-Trained Language Models for Cross-Cultural Differences in
Values [42.45033681054207]
我々は、事前学習言語モデルにどの文化にわたってどの価値が埋め込まれているかを調査するためにプローブを導入する。
PTLMは文化全体における価値の差異を捉えているが、確立した価値調査と弱く一致しているだけである。
論文 参考訳(メタデータ) (2022-03-25T15:45:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。