論文の概要: How Inclusively do LMs Perceive Social and Moral Norms?

• arxiv url: http://arxiv.org/abs/2502.02696v1
• Date: Tue, 04 Feb 2025 20:24:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:27:47.307245
• Title: How Inclusively do LMs Perceive Social and Moral Norms?
• Title（参考訳）: LMはどのように社会的・道徳的ノルムを知覚するか?
• Authors: Michael Galarnyk, Agam Shah, Dipanwita Guhathakurta, Poojitha Nandigam, Sudheer Chava,
• Abstract要約: 言語モデル(LM)は意思決定システムや対話型アシスタントとして使用される。 人口集団間でLMがノルムを包括的に知覚する方法について検討する。 LM応答に顕著な相違がみられ, 若年層群, 高所得層群が近縁であった。
• 参考スコア（独自算出の注目度）: 5.302888878095751
• License:
• Abstract: This paper discusses and contains offensive content. Language models (LMs) are used in decision-making systems and as interactive assistants. However, how well do these models making judgements align with the diversity of human values, particularly regarding social and moral norms? In this work, we investigate how inclusively LMs perceive norms across demographic groups (e.g., gender, age, and income). We prompt 11 LMs on rules-of-thumb (RoTs) and compare their outputs with the existing responses of 100 human annotators. We introduce the Absolute Distance Alignment Metric (ADA-Met) to quantify alignment on ordinal questions. We find notable disparities in LM responses, with younger, higher-income groups showing closer alignment, raising concerns about the representation of marginalized perspectives. Our findings highlight the importance of further efforts to make LMs more inclusive of diverse human values. The code and prompts are available on GitHub under the CC BY-NC 4.0 license.
• Abstract（参考訳）: 本稿では攻撃的内容について論じる。 言語モデル(LM)は意思決定システムや対話型アシスタントとして使用される。 しかし、これらの判断を下すモデルは、特に社会的・道徳的規範に関して、人間の価値観の多様性とどの程度一致しているのか? 本研究では、人口集団(例えば、性別、年齢、収入)において、LMがノルムを包括的にどう知覚するかを検討する。 我々は,ルール・オブ・サンプブ(RoT)で11個のLMを起動し,その出力と既存の100個のアノテータの応答を比較した。 本稿では,Absolute Distance Alignment Metric (ADA-Met)を導入し,日常的な質問に対するアライメントを定量化する。 LM応答に顕著な相違がみられ, 若年層, 高所得層が密接な一致を示し, 疎外的視点の表現に対する懸念が高まった。 本研究は,人的価値をより包括的に活用するためのさらなる取り組みの重要性を浮き彫りにするものである。 コードとプロンプトは、CC BY-NC 4.0ライセンスの下でGitHubで入手できる。

関連論文リスト

• Large Language Models Reflect the Ideology of their Creators [71.65505524599888]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 本稿では, LLMのイデオロギー的姿勢が創造者の世界観を反映していることを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Language Model Alignment in Multilingual Trolley Problems [138.5684081822807]
  Moral Machine 実験に基づいて,MultiTP と呼ばれる100以上の言語でモラルジレンマヴィグネットの言語間コーパスを開発する。 分析では、19の異なるLLMと人間の判断を一致させ、6つのモラル次元をまたいだ嗜好を捉えた。 我々は、AIシステムにおける一様道徳的推論の仮定に挑戦し、言語間のアライメントの顕著なばらつきを発見した。
  論文  参考訳（メタデータ） (2024-07-02T14:02:53Z)
• Political Compass or Spinning Arrow? Towards More Meaningful Evaluations for Values and Opinions in Large Language Models [61.45529177682614]
  我々は,大規模言語モデルにおける価値と意見の制約評価パラダイムに挑戦する。 強制されない場合、モデルが実質的に異なる答えを与えることを示す。 我々はこれらの知見をLLMの価値と意見を評価するための推奨とオープンな課題に抽出する。
  論文  参考訳（メタデータ） (2024-02-26T18:00:49Z)
• Whose Emotions and Moral Sentiments Do Language Models Reflect? [5.4547979989237225]
  言語モデル(LM)は、ある社会集団の視点を他のグループよりも良く表現することが知られている。 両イデオロギー群とLMの相違点が有意である。 特定のイデオロギー的な視点でLMを操った後も、モデルのミスアライメントとリベラルな傾向は持続する。
  論文  参考訳（メタデータ） (2024-02-16T22:34:53Z)
• Assessing LLMs for Moral Value Pluralism [2.860608352191896]
  我々は、認識値共鳴(RVR)NLPモデルを用いて、与えられたテキストの文節に共鳴し矛盾する世界価値調査(WVS)値を特定する。 LLMはいくつかの西洋中心の値バイアスを示す。 以上の結果から,社会科学に情報提供された技術ソリューションの必要性が浮き彫りになった。
  論文  参考訳（メタデータ） (2023-12-08T16:18:15Z)
• MoCa: Measuring Human-Language Model Alignment on Causal and Moral Judgment Tasks [49.60689355674541]
  認知科学の豊富な文献は人々の因果関係と道徳的直観を研究してきた。 この研究は、人々の判断に体系的に影響を及ぼす多くの要因を明らかにした。 大規模言語モデル(LLM)が、人間の参加者と一致するテキストベースのシナリオについて因果的、道徳的な判断を下すかどうかを検証する。
  論文  参考訳（メタデータ） (2023-10-30T15:57:32Z)
• Heterogeneous Value Alignment Evaluation for Large Language Models [91.96728871418]
  大規模言語モデル(LLM)は、その価値を人間のものと整合させることを重要視している。 本研究では,LLMと不均一値の整合性を評価するため,不均一値アライメント評価(HVAE)システムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T02:34:20Z)
• Whose Opinions Do Language Models Reflect? [88.35520051971538]
  質の高い世論調査と関連する人的反応を利用して,言語モデル(LM)に反映された意見を検討する。 我々は、現在のLMが反映している見解と、アメリカの人口集団の見解の間にかなりの不一致を見出した。 我々の分析は、人間のフィードバック調整されたLMの左利き傾向に関する事前の観察を裏付けるものである。
  論文  参考訳（メタデータ） (2023-03-30T17:17:08Z)
• Discovering Language Model Behaviors with Model-Written Evaluations [18.24267922379281]
  言語モデル(LM)がスケールするにつれて、彼らは多くの新しい行動、善と悪を発達させ、どのように振る舞うかを評価する必要性を悪化させます。 ここでは、LMによる評価を自動的に生成する。 我々は154のデータセットを生成し、LMがサイズによって悪化する逆スケーリングの新たなケースを発見する。
  論文  参考訳（メタデータ） (2022-12-19T05:13:52Z)
• Language Models have a Moral Dimension [13.991481870016631]
  近年のlms改善は社会の倫理的・道徳的価値を蓄積している。 これは、LMの有害な変性を抑制または予防するための経路を提供する。
  論文  参考訳（メタデータ） (2021-03-08T16:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。