論文の概要: MoCa: Measuring Human-Language Model Alignment on Causal and Moral Judgment Tasks

• arxiv url: http://arxiv.org/abs/2310.19677v2
• Date: Tue, 31 Oct 2023 06:36:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 19:16:34.418882
• Title: MoCa: Measuring Human-Language Model Alignment on Causal and Moral Judgment Tasks
• Title（参考訳）: moca:因果的・道徳的判断課題における言語モデルアライメントの測定
• Authors: Allen Nie, Yuhui Zhang, Atharva Amdekar, Chris Piech, Tatsunori Hashimoto, Tobias Gerstenberg
• Abstract要約: 認知科学の豊富な文献は人々の因果関係と道徳的直観を研究してきた。 この研究は、人々の判断に体系的に影響を及ぼす多くの要因を明らかにした。 大規模言語モデル(LLM)が、人間の参加者と一致するテキストベースのシナリオについて因果的、道徳的な判断を下すかどうかを検証する。
• 参考スコア（独自算出の注目度）: 49.60689355674541
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human commonsense understanding of the physical and social world is organized around intuitive theories. These theories support making causal and moral judgments. When something bad happens, we naturally ask: who did what, and why? A rich literature in cognitive science has studied people's causal and moral intuitions. This work has revealed a number of factors that systematically influence people's judgments, such as the violation of norms and whether the harm is avoidable or inevitable. We collected a dataset of stories from 24 cognitive science papers and developed a system to annotate each story with the factors they investigated. Using this dataset, we test whether large language models (LLMs) make causal and moral judgments about text-based scenarios that align with those of human participants. On the aggregate level, alignment has improved with more recent LLMs. However, using statistical analyses, we find that LLMs weigh the different factors quite differently from human participants. These results show how curated, challenge datasets combined with insights from cognitive science can help us go beyond comparisons based merely on aggregate metrics: we uncover LLMs implicit tendencies and show to what extent these align with human intuitions.
• Abstract（参考訳）: 身体的・社会的世界の人間の常識的理解は直感的な理論を中心に構成されている。 これらの理論は因果的・道徳的な判断を支持する。 何か悪いことが起きたら、自然に「誰が何をしたのか、なぜなのか?」と尋ねます。 認知科学の豊富な文献は人々の因果関係と道徳的直観を研究してきた。 この研究は、規範違反や害が避けられるか避けられないかなど、人々の判断に体系的に影響を及ぼす多くの要因を明らかにしている。 我々は24の認知科学論文からストーリーのデータセットを収集し、各ストーリーに調査対象の要因を付加するシステムを開発した。 このデータセットを用いて、大規模言語モデル(llm)が、人間の参加者と整合するテキストベースのシナリオについて因果的および道徳的判断を行うかどうかをテストする。 集約レベルでは、最近のLCMではアライメントが改善されている。 しかし, 統計的解析により, LLMは人体とは全く異なる因子を重み付けしていることがわかった。 これらの結果は、学習データセットと認知科学の知見を組み合わせることで、単に総合的な指標に基づいて比較を行うのに役立つことを示している。

関連論文リスト

• Quantifying AI Psychology: A Psychometrics Benchmark for Large Language Models [57.518784855080334]
  大きな言語モデル(LLM)は例外的なタスク解決能力を示しており、人間に似た役割を担っている。 本稿では,LLMにおける心理学的次元を調査するための枠組みとして,心理学的識別,評価データセットのキュレーション,結果検証による評価について述べる。 本研究では,個性,価値観,感情,心の理論,モチベーション,知性の6つの心理学的側面を網羅した総合的心理測定ベンチマークを導入する。
  論文  参考訳（メタデータ） (2024-06-25T16:09:08Z)
• Explicit and Implicit Large Language Model Personas Generate Opinions but Fail to Replicate Deeper Perceptions and Biases [14.650234624251716]
  大規模言語モデル (LLMs) は、人間中心の社会科学タスクでますます使われている。 これらのタスクは非常に主観的であり、環境、態度、信念、生きた経験など人間的要因に依存している。 我々は,LLMを人間的なペルソナで促進する役割について検討し,モデルに特定の人間であるかのように答えるよう求めた。
  論文  参考訳（メタデータ） (2024-06-20T16:24:07Z)
• What Evidence Do Language Models Find Convincing? [103.67867531892988]
  議論の的になっているクエリと、さまざまな事実を含む実世界の証拠文書を組み合わせたデータセットを構築します。 このデータセットを用いて、感度と反ファクト分析を行い、どのテキスト特徴がLLM予測に最も影響するかを探索する。 全体として、現在のモデルは、クエリに対するWebサイトの関連性に大きく依存している一方で、人間が重要と考えるスタイル的特徴をほとんど無視している。
  論文  参考訳（メタデータ） (2024-02-19T02:15:34Z)
• Bias Runs Deep: Implicit Reasoning Biases in Persona-Assigned LLMs [67.51906565969227]
  LLMの基本的な推論タスクの実行能力に対するペルソナ代入の意図しない副作用について検討する。 本研究は,5つの社会デコグラフィーグループにまたがる24の推論データセット,4つのLDM,19の多様な個人(アジア人など)について検討した。
  論文  参考訳（メタデータ） (2023-11-08T18:52:17Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• Moral Foundations of Large Language Models [6.6445242437134455]
  道徳的基礎理論(MFT)は、人間の道徳的推論を5つの要素に分解する心理学的評価ツールである。 大規模な言語モデル(LLM)は、インターネットから収集されたデータセットに基づいて訓練されるため、そのようなコーパスに存在するバイアスを反映する可能性がある。 本稿では、MFTをレンズとして用いて、人気のあるLLMが特定の道徳的価値観に対して偏見を得たかどうかを分析する。
  論文  参考訳（メタデータ） (2023-10-23T20:05:37Z)
• POSQA: Probe the World Models of LLMs with Size Comparisons [38.30479784257936]
  身体的言語理解は、言語理解が単に脳の精神的処理の問題ではないことを強調している。 LLM(Large Language Models)の爆発的成長と、私たちの日常生活にすでに広く存在していることから、現実の理解を検証する必要性が高まっている。
  論文  参考訳（メタデータ） (2023-10-20T10:05:01Z)
• Investigating Large Language Models' Perception of Emotion Using Appraisal Theory [3.0902630634005797]
  大規模言語モデル (LLM) は近年大きく進歩し、現在一般に使われている。 本研究では,評価・対処理論のレンズによる感情知覚について検討する。 SCPQ を OpenAI, davinci-003, ChatGPT, GPT-4 の3つの最近の LLM に適用し,評価理論と人体データによる予測結果と比較した。
  論文  参考訳（メタデータ） (2023-10-03T16:34:47Z)
• Exploring the psychology of LLMs' Moral and Legal Reasoning [0.0]
  大規模言語モデル(LLM)は、さまざまな領域にわたるタスクにおいて、専門家レベルのパフォーマンスを示す。 LLMによって提起された倫理的問題と将来のバージョンを整合させる必要性は、アートモデルの現状が道徳的および法的問題にどのように影響するかを知ることが重要である。 我々は,Google の Gemini Pro や Anthropic の Claude 2.1,OpenAI の GPT-4,Meta の Llama 2 Chat 70b を例に,実験文献から8つの研究結果を再現した。 ある実験から別の実験へと人間の反応の一致が変化し、モデルが全体として異なることがわかりました。
  論文  参考訳（メタデータ） (2023-08-02T16:36:58Z)
• Influence of External Information on Large Language Models Mirrors Social Cognitive Patterns [51.622612759892775]
  社会的認知理論は、人々が他人を観察して知識を習得する方法を説明する。 近年,大規模言語モデル(LLM)の急速な発展を目撃している。 LLMは、AIエージェントとして、その認知と行動を形成する外部情報を観察することができる。
  論文  参考訳（メタデータ） (2023-05-08T16:10:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。