論文の概要: MoCa: Measuring Human-Language Model Alignment on Causal and Moral Judgment Tasks

• arxiv url: http://arxiv.org/abs/2310.19677v2
• Date: Tue, 31 Oct 2023 06:36:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 19:16:34.418882
• Title: MoCa: Measuring Human-Language Model Alignment on Causal and Moral Judgment Tasks
• Title（参考訳）: moca:因果的・道徳的判断課題における言語モデルアライメントの測定
• Authors: Allen Nie, Yuhui Zhang, Atharva Amdekar, Chris Piech, Tatsunori Hashimoto, Tobias Gerstenberg
• Abstract要約: 認知科学の豊富な文献は人々の因果関係と道徳的直観を研究してきた。 この研究は、人々の判断に体系的に影響を及ぼす多くの要因を明らかにした。 大規模言語モデル(LLM)が、人間の参加者と一致するテキストベースのシナリオについて因果的、道徳的な判断を下すかどうかを検証する。
• 参考スコア（独自算出の注目度）: 49.60689355674541
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human commonsense understanding of the physical and social world is organized around intuitive theories. These theories support making causal and moral judgments. When something bad happens, we naturally ask: who did what, and why? A rich literature in cognitive science has studied people's causal and moral intuitions. This work has revealed a number of factors that systematically influence people's judgments, such as the violation of norms and whether the harm is avoidable or inevitable. We collected a dataset of stories from 24 cognitive science papers and developed a system to annotate each story with the factors they investigated. Using this dataset, we test whether large language models (LLMs) make causal and moral judgments about text-based scenarios that align with those of human participants. On the aggregate level, alignment has improved with more recent LLMs. However, using statistical analyses, we find that LLMs weigh the different factors quite differently from human participants. These results show how curated, challenge datasets combined with insights from cognitive science can help us go beyond comparisons based merely on aggregate metrics: we uncover LLMs implicit tendencies and show to what extent these align with human intuitions.
• Abstract（参考訳）: 身体的・社会的世界の人間の常識的理解は直感的な理論を中心に構成されている。 これらの理論は因果的・道徳的な判断を支持する。 何か悪いことが起きたら、自然に「誰が何をしたのか、なぜなのか?」と尋ねます。 認知科学の豊富な文献は人々の因果関係と道徳的直観を研究してきた。 この研究は、規範違反や害が避けられるか避けられないかなど、人々の判断に体系的に影響を及ぼす多くの要因を明らかにしている。 我々は24の認知科学論文からストーリーのデータセットを収集し、各ストーリーに調査対象の要因を付加するシステムを開発した。 このデータセットを用いて、大規模言語モデル(llm)が、人間の参加者と整合するテキストベースのシナリオについて因果的および道徳的判断を行うかどうかをテストする。 集約レベルでは、最近のLCMではアライメントが改善されている。 しかし, 統計的解析により, LLMは人体とは全く異なる因子を重み付けしていることがわかった。 これらの結果は、学習データセットと認知科学の知見を組み合わせることで、単に総合的な指標に基づいて比較を行うのに役立つことを示している。

関連論文リスト

• Failure Modes of LLMs for Causal Reasoning on Narratives [51.19592551510628]
  本研究では,大言語モデル(LLM)の因果推論能力について,物語から因果関係を推定する代表的な問題から検討する。 最新の言語モデルでさえ、物語の提示とパラメトリック知識の両方において、信頼できないショートカットに依存していることがわかった。
  論文  参考訳（メタデータ） (2024-10-31T12:48:58Z)
• Do Large Language Models Truly Grasp Mathematics? An Empirical Exploration From Cognitive Psychology [13.964263002704582]
  提案手法は,Chains of Thoughtプロンプトを用いても,修正されたCRT問題を解く際の誤り率が高いことを示す。 具体的には、従来の質問と比べて平均精度が最大50%低下した。 この発見は、LLMが人間に匹敵する真の数学的推論能力を持っているという信念に挑戦する。
  論文  参考訳（メタデータ） (2024-10-19T05:01:56Z)
• FairMindSim: Alignment of Behavior, Emotion, and Belief in Humans and LLM Agents Amid Ethical Dilemmas [23.26678104324838]
  FairMindSimを導入し、不公平なシナリオを通じて道徳的ジレンマをシミュレートした。 我々はLLMエージェントを用いて人間の行動をシミュレートし,様々な段階のアライメントを確保した。 以上の結果から,GPT-4oは社会的正義の感覚が強く,人間はより豊かな感情を呈することが明らかとなった。
  論文  参考訳（メタデータ） (2024-10-14T11:39:05Z)
• Investigating Context Effects in Similarity Judgements in Large Language Models [6.421776078858197]
  大規模言語モデル(LLM)は、自然言語テキストの理解と生成におけるAIモデルの能力に革命をもたらした。 命令バイアスによる人的判断とLCMのアライメントに関する調査が進行中である。
  論文  参考訳（メタデータ） (2024-08-20T10:26:02Z)
• Quantifying AI Psychology: A Psychometrics Benchmark for Large Language Models [57.518784855080334]
  大きな言語モデル(LLM)は例外的なタスク解決能力を示しており、人間に似た役割を担っている。 本稿では,LLMにおける心理学的次元を調査するための枠組みとして,心理学的識別,評価データセットのキュレーション,結果検証による評価について述べる。 本研究では,個性,価値観,感情,心の理論,モチベーション,知性の6つの心理学的側面を網羅した総合的心理測定ベンチマークを導入する。
  論文  参考訳（メタデータ） (2024-06-25T16:09:08Z)
• Modeling Human Subjectivity in LLMs Using Explicit and Implicit Human Factors in Personas [14.650234624251716]
  大規模言語モデル (LLMs) は、人間中心の社会科学タスクでますます使われている。 これらのタスクは非常に主観的であり、環境、態度、信念、生きた経験など人間的要因に依存している。 我々は,LLMを人間的なペルソナで促進する役割について検討し,モデルに特定の人間であるかのように答えるよう求めた。
  論文  参考訳（メタデータ） (2024-06-20T16:24:07Z)
• What Evidence Do Language Models Find Convincing? [94.90663008214918]
  議論の的になっているクエリと、さまざまな事実を含む実世界の証拠文書を組み合わせたデータセットを構築します。 このデータセットを用いて、感度と反ファクト分析を行い、どのテキスト特徴がLLM予測に最も影響するかを探索する。 全体として、現在のモデルは、クエリに対するWebサイトの関連性に大きく依存している一方で、人間が重要と考えるスタイル的特徴をほとんど無視している。
  論文  参考訳（メタデータ） (2024-02-19T02:15:34Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• Moral Foundations of Large Language Models [6.6445242437134455]
  道徳的基礎理論(MFT)は、人間の道徳的推論を5つの要素に分解する心理学的評価ツールである。 大規模な言語モデル(LLM)は、インターネットから収集されたデータセットに基づいて訓練されるため、そのようなコーパスに存在するバイアスを反映する可能性がある。 本稿では、MFTをレンズとして用いて、人気のあるLLMが特定の道徳的価値観に対して偏見を得たかどうかを分析する。
  論文  参考訳（メタデータ） (2023-10-23T20:05:37Z)
• Influence of External Information on Large Language Models Mirrors Social Cognitive Patterns [51.622612759892775]
  社会的認知理論は、人々が他人を観察して知識を習得する方法を説明する。 近年,大規模言語モデル(LLM)の急速な発展を目撃している。 LLMは、AIエージェントとして、その認知と行動を形成する外部情報を観察することができる。
  論文  参考訳（メタデータ） (2023-05-08T16:10:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。