論文の概要: (Ir)rationality and Cognitive Biases in Large Language Models
- arxiv url: http://arxiv.org/abs/2402.09193v1
- Date: Wed, 14 Feb 2024 14:17:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-15 15:22:58.504055
- Title: (Ir)rationality and Cognitive Biases in Large Language Models
- Title(参考訳): 大規模言語モデルにおける(ir)合理性と認知バイアス
- Authors: Olivia Macmillan-Scott and Mirco Musolesi
- Abstract要約: 認知心理学文献からのタスクを用いた7つの言語モデルの評価を行った。
人間と同じく、LLMはこれらのタスクに不合理性を示す。
これらのタスクに対してLLMによって誤った答えが与えられる場合、それらはしばしば人間のようなバイアスとは異なる方法で間違っている。
- 参考スコア(独自算出の注目度): 2.9008806248012333
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Do large language models (LLMs) display rational reasoning? LLMs have been
shown to contain human biases due to the data they have been trained on;
whether this is reflected in rational reasoning remains less clear. In this
paper, we answer this question by evaluating seven language models using tasks
from the cognitive psychology literature. We find that, like humans, LLMs
display irrationality in these tasks. However, the way this irrationality is
displayed does not reflect that shown by humans. When incorrect answers are
given by LLMs to these tasks, they are often incorrect in ways that differ from
human-like biases. On top of this, the LLMs reveal an additional layer of
irrationality in the significant inconsistency of the responses. Aside from the
experimental results, this paper seeks to make a methodological contribution by
showing how we can assess and compare different capabilities of these types of
models, in this case with respect to rational reasoning.
- Abstract(参考訳): 大規模言語モデル(LLM)は合理的推論を示すか?
LLMは、訓練されたデータのために人間のバイアスを含んでいることが示されている。
本稿では,認知心理学文献のタスクを用いた7つの言語モデルの評価により,この問題に答える。
人間と同じく、LLMはこれらのタスクに不合理性を示す。
しかし、この不合理さの表示方法は、人間が示したことを反映しない。
これらのタスクに対してLLMによって誤った答えが与えられる場合、それらはしばしば人間のようなバイアスとは異なる方法で間違っている。
これに加えて、LLMは反応の重大な矛盾に不合理性の付加的な層を明らかにする。
実験結果とは別に,本論文では,合理的推論に関して,これらのモデルの異なる能力の評価と比較を行う方法を示すことによって,方法論的な貢献を行おうとする。
関連論文リスト
- Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models [52.03659714625452]
最近開発された大規模言語モデル (LLM) は、幅広い言語理解タスクにおいて非常によく機能することが示されている。
しかし、それらは自然言語に対して本当に「理性」があるのだろうか?
この疑問は研究の注目を集めており、コモンセンス、数値、定性的など多くの推論技術が研究されている。
論文 参考訳(メタデータ) (2024-04-23T21:08:49Z) - Will the Real Linda Please Stand up...to Large Language Models? Examining the Representativeness Heuristic in LLMs [7.100094213474042]
大規模言語モデル (LLM) は、テキストの理解と人間に似たテキストの生成において、顕著な熟練性を示している。
LLMは、代表性と呼ばれる人間の意思決定において共通の認知的罠の影響を受ける可能性がある。
論文 参考訳(メタデータ) (2024-04-01T20:15:06Z) - Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。
価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
論文 参考訳(メタデータ) (2024-02-16T18:28:43Z) - When Large Language Models contradict humans? Large Language Models' Sycophantic Behaviour [0.8133739801185272]
主観的意見と文を含む問合せに対して,Large Language Models (LLMs) がサイコファン傾向を示すことを示す。
様々なスケールのLCMは、正しい回答を提供する自信を示すことによって、ユーザのヒントに従わないように思われる。
論文 参考訳(メタデータ) (2023-11-15T22:18:33Z) - Bias Runs Deep: Implicit Reasoning Biases in Persona-Assigned LLMs [67.51906565969227]
LLMの基本的な推論タスクの実行能力に対するペルソナ代入の意図しない副作用について検討する。
本研究は,5つの社会デコグラフィーグループにまたがる24の推論データセット,4つのLDM,19の多様な個人(アジア人など)について検討した。
論文 参考訳(メタデータ) (2023-11-08T18:52:17Z) - Do LLMs exhibit human-like response biases? A case study in survey
design [66.1850490474361]
大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。
アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。
9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
論文 参考訳(メタデータ) (2023-11-07T15:40:43Z) - MoCa: Measuring Human-Language Model Alignment on Causal and Moral
Judgment Tasks [49.60689355674541]
認知科学の豊富な文献は人々の因果関係と道徳的直観を研究してきた。
この研究は、人々の判断に体系的に影響を及ぼす多くの要因を明らかにした。
大規模言語モデル(LLM)が、人間の参加者と一致するテキストベースのシナリオについて因果的、道徳的な判断を下すかどうかを検証する。
論文 参考訳(メタデータ) (2023-10-30T15:57:32Z) - Human Behavioral Benchmarking: Numeric Magnitude Comparison Effects in
Large Language Models [4.412336603162406]
大規模言語モデル(LLM)は、テキストで広まる数値を差分表現しない。
本研究では,LLMが行動レンズからどれだけの数の数値を捉えているかを検討する。
論文 参考訳(メタデータ) (2023-05-18T07:50:44Z) - Are LLMs the Master of All Trades? : Exploring Domain-Agnostic Reasoning
Skills of LLMs [0.0]
本研究では,大規模言語モデル(LLM)の性能について,様々な推論課題について検討する。
その結果, LLMは類推的, 道徳的推論において優れているが, 空間的推論タスクにおいて, 熟達に苦慮していることが明らかとなった。
論文 参考訳(メタデータ) (2023-03-22T22:53:44Z) - Prompting Contrastive Explanations for Commonsense Reasoning Tasks [74.7346558082693]
大規模事前学習言語モデル(PLM)は、常識推論タスクにおいて、ほぼ人間に近い性能を達成することができる。
人間の解釈可能な証拠を生成するために、同じモデルを使う方法を示す。
論文 参考訳(メタデータ) (2021-06-12T17:06:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。