論文の概要: LLM Cognitive Judgements Differ From Human
- arxiv url: http://arxiv.org/abs/2307.11787v2
- Date: Wed, 16 Aug 2023 14:03:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-17 16:33:22.589658
- Title: LLM Cognitive Judgements Differ From Human
- Title(参考訳): 人間のLLM認知判断
- Authors: Sotiris Lamprinidis
- Abstract要約: 認知科学文献からの限定データ帰納的推論課題におけるGPT-3とChatGPTの機能について検討する。
その結果、これらのモデルの認知的判断は人間に似ていないことが示唆された。
- 参考スコア(独自算出の注目度): 0.03626013617212666
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large Language Models (LLMs) have lately been on the spotlight of
researchers, businesses, and consumers alike. While the linguistic capabilities
of such models have been studied extensively, there is growing interest in
investigating them as cognitive subjects. In the present work I examine GPT-3
and ChatGPT capabilities on an limited-data inductive reasoning task from the
cognitive science literature. The results suggest that these models' cognitive
judgements are not human-like.
- Abstract(参考訳): 大規模言語モデル(LLM)は最近、研究者、ビジネス、消費者の注目を浴びている。
このようなモデルの言語能力は広く研究されているが、認知的対象として研究することへの関心が高まっている。
本研究は,認知科学文献からの限定データ帰納的推論課題におけるGPT-3とChatGPTの機能について検討する。
その結果、これらのモデルの認知的判断は人間に似ていないことが示唆された。
関連論文リスト
- MoCa: Measuring Human-Language Model Alignment on Causal and Moral
Judgment Tasks [49.60689355674541]
認知科学の豊富な文献は人々の因果関係と道徳的直観を研究してきた。
この研究は、人々の判断に体系的に影響を及ぼす多くの要因を明らかにした。
大規模言語モデル(LLM)が、人間の参加者と一致するテキストベースのシナリオについて因果的、道徳的な判断を下すかどうかを検証する。
論文 参考訳(メタデータ) (2023-10-30T15:57:32Z) - Exploring the Cognitive Knowledge Structure of Large Language Models: An
Educational Diagnostic Assessment Approach [50.125704610228254]
大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示すだけでなく、知性の火花も示している。
近年の研究では、人間の試験における能力の評価に焦点が当てられ、異なる領域における彼らの印象的な能力を明らかにしている。
ブルーム分類に基づく人体検査データセットであるMoocRadarを用いて評価を行った。
論文 参考訳(メタデータ) (2023-10-12T09:55:45Z) - The Confidence-Competence Gap in Large Language Models: A Cognitive
Study [3.757390057317548]
大規模言語モデル(LLM)は、様々な領域にわたるパフォーマンスに対して、広く注目を集めている。
我々はこれらのモデルを多様なアンケートと実世界のシナリオで活用する。
この結果から,モデルが誤答しても高い信頼性を示す興味深い事例が判明した。
論文 参考訳(メタデータ) (2023-09-28T03:50:09Z) - Human-Like Intuitive Behavior and Reasoning Biases Emerged in Language
Models -- and Disappeared in GPT-4 [0.0]
大型言語モデル (LLM) は人間の直感に類似した行動を示す。
また、直感的な意思決定の傾向がいかに頑丈かも調べる。
論文 参考訳(メタデータ) (2023-06-13T08:43:13Z) - Revisiting the Reliability of Psychological Scales on Large Language
Models [66.31055885857062]
本研究では,人格評価を大規模言語モデル(LLM)に適用する際の信頼性について検討する。
LLMのパーソナライズに光を当てることで、この分野での今後の探索の道を開くことに努める。
論文 参考訳(メタデータ) (2023-05-31T15:03:28Z) - Do Large Language Models Know What They Don't Know? [74.65014158544011]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに優れた知識を持つ。
膨大な知識にもかかわらず、LLMはそれらが適合し理解できる情報の量によって制限されている。
本研究の目的は,LLMの自己理解能力を評価することである。
論文 参考訳(メタデータ) (2023-05-29T15:30:13Z) - Clever Hans or Neural Theory of Mind? Stress Testing Social Reasoning in
Large Language Models [82.50173296858377]
多くの逸話例は、ChatGPTやGPT-4のような新しい大規模言語モデル(LLM)が、N-ToM(Neural Theory-of-Mind)を示すことを示唆するために使用された。
我々は,LLMsのN-ToMの範囲を6つのタスクに対して広範囲に評価することにより検討し,LLMsが特定のN-ToM能力を示す一方で,この挙動は堅牢性には程遠いことを見出した。
論文 参考訳(メタデータ) (2023-05-24T06:14:31Z) - Do Large Language Models Show Decision Heuristics Similar to Humans? A
Case Study Using GPT-3.5 [0.0]
GPT-3.5は、ChatGPTと呼ばれる会話エージェントをサポートするLLMの例である。
本研究では,ChatGPTがバイアスを示すか,その他の決定効果を示すかを決定するために,一連の新しいプロンプトを用いた。
また、同じプロンプトをヒトでもテストしました。
論文 参考訳(メタデータ) (2023-05-08T01:02:52Z) - Dissociating language and thought in large language models [55.51583339260924]
大規模言語モデル(LLM)は、人間の言語を習得する上で、今までに最も近いモデルである。
言語規則とパターンの理解-および機能的言語能力-世界における言語の理解と利用-を区別してLLMを評価する。
論文 参考訳(メタデータ) (2023-01-16T22:41:19Z) - Thinking Fast and Slow in Large Language Models [0.08057006406834465]
大規模言語モデル(LLM)は、現在、人間のコミュニケーションと日常の生活を結び付けるAIシステムの最前線にある。
本研究では, GPT-3 のような LLM は人間の直感に類似した行動を示し,それに伴う認知的誤りを示す。
論文 参考訳(メタデータ) (2022-12-10T05:07:30Z) - Using cognitive psychology to understand GPT-3 [0.0]
我々は認知心理学のツールを用いて,近年の大規模言語モデルであるGPT-3を研究した。
我々は, GPT-3の意思決定, 情報探索, 検討, 因果推論能力を評価する。
論文 参考訳(メタデータ) (2022-06-21T20:06:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。