Fugu-MT 論文翻訳(概要): LLM Cognitive Judgements Differ From Human

論文の概要: LLM Cognitive Judgements Differ From Human

arxiv url: http://arxiv.org/abs/2307.11787v2
Date: Wed, 16 Aug 2023 14:03:03 GMT
ステータス: 処理完了
システム内更新日: 2023-08-17 16:33:22.589658
Title: LLM Cognitive Judgements Differ From Human
Title（参考訳）: 人間のLLM認知判断
Authors: Sotiris Lamprinidis
Abstract要約: 認知科学文献からの限定データ帰納的推論課題におけるGPT-3とChatGPTの機能について検討する。その結果、これらのモデルの認知的判断は人間に似ていないことが示唆された。
参考スコア（独自算出の注目度）: 0.03626013617212666
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Large Language Models (LLMs) have lately been on the spotlight of researchers, businesses, and consumers alike. While the linguistic capabilities of such models have been studied extensively, there is growing interest in investigating them as cognitive subjects. In the present work I examine GPT-3 and ChatGPT capabilities on an limited-data inductive reasoning task from the cognitive science literature. The results suggest that these models' cognitive judgements are not human-like.
Abstract（参考訳）: 大規模言語モデル(LLM)は最近、研究者、ビジネス、消費者の注目を浴びている。このようなモデルの言語能力は広く研究されているが、認知的対象として研究することへの関心が高まっている。本研究は,認知科学文献からの限定データ帰納的推論課題におけるGPT-3とChatGPTの機能について検討する。その結果、これらのモデルの認知的判断は人間に似ていないことが示唆された。

関連論文リスト

Metacognitive Monitoring: A Human Ability Beyond Generative Artificial Intelligence [0.0]
大規模言語モデル(LLM)は、人間の認知過程と顕著に一致している。本研究は,ChatGPTがヒトに類似したメタ認知モニタリング能力を持っているかを検討する。
論文参考訳（メタデータ） (2024-10-17T09:42:30Z)
Exploring the Cognitive Knowledge Structure of Large Language Models: An Educational Diagnostic Assessment Approach [50.125704610228254]
大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示すだけでなく、知性の火花も示している。近年の研究では、人間の試験における能力の評価に焦点が当てられ、異なる領域における彼らの印象的な能力を明らかにしている。ブルーム分類に基づく人体検査データセットであるMoocRadarを用いて評価を行った。
論文参考訳（メタデータ） (2023-10-12T09:55:45Z)
The Confidence-Competence Gap in Large Language Models: A Cognitive Study [3.757390057317548]
大規模言語モデル(LLM)は、様々な領域にわたるパフォーマンスに対して、広く注目を集めている。我々はこれらのモデルを多様なアンケートと実世界のシナリオで活用する。この結果から,モデルが誤答しても高い信頼性を示す興味深い事例が判明した。
論文参考訳（メタデータ） (2023-09-28T03:50:09Z)
Instructed to Bias: Instruction-Tuned Language Models Exhibit Emergent Cognitive Bias [57.42417061979399]
近年の研究では、インストラクションチューニング(IT)と人間フィードバック(RLHF)による強化学習によって、大規模言語モデル(LM)の能力が劇的に向上していることが示されている。本研究では,ITとRLHFがLMの意思決定と推論に与える影響について検討する。以上の結果から,GPT-3,Mistral,T5ファミリーの各種モデルにおけるこれらのバイアスの存在が示唆された。
論文参考訳（メタデータ） (2023-08-01T01:39:25Z)
Human-Like Intuitive Behavior and Reasoning Biases Emerged in Language Models -- and Disappeared in GPT-4 [0.0]
大型言語モデル (LLM) は人間の直感に類似した行動を示す。また、直感的な意思決定の傾向がいかに頑丈かも調べる。
論文参考訳（メタデータ） (2023-06-13T08:43:13Z)
Revisiting the Reliability of Psychological Scales on Large Language Models [62.57981196992073]
本研究の目的は,大規模言語モデルにパーソナリティアセスメントを適用することの信頼性を明らかにすることである。 GPT-3.5、GPT-4、Gemini-Pro、LLaMA-3.1などのモデル毎の2,500設定の分析により、様々なLCMがビッグファイブインベントリに応答して一貫性を示すことが明らかになった。
論文参考訳（メタデータ） (2023-05-31T15:03:28Z)
Do Large Language Models Know What They Don't Know? [74.65014158544011]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに優れた知識を持つ。膨大な知識にもかかわらず、LLMはそれらが適合し理解できる情報の量によって制限されている。本研究の目的は,LLMの自己理解能力を評価することである。
論文参考訳（メタデータ） (2023-05-29T15:30:13Z)
Clever Hans or Neural Theory of Mind? Stress Testing Social Reasoning in Large Language Models [82.50173296858377]
多くの逸話例は、ChatGPTやGPT-4のような新しい大規模言語モデル(LLM)が、N-ToM(Neural Theory-of-Mind)を示すことを示唆するために使用された。我々は,LLMsのN-ToMの範囲を6つのタスクに対して広範囲に評価することにより検討し,LLMsが特定のN-ToM能力を示す一方で,この挙動は堅牢性には程遠いことを見出した。
論文参考訳（メタデータ） (2023-05-24T06:14:31Z)
Do Large Language Models Show Decision Heuristics Similar to Humans? A Case Study Using GPT-3.5 [0.0]
GPT-3.5は、ChatGPTと呼ばれる会話エージェントをサポートするLLMの例である。本研究では,ChatGPTがバイアスを示すか,その他の決定効果を示すかを決定するために,一連の新しいプロンプトを用いた。また、同じプロンプトをヒトでもテストしました。
論文参考訳（メタデータ） (2023-05-08T01:02:52Z)
Dissociating language and thought in large language models [52.39241645471213]
大規模言語モデル(LLM)は、人間の言語を習得する上で、今までに最も近いモデルである。我々は、この区別を人間の神経科学に根ざし、形式的、機能的な能力は異なる神経機構に依存していることを示した。 LLMは形式的能力は驚くほど優れているが、機能的能力のタスクにおける性能はいまだに不明瞭である。
論文参考訳（メタデータ） (2023-01-16T22:41:19Z)
Thinking Fast and Slow in Large Language Models [0.08057006406834465]
大規模言語モデル(LLM)は、現在、人間のコミュニケーションと日常の生活を結び付けるAIシステムの最前線にある。本研究では, GPT-3 のような LLM は人間の直感に類似した行動を示し,それに伴う認知的誤りを示す。
論文参考訳（メタデータ） (2022-12-10T05:07:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。