Fugu-MT 論文翻訳(概要): Towards a Psychology of Machines: Large Language Models Predict Human Memory

論文の概要: Towards a Psychology of Machines: Large Language Models Predict Human Memory

arxiv url: http://arxiv.org/abs/2403.05152v1
Date: Fri, 8 Mar 2024 08:41:14 GMT
ステータス: 処理完了
システム内更新日: 2024-03-11 20:27:24.074835
Title: Towards a Psychology of Machines: Large Language Models Predict Human Memory
Title（参考訳）: 機械心理学に向けて:人間の記憶を予測する大言語モデル
Authors: Markus Huff and Elanur Ulak\c{c}{\i}
Abstract要約: 本研究では,言語ベースのメモリタスクにおいて,ChatGPTが人間のパフォーマンスを予測する能力について検討する。本研究では,人間とChatGPTの文関連性評価,ChatGPTのヤードパス文の記憶可能性評価,およびガーデンパス文の自然記憶の測定を行った。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Large language models (LLMs) are demonstrating remarkable capabilities across various tasks despite lacking a foundation in human cognition. This raises the question: can these models, beyond simply mimicking human language patterns, offer insights into the mechanisms underlying human cognition? This study explores the ability of ChatGPT to predict human performance in a language-based memory task. Building upon theories of text comprehension, we hypothesize that recognizing ambiguous sentences (e.g., "Because Bill drinks wine is never kept in the house") is facilitated by preceding them with contextually relevant information. Participants, both human and ChatGPT, were presented with pairs of sentences. The second sentence was always a garden-path sentence designed to be inherently ambiguous, while the first sentence either provided a fitting (e.g., "Bill has chronic alcoholism") or an unfitting context (e.g., "Bill likes to play golf"). We measured both human's and ChatGPT's ratings of sentence relatedness, ChatGPT's memorability ratings for the garden-path sentences, and humans' spontaneous memory for the garden-path sentences. The results revealed a striking alignment between ChatGPT's assessments and human performance. Sentences deemed more related and assessed as being more memorable by ChatGPT were indeed better remembered by humans, even though ChatGPT's internal mechanisms likely differ significantly from human cognition. This finding, which was confirmed with a robustness check employing synonyms, underscores the potential of generative AI models to predict human performance accurately. We discuss the broader implications of these findings for leveraging LLMs in the development of psychological theories and for gaining a deeper understanding of human cognition.
Abstract（参考訳）: 大規模言語モデル(LLM)は、人間の認知の基礎が欠如しているにもかかわらず、様々なタスクにわたって顕著な能力を示している。これらのモデルは、単に人間の言語パターンを模倣するだけでなく、人間の認知の基礎となるメカニズムに関する洞察を与えることができるだろうか? 本研究では,言語ベースのメモリタスクにおいて,ChatGPTが人間のパフォーマンスを予測する能力について検討する。文章理解の理論に基づいて、曖昧な文(例えば「ビル・ドリンク・ワインは家の中に保管されないため」)の認識は文脈的関連情報で先行することによって促進されると仮定する。人間とチャットgptの両方の参加者にペアの文章が提示された。第2文は本質的に曖昧であるようにデザインされたガーデンパス文であり、第1文は適合性(例えば「ビルは慢性アルコール依存症」)か不適合な文脈(例えば「ビルはゴルフをするのが好きだ」)を提供した。本研究では,人間とChatGPTの文関連性評価,ChatGPTのヤードパス文の記憶可能性評価,およびガーデンパス文の自然記憶の測定を行った。その結果,ChatGPTの評価と人間のパフォーマンスとの間に顕著な一致が認められた。 ChatGPTの内部メカニズムは人間の認知と大きく異なるが、ChatGPTによりより記憶しやすいと判断され評価された文は、確かに人間によって記憶されている。同義語を用いた堅牢性チェックで確認されたこの発見は、人間のパフォーマンスを正確に予測する生成AIモデルの可能性を強調している。心理学的理論の発展におけるLSMの活用と、人間の認知の理解を深めるために、これらの知見の広範な意味について論じる。

関連論文リスト

Metacognitive Monitoring: A Human Ability Beyond Generative Artificial Intelligence [0.0]
大規模言語モデル(LLM)は、人間の認知過程と顕著に一致している。本研究は,ChatGPTがヒトに類似したメタ認知モニタリング能力を持っているかを検討する。
論文参考訳（メタデータ） (2024-10-17T09:42:30Z)
Measuring Psychological Depth in Language Models [50.48914935872879]
本稿では,文学理論に根ざした新たな枠組みである心理的深度尺度(PDS)を紹介する。 PDS(0.72 クリッペンドルフのα)に基づいて人間が一貫して物語を評価できることを示し、我々の枠組みを実証的に検証する。驚いたことに、GPT-4のストーリーはRedditから入手した高評価の人文記事と統計的に区別できない。
論文参考訳（メタデータ） (2024-06-18T14:51:54Z)
Grammaticality Representation in ChatGPT as Compared to Linguists and Laypeople [0.0]
本研究は,148の言語現象について,住民の文法的判断を収集した以前の研究に基づいている。我々の主な焦点は、これらの言語構成の判断において、ChatGPTを一般人と言語学者の両方と比較することであった。全体として,ChatGPTと言語学者の間には73%から95%の収束率があり,全体としては89%と推定された。
論文参考訳（メタデータ） (2024-06-17T00:23:16Z)
Can ChatGPT Read Who You Are? [10.577227353680994]
チェコ語で書かれたテキストを代表とする総合的なユーザスタディの結果を155人のサンプルで報告した。本研究は,ChatGPTによる性格特性推定と人間による評価とを比較し,テキストから人格特性を推定する際のChatGPTの競争性能を報告する。
論文参考訳（メタデータ） (2023-12-26T14:43:04Z)
PsyCoT: Psychological Questionnaire as Powerful Chain-of-Thought for Personality Detection [50.66968526809069]
PsyCoTと呼ばれる新しい人格検出手法を提案する。これは、個人がマルチターン対話方式で心理的質問を完遂する方法を模倣するものである。実験の結果,PsyCoTは人格検出におけるGPT-3.5の性能とロバスト性を大幅に向上させることがわかった。
論文参考訳（メタデータ） (2023-10-31T08:23:33Z)
Primacy Effect of ChatGPT [69.49920102917598]
本稿では,ChatGPTの優位性について検討する。実験と分析により、より信頼性の高いChatGPTベースのソリューションを構築する上で、さらなる洞察が得られればと思っています。
論文参考訳（メタデータ） (2023-10-20T00:37:28Z)
Humans and language models diverge when predicting repeating text [52.03471802608112]
我々は,人間とLMのパフォーマンスが分岐するシナリオを提示する。人間とGPT-2 LMの予測はテキストスパンの最初のプレゼンテーションで強く一致しているが、メモリが役割を担い始めると、その性能は急速にバラバラになる。このシナリオが,LMを人間の行動に近づける上で,今後の作業に拍車をかけることを期待しています。
論文参考訳（メタデータ） (2023-10-10T08:24:28Z)
Is ChatGPT a Good Personality Recognizer? A Preliminary Study [19.278538849802025]
本研究では,ChatGPTが与えられたテキストから人格を認識する能力について検討する。我々は、ChatGPTが与えられたテキストから人格を認識する能力を調べるために、様々なプロンプト戦略を採用している。
論文参考訳（メタデータ） (2023-07-08T11:02:02Z)
Does ChatGPT have Theory of Mind? [2.3129337924262927]
心の理論 (Theory of Mind, ToM) とは、人間の思考と意思決定を理解する能力である。本稿では,最近のChatGPT伝統における大規模言語モデル(Large Language Models)がToMをどの程度持っているかを検討する。
論文参考訳（メタデータ） (2023-05-23T12:55:21Z)
Can ChatGPT Understand Too? A Comparative Study on ChatGPT and Fine-tuned BERT [103.57103957631067]
チャットGPTは、人間の質問に対する流動的で高品質な応答を生成できるため、大きな注目を集めている。そこで我々は,ChatGPTの理解能力を,最も人気のあるGLUEベンチマークで評価し,より詳細な4種類のBERTスタイルのモデルと比較した。 2)ChatGPTは,感情分析や質問応答タスクにおいて,BERTと同等のパフォーマンスを達成している。
論文参考訳（メタデータ） (2023-02-19T12:29:33Z)
A Categorical Archive of ChatGPT Failures [47.64219291655723]
OpenAIが開発したChatGPTは、大量のデータを使って訓練され、人間の会話をシミュレートしている。それは、広範囲の人間の問い合わせに効果的に答える能力のために、大きな注目を集めている。しかし、ChatGPTの失敗の包括的分析は欠落しており、これが本研究の焦点となっている。
論文参考訳（メタデータ） (2023-02-06T04:21:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。