論文の概要: Towards a Psychology of Machines: Large Language Models Predict Human
Memory
- arxiv url: http://arxiv.org/abs/2403.05152v1
- Date: Fri, 8 Mar 2024 08:41:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-11 20:27:24.074835
- Title: Towards a Psychology of Machines: Large Language Models Predict Human
Memory
- Title(参考訳): 機械心理学に向けて:人間の記憶を予測する大言語モデル
- Authors: Markus Huff and Elanur Ulak\c{c}{\i}
- Abstract要約: 本研究では,言語ベースのメモリタスクにおいて,ChatGPTが人間のパフォーマンスを予測する能力について検討する。
本研究では,人間とChatGPTの文関連性評価,ChatGPTのヤードパス文の記憶可能性評価,およびガーデンパス文の自然記憶の測定を行った。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large language models (LLMs) are demonstrating remarkable capabilities across
various tasks despite lacking a foundation in human cognition. This raises the
question: can these models, beyond simply mimicking human language patterns,
offer insights into the mechanisms underlying human cognition? This study
explores the ability of ChatGPT to predict human performance in a
language-based memory task. Building upon theories of text comprehension, we
hypothesize that recognizing ambiguous sentences (e.g., "Because Bill drinks
wine is never kept in the house") is facilitated by preceding them with
contextually relevant information. Participants, both human and ChatGPT, were
presented with pairs of sentences. The second sentence was always a garden-path
sentence designed to be inherently ambiguous, while the first sentence either
provided a fitting (e.g., "Bill has chronic alcoholism") or an unfitting
context (e.g., "Bill likes to play golf"). We measured both human's and
ChatGPT's ratings of sentence relatedness, ChatGPT's memorability ratings for
the garden-path sentences, and humans' spontaneous memory for the garden-path
sentences. The results revealed a striking alignment between ChatGPT's
assessments and human performance. Sentences deemed more related and assessed
as being more memorable by ChatGPT were indeed better remembered by humans,
even though ChatGPT's internal mechanisms likely differ significantly from
human cognition. This finding, which was confirmed with a robustness check
employing synonyms, underscores the potential of generative AI models to
predict human performance accurately. We discuss the broader implications of
these findings for leveraging LLMs in the development of psychological theories
and for gaining a deeper understanding of human cognition.
- Abstract(参考訳): 大規模言語モデル(LLM)は、人間の認知の基礎が欠如しているにもかかわらず、様々なタスクにわたって顕著な能力を示している。
これらのモデルは、単に人間の言語パターンを模倣するだけでなく、人間の認知の基礎となるメカニズムに関する洞察を与えることができるだろうか?
本研究では,言語ベースのメモリタスクにおいて,ChatGPTが人間のパフォーマンスを予測する能力について検討する。
文章理解の理論に基づいて、曖昧な文(例えば「ビル・ドリンク・ワインは家の中に保管されないため」)の認識は文脈的関連情報で先行することによって促進されると仮定する。
人間とチャットgptの両方の参加者にペアの文章が提示された。
第2文は本質的に曖昧であるようにデザインされたガーデンパス文であり、第1文は適合性(例えば「ビルは慢性アルコール依存症」)か不適合な文脈(例えば「ビルはゴルフをするのが好きだ」)を提供した。
本研究では,人間とChatGPTの文関連性評価,ChatGPTのヤードパス文の記憶可能性評価,およびガーデンパス文の自然記憶の測定を行った。
その結果,ChatGPTの評価と人間のパフォーマンスとの間に顕著な一致が認められた。
ChatGPTの内部メカニズムは人間の認知と大きく異なるが、ChatGPTによりより記憶しやすいと判断され評価された文は、確かに人間によって記憶されている。
同義語を用いた堅牢性チェックで確認されたこの発見は、人間のパフォーマンスを正確に予測する生成AIモデルの可能性を強調している。
心理学的理論の発展におけるLSMの活用と、人間の認知の理解を深めるために、これらの知見の広範な意味について論じる。
関連論文リスト
- Primacy Effect of ChatGPT [74.56193663827327]
本稿では,ChatGPTの優位性について検討する。
実験と分析により、より信頼性の高いChatGPTベースのソリューションを構築する上で、さらなる洞察が得られればと思っています。
論文 参考訳(メタデータ) (2023-10-20T00:37:28Z) - Humans and language models diverge when predicting repeating text [52.03471802608112]
我々は,人間とLMのパフォーマンスが分岐するシナリオを提示する。
人間とGPT-2 LMの予測はテキストスパンの最初のプレゼンテーションで強く一致しているが、メモリが役割を担い始めると、その性能は急速にバラバラになる。
このシナリオが,LMを人間の行動に近づける上で,今後の作業に拍車をかけることを期待しています。
論文 参考訳(メタデータ) (2023-10-10T08:24:28Z) - Playing with Words: Comparing the Vocabulary and Lexical Richness of
ChatGPT and Humans [3.0059120458540383]
ChatGPTのような生成言語モデルは、テキストの生成方法を変える革命を引き起こした。
ChatGPTのようなツールの使用は、使用する語彙や語彙の豊かさを増減するか?
これは、AI生成コンテンツに含まれないコンテンツは、人気が減り、最終的には失われる傾向があるため、言葉に影響を及ぼす。
論文 参考訳(メタデータ) (2023-08-14T21:19:44Z) - The Neuro-Symbolic Inverse Planning Engine (NIPE): Modeling
Probabilistic Social Inferences from Linguistic Inputs [50.32802502923367]
確率的目標推論領域における言語駆動の過程と社会的推論への影響について検討する。
本稿では,エージェントシナリオの言語入力から目標推定を行うニューロシンボリックモデルを提案する。
我々のモデルは人間の反応パターンと密に一致し、LLM単独の使用よりも人間の判断をより良く予測する。
論文 参考訳(メタデータ) (2023-06-25T19:38:01Z) - Does ChatGPT have Theory of Mind? [2.3129337924262927]
心の理論 (Theory of Mind, ToM) とは、人間の思考と意思決定を理解する能力である。
本稿では,最近のChatGPT伝統における大規模言語モデル(Large Language Models)がToMをどの程度持っているかを検討する。
論文 参考訳(メタデータ) (2023-05-23T12:55:21Z) - Can ChatGPT Understand Too? A Comparative Study on ChatGPT and
Fine-tuned BERT [103.57103957631067]
チャットGPTは、人間の質問に対する流動的で高品質な応答を生成できるため、大きな注目を集めている。
そこで我々は,ChatGPTの理解能力を,最も人気のあるGLUEベンチマークで評価し,より詳細な4種類のBERTスタイルのモデルと比較した。
2)ChatGPTは,感情分析や質問応答タスクにおいて,BERTと同等のパフォーマンスを達成している。
論文 参考訳(メタデータ) (2023-02-19T12:29:33Z) - A Categorical Archive of ChatGPT Failures [47.64219291655723]
OpenAIが開発したChatGPTは、大量のデータを使って訓練され、人間の会話をシミュレートしている。
それは、広範囲の人間の問い合わせに効果的に答える能力のために、大きな注目を集めている。
しかし、ChatGPTの失敗の包括的分析は欠落しており、これが本研究の焦点となっている。
論文 参考訳(メタデータ) (2023-02-06T04:21:59Z) - ChatGPT or Human? Detect and Explain. Explaining Decisions of Machine
Learning Model for Detecting Short ChatGPT-generated Text [2.0378492681344493]
機械学習モデルを効果的に訓練することにより、本来の人間と一見人間(すなわちChatGPT生成)のテキストを正確に区別できるかどうかを検討する。
我々は、ChatGPT生成テキストと人文生成テキストを区別するために訓練されたモデルの背後にある理由を理解するために、説明可能な人工知能フレームワークを使用している。
本研究は,人間生成テキストとChatGPT生成テキストを比較した2つの実験を行い,短いオンラインレビューに焦点を当てた。
論文 参考訳(メタデータ) (2023-01-30T08:06:08Z) - How Close is ChatGPT to Human Experts? Comparison Corpus, Evaluation,
and Detection [8.107721810172112]
ChatGPTは、幅広い人間の質問に効果的に反応できる。
人々はChatGPTのような大きな言語モデル(LLM)が社会に与える影響を心配し始めています。
本研究では,人間の専門家とChatGPTの双方から,数万件の比較回答を収集した。
論文 参考訳(メタデータ) (2023-01-18T15:23:25Z) - Collateral facilitation in humans and language models [0.6091702876917281]
人間は、非常に異常な単語に対して、同様の処理の利点を示す。
本稿では、人間の言語理解と言語モデルによる予測の両方を理解することの意味について論じる。
論文 参考訳(メタデータ) (2022-11-09T21:08:08Z) - Subject Verb Agreement Error Patterns in Meaningless Sentences: Humans
vs. BERT [64.40111510974957]
英語における主語数合意に意味が干渉するかどうかを検証する。
意味的によく形づくられた、意味のないアイテムを生成します。
BERTと人間はどちらも、セマンティックな操作に敏感である。
論文 参考訳(メタデータ) (2022-09-21T17:57:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。