論文の概要: Metacognitive Monitoring: A Human Ability Beyond Generative Artificial Intelligence
- arxiv url: http://arxiv.org/abs/2410.13392v1
- Date: Thu, 17 Oct 2024 09:42:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-18 13:20:09.507554
- Title: Metacognitive Monitoring: A Human Ability Beyond Generative Artificial Intelligence
- Title（参考訳）: メタ認知モニタリング: 生成人工知能を超えた人間の能力
- Authors: Markus Huff, Elanur Ulakçı,
- Abstract要約: 大規模言語モデル(LLM)は、人間の認知過程と顕著に一致している。
本研究は,ChatGPTがヒトに類似したメタ認知モニタリング能力を持っているかを検討する。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Large language models (LLMs) have shown impressive alignment with human cognitive processes, raising questions about the extent of their similarity to human cognition. This study investigates whether LLMs, specifically ChatGPT, possess metacognitive monitoring abilities akin to humans-particularly in predicting memory performance on an item-by-item basis. We employed a cross-agent prediction model to compare the metacognitive performance of humans and ChatGPT in a language-based memory task involving garden-path sentences preceded by either fitting or unfitting context sentences. Both humans and ChatGPT rated the memorability of these sentences; humans then completed a surprise recognition memory test. Our findings reveal a significant positive relationship between humans' memorability ratings and their actual recognition performance, indicating reliable metacognitive monitoring. In contrast, ChatGPT did not exhibit a similar predictive capability. Bootstrapping analyses demonstrated that none of the GPT models tested (GPT-3.5-turbo, GPT-4-turbo, GPT-4o) could accurately predict human memory performance on a per-item basis. This suggests that, despite their advanced language processing abilities and alignment with human cognition at the object level, current LLMs lack the metacognitive mechanisms that enable humans to anticipate their memory performance. These results highlight a fundamental difference between human and AI cognition at the metacognitive level. Addressing this gap is crucial for developing AI systems capable of effective self-monitoring and adaptation to human needs, thereby enhancing human-AI interactions across domains such as education and personalized learning.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、人間の認知過程と顕著な整合性を示し、人間の認知との類似性について疑問を呈している。
本研究では, LLM, 特にChatGPTが, 項目ごとのメモリ性能の予測において, 人間に類似したメタ認知的モニタリング能力を持っているかを検討する。
そこで我々は,言語に基づく記憶課題における人間とChatGPTのメタ認知能力を比較するために,文脈文の適合や不適合が先行する庭道文を用いたクロスエージェント予測モデルを用いた。
人間もChatGPTもこれらの文の暗記性を評価し、人間が驚きの記憶テストを終えました。
以上の結果から,ヒトの記憶能力評価と実際の認知能力との間に有意な正の相関がみられた。
対照的に、ChatGPTは同様の予測能力を示しなかった。
ブートストラップ解析の結果,GPT-3.5-turbo,GPT-4-turbo,GPT-4oのいずれのモデルも1石当たりのメモリ性能を正確に予測できないことがわかった。
このことは、高度な言語処理能力と、オブジェクトレベルでの人間の認知との整合性にもかかわらず、現在のLLMは、人間が記憶性能を予測できるメタ認知メカニズムを欠いていることを示唆している。
これらの結果は、メタ認知レベルでの人間とAIの認知の根本的な違いを浮き彫りにする。
このギャップに対処することは、効果的な自己監視と人間のニーズへの適応が可能なAIシステムの開発に不可欠であり、それによって教育やパーソナライズドラーニングといった分野における人間とAIの相互作用が向上する。
関連論文リスト
- Rel-A.I.: An Interaction-Centered Approach To Measuring Human-LM Reliance [73.19687314438133]
インタラクションの文脈的特徴が依存に与える影響について検討する。
文脈特性が人間の信頼行動に大きく影響していることが判明した。
これらの結果から,キャリブレーションと言語品質だけでは人間とLMの相互作用のリスクを評価するには不十分であることが示唆された。
論文 参考訳（メタデータ） (2024-07-10T18:00:05Z) - The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。
LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。
以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
論文 参考訳（メタデータ） (2024-03-25T19:07:32Z) - LLMvsSmall Model? Large Language Model Based Text Augmentation Enhanced
Personality Detection Model [58.887561071010985]
パーソナリティ検出は、ソーシャルメディア投稿に根ざした性格特性を検出することを目的としている。
既存のほとんどのメソッドは、事前訓練された言語モデルを微調整することで、ポスト機能を直接学習する。
本稿では,大規模言語モデル (LLM) に基づくテキスト拡張強化人格検出モデルを提案する。
論文 参考訳（メタデータ） (2024-03-12T12:10:18Z) - Tuning-Free Accountable Intervention for LLM Deployment -- A
Metacognitive Approach [55.613461060997004]
大規模言語モデル(LLM)は、自然言語処理タスクの幅広い領域にわたる変換的進歩を触媒している。
我々は,自己認識型誤り識別と訂正機能を備えたLLMを実現するために,textbfCLEARと呼ばれる革新的なテキストメタ認知手法を提案する。
論文 参考訳（メタデータ） (2024-03-08T19:18:53Z) - Towards a Psychology of Machines: Large Language Models Predict Human Memory [0.0]
大規模言語モデル(LLM)は自然言語処理において顕著な能力を示している。
本研究では,LLMが庭道文や文脈情報を含むタスクにおいて,人間の記憶性能を予測できるかどうかを検討する。
論文 参考訳（メタデータ） (2024-03-08T08:41:14Z) - Psychometric Predictive Power of Large Language Models [32.31556074470733]
命令チューニングは、認知モデルの観点から、必ずしも人間のような大きな言語モデルを作るとは限らない。
命令調整 LLM で推定される次の単語確率は、基本 LLM で推定されるものよりも、人間の読み動作をシミュレートする場合には、しばしば悪化する。
論文 参考訳（メタデータ） (2023-11-13T17:19:14Z) - Democratizing Reasoning Ability: Tailored Learning from Large Language
Model [97.4921006089966]
そこで我々は,そのような推論能力をより小さなLMに蒸留する,適切な学習手法を提案する。
対話型多ラウンド学習パラダイムを構築することにより,理科教員としてのLLMの可能性を活用する。
より小さなLMの推論可能性を活用するために,学生が自作ミスから学習する動機付けを目的とした自己回帰学習を提案する。
論文 参考訳（メタデータ） (2023-10-20T07:50:10Z) - Violation of Expectation via Metacognitive Prompting Reduces Theory of
Mind Prediction Error in Large Language Models [0.0]
大規模言語モデル(LLM)は、心の理論(ToM)タスクにおいて、魅力的な習熟度を示す。
この、観察不能な精神状態を他人に伝える能力は、人間の社会的認知に不可欠であり、人間と人工知能(AI)の主観的関係において同様に重要であることが証明される。
論文 参考訳（メタデータ） (2023-10-10T20:05:13Z) - Human-Like Intuitive Behavior and Reasoning Biases Emerged in Language
Models -- and Disappeared in GPT-4 [0.0]
大型言語モデル (LLM) は人間の直感に類似した行動を示す。
また、直感的な意思決定の傾向がいかに頑丈かも調べる。
論文 参考訳（メタデータ） (2023-06-13T08:43:13Z) - Revisiting the Reliability of Psychological Scales on Large Language Models [62.57981196992073]
本研究の目的は,大規模言語モデルにパーソナリティアセスメントを適用することの信頼性を明らかにすることである。
GPT-3.5、GPT-4、Gemini-Pro、LLaMA-3.1などのモデル毎の2,500設定の分析により、様々なLCMがビッグファイブインベントリに応答して一貫性を示すことが明らかになった。
論文 参考訳（メタデータ） (2023-05-31T15:03:28Z) - Thinking Fast and Slow in Large Language Models [0.08057006406834465]
大規模言語モデル(LLM)は、現在、人間のコミュニケーションと日常の生活を結び付けるAIシステムの最前線にある。
本研究では, GPT-3 のような LLM は人間の直感に類似した行動を示し,それに伴う認知的誤りを示す。
論文 参考訳（メタデータ） (2022-12-10T05:07:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。