論文の概要: Metacognitive Monitoring: A Human Ability Beyond Generative Artificial Intelligence
- arxiv url: http://arxiv.org/abs/2410.13392v1
- Date: Thu, 17 Oct 2024 09:42:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-18 13:20:09.507554
- Title: Metacognitive Monitoring: A Human Ability Beyond Generative Artificial Intelligence
- Title（参考訳）: メタ認知モニタリング: 生成人工知能を超えた人間の能力
- Authors: Markus Huff, Elanur Ulakçı,
- Abstract要約: 大規模言語モデル(LLM)は、人間の認知過程と顕著に一致している。
本研究は,ChatGPTがヒトに類似したメタ認知モニタリング能力を持っているかを検討する。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Large language models (LLMs) have shown impressive alignment with human cognitive processes, raising questions about the extent of their similarity to human cognition. This study investigates whether LLMs, specifically ChatGPT, possess metacognitive monitoring abilities akin to humans-particularly in predicting memory performance on an item-by-item basis. We employed a cross-agent prediction model to compare the metacognitive performance of humans and ChatGPT in a language-based memory task involving garden-path sentences preceded by either fitting or unfitting context sentences. Both humans and ChatGPT rated the memorability of these sentences; humans then completed a surprise recognition memory test. Our findings reveal a significant positive relationship between humans' memorability ratings and their actual recognition performance, indicating reliable metacognitive monitoring. In contrast, ChatGPT did not exhibit a similar predictive capability. Bootstrapping analyses demonstrated that none of the GPT models tested (GPT-3.5-turbo, GPT-4-turbo, GPT-4o) could accurately predict human memory performance on a per-item basis. This suggests that, despite their advanced language processing abilities and alignment with human cognition at the object level, current LLMs lack the metacognitive mechanisms that enable humans to anticipate their memory performance. These results highlight a fundamental difference between human and AI cognition at the metacognitive level. Addressing this gap is crucial for developing AI systems capable of effective self-monitoring and adaptation to human needs, thereby enhancing human-AI interactions across domains such as education and personalized learning.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、人間の認知過程と顕著な整合性を示し、人間の認知との類似性について疑問を呈している。
本研究では, LLM, 特にChatGPTが, 項目ごとのメモリ性能の予測において, 人間に類似したメタ認知的モニタリング能力を持っているかを検討する。
そこで我々は,言語に基づく記憶課題における人間とChatGPTのメタ認知能力を比較するために,文脈文の適合や不適合が先行する庭道文を用いたクロスエージェント予測モデルを用いた。
人間もChatGPTもこれらの文の暗記性を評価し、人間が驚きの記憶テストを終えました。
以上の結果から,ヒトの記憶能力評価と実際の認知能力との間に有意な正の相関がみられた。
対照的に、ChatGPTは同様の予測能力を示しなかった。
ブートストラップ解析の結果,GPT-3.5-turbo,GPT-4-turbo,GPT-4oのいずれのモデルも1石当たりのメモリ性能を正確に予測できないことがわかった。
このことは、高度な言語処理能力と、オブジェクトレベルでの人間の認知との整合性にもかかわらず、現在のLLMは、人間が記憶性能を予測できるメタ認知メカニズムを欠いていることを示唆している。
これらの結果は、メタ認知レベルでの人間とAIの認知の根本的な違いを浮き彫りにする。
このギャップに対処することは、効果的な自己監視と人間のニーズへの適応が可能なAIシステムの開発に不可欠であり、それによって教育やパーソナライズドラーニングといった分野における人間とAIの相互作用が向上する。
関連論文リスト
- The Cognitive Capabilities of Generative AI: A Comparative Analysis with Human Benchmarks [17.5336703613751]
本研究は、ウェクスラー成人インテリジェンス尺度(WAIS-IV)における大規模言語モデルと視覚言語モデルと人間のパフォーマンスに対するベンチマークである。
ほとんどのモデルは、文字や数字の任意のシーケンスのようなトークンの保存、検索、操作において例外的な機能を示した。
これらの長所にもかかわらず、我々はマルチモーダルモデルから知覚推論指標(PRI)の性能が一貫して劣っていることを観察した。
論文 参考訳（メタデータ） (2024-10-09T19:22:26Z) - Multimodal Fusion with LLMs for Engagement Prediction in Natural Conversation [70.52558242336988]
我々は,不関心や混乱の兆候を検出することを目的として,言語的および非言語的手がかりを精査することにより,ダイアディック的相互作用における係り合いを予測することに焦点を当てた。
本研究では,カジュアルなダイアディック会話に携わる34人の参加者を対象に,各会話の最後に自己報告されたエンゲージメント評価を行うデータセットを収集する。
大規模言語モデル(LLMs)を用いた新たな融合戦略を導入し,複数行動モダリティをマルチモーダル・トランスクリプトに統合する。
論文 参考訳（メタデータ） (2024-09-13T18:28:12Z) - Generative AI as a metacognitive agent: A comparative mixed-method study with human participants on ICF-mimicking exam performance [0.0]
本研究は,国際コーチング連盟 ICF 試験の文脈において,人間のメタ認知に対する大規模言語モデルのメタ認知能力について検討した。
混合手法を用いて,ヒトと5種類の高度なLDMのメタ認知能力を評価した。
以上の結果から,LLMはすべてのメタ認知的指標,特に過信率の低下において,人間よりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2024-05-07T22:15:12Z) - GPT as Psychologist? Preliminary Evaluations for GPT-4V on Visual Affective Computing [74.68232970965595]
MLLM(Multimodal large language model)は、テキスト、音声、画像、ビデオなどの複数のソースからの情報を処理し、統合するように設計されている。
本稿では、視覚的情緒的タスクと推論タスクにまたがる5つの重要な能力を持つMLLMの適用性を評価する。
論文 参考訳（メタデータ） (2024-03-09T13:56:25Z) - Towards a Psychology of Machines: Large Language Models Predict Human Memory [0.0]
大規模言語モデル(LLM)は、人間の認知に基づいていないにもかかわらず、様々なタスクで優れています。
本研究では,ChatGPTが言語ベースのメモリタスクにおいて,人間のパフォーマンスを予測する能力について検討する。
論文 参考訳（メタデータ） (2024-03-08T08:41:14Z) - Real-time Addressee Estimation: Deployment of a Deep-Learning Model on
the iCub Robot [52.277579221741746]
住所推定は、社会ロボットが人間とスムーズに対話するために必要なスキルである。
人間の知覚スキルにインスパイアされたディープラーニングモデルは、iCubロボットに設計、訓練、デプロイされる。
本研究では,人間-ロボットのリアルタイムインタラクションにおいて,そのような実装の手順とモデルの性能について述べる。
論文 参考訳（メタデータ） (2023-11-09T13:01:21Z) - Humans and language models diverge when predicting repeating text [52.03471802608112]
我々は,人間とLMのパフォーマンスが分岐するシナリオを提示する。
人間とGPT-2 LMの予測はテキストスパンの最初のプレゼンテーションで強く一致しているが、メモリが役割を担い始めると、その性能は急速にバラバラになる。
このシナリオが,LMを人間の行動に近づける上で,今後の作業に拍車をかけることを期待しています。
論文 参考訳（メタデータ） (2023-10-10T08:24:28Z) - Human-Like Intuitive Behavior and Reasoning Biases Emerged in Language
Models -- and Disappeared in GPT-4 [0.0]
大型言語モデル (LLM) は人間の直感に類似した行動を示す。
また、直感的な意思決定の傾向がいかに頑丈かも調べる。
論文 参考訳（メタデータ） (2023-06-13T08:43:13Z) - The world seems different in a social context: a neural network analysis
of human experimental data [57.729312306803955]
本研究では,先行・知覚的信号の精度を変化させることで,個人・社会的タスク設定の両方で人間の行動データを再現可能であることを示す。
トレーニングされたネットワークの神経活性化トレースの分析は、情報が個人や社会的条件のネットワークにおいて、根本的に異なる方法でコード化されていることを示す。
論文 参考訳（メタデータ） (2022-03-03T17:19:12Z) - AGENT: A Benchmark for Core Psychological Reasoning [60.35621718321559]
直観心理学は、観察可能な行動を駆動する隠された精神変数を推論する能力です。
他のエージェントを推論する機械エージェントに対する近年の関心にもかかわらず、そのようなエージェントが人間の推論を駆動するコア心理学の原則を学ぶか保持するかは明らかではない。
本稿では,プロシージャが生成する3dアニメーション,エージェントを4つのシナリオで構成したベンチマークを提案する。
論文 参考訳（メタデータ） (2021-02-24T14:58:23Z) - SensAI+Expanse Emotional Valence Prediction Studies with Cognition and
Memory Integration [0.0]
この研究は、認知科学研究を支援することができる人工知能エージェントに貢献する。
開発された人工知能システム(SensAI+Expanse)には、機械学習アルゴリズム、共感アルゴリズム、メモリが含まれる。
本研究は, 年齢と性別の相違が有意であることを示すものである。
論文 参考訳（メタデータ） (2020-01-03T18:17:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。