論文の概要: Metacognitive Monitoring: A Human Ability Beyond Generative Artificial Intelligence

• arxiv url: http://arxiv.org/abs/2410.13392v1
• Date: Thu, 17 Oct 2024 09:42:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 17:07:36.857539
• Title: Metacognitive Monitoring: A Human Ability Beyond Generative Artificial Intelligence
• Title（参考訳）: メタ認知モニタリング: 生成人工知能を超えた人間の能力
• Authors: Markus Huff, Elanur Ulakçı,
• Abstract要約: 大規模言語モデル(LLM)は、人間の認知過程と顕著に一致している。 本研究は,ChatGPTがヒトに類似したメタ認知モニタリング能力を持っているかを検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) have shown impressive alignment with human cognitive processes, raising questions about the extent of their similarity to human cognition. This study investigates whether LLMs, specifically ChatGPT, possess metacognitive monitoring abilities akin to humans-particularly in predicting memory performance on an item-by-item basis. We employed a cross-agent prediction model to compare the metacognitive performance of humans and ChatGPT in a language-based memory task involving garden-path sentences preceded by either fitting or unfitting context sentences. Both humans and ChatGPT rated the memorability of these sentences; humans then completed a surprise recognition memory test. Our findings reveal a significant positive relationship between humans' memorability ratings and their actual recognition performance, indicating reliable metacognitive monitoring. In contrast, ChatGPT did not exhibit a similar predictive capability. Bootstrapping analyses demonstrated that none of the GPT models tested (GPT-3.5-turbo, GPT-4-turbo, GPT-4o) could accurately predict human memory performance on a per-item basis. This suggests that, despite their advanced language processing abilities and alignment with human cognition at the object level, current LLMs lack the metacognitive mechanisms that enable humans to anticipate their memory performance. These results highlight a fundamental difference between human and AI cognition at the metacognitive level. Addressing this gap is crucial for developing AI systems capable of effective self-monitoring and adaptation to human needs, thereby enhancing human-AI interactions across domains such as education and personalized learning.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、人間の認知過程と顕著な整合性を示し、人間の認知との類似性について疑問を呈している。 本研究では, LLM, 特にChatGPTが, 項目ごとのメモリ性能の予測において, 人間に類似したメタ認知的モニタリング能力を持っているかを検討する。 そこで我々は,言語に基づく記憶課題における人間とChatGPTのメタ認知能力を比較するために,文脈文の適合や不適合が先行する庭道文を用いたクロスエージェント予測モデルを用いた。 人間もChatGPTもこれらの文の暗記性を評価し、人間が驚きの記憶テストを終えました。 以上の結果から,ヒトの記憶能力評価と実際の認知能力との間に有意な正の相関がみられた。 対照的に、ChatGPTは同様の予測能力を示しなかった。 ブートストラップ解析の結果,GPT-3.5-turbo,GPT-4-turbo,GPT-4oのいずれのモデルも1石当たりのメモリ性能を正確に予測できないことがわかった。 このことは、高度な言語処理能力と、オブジェクトレベルでの人間の認知との整合性にもかかわらず、現在のLLMは、人間が記憶性能を予測できるメタ認知メカニズムを欠いていることを示唆している。 これらの結果は、メタ認知レベルでの人間とAIの認知の根本的な違いを浮き彫りにする。 このギャップに対処することは、効果的な自己監視と人間のニーズへの適応が可能なAIシステムの開発に不可欠であり、それによって教育やパーソナライズドラーニングといった分野における人間とAIの相互作用が向上する。

関連論文リスト

• Measurement of LLM's Philosophies of Human Nature [113.47929131143766]
  大規模言語モデル(LLM)を対象とする標準化された心理尺度を設計する。 現在のLSMは、人間に対する信頼の欠如を示す。 本稿では,LLMが継続的に価値体系を最適化できるメンタルループ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-03T06:22:19Z)
• If an LLM Were a Character, Would It Know Its Own Story? Evaluating Lifelong Learning in LLMs [55.8331366739144]
  大規模言語モデル(LLM)における生涯学習評価のためのベンチマークであるLIFESTATE-BENCHを紹介する。 我々の事実チェック評価は、パラメトリックと非パラメトリックの両方のアプローチで、モデルの自己認識、エピソードメモリ検索、関係追跡を探索する。
  論文  参考訳（メタデータ） (2025-03-30T16:50:57Z)
• How Deep is Love in LLMs' Hearts? Exploring Semantic Size in Human-like Cognition [75.11808682808065]
  本研究では,大言語モデル (LLM) が意味的サイズを理解する上で類似した傾向を示すかどうかを検討する。 以上の結果から,マルチモーダルトレーニングはLLMにとって人間的な理解を深める上で不可欠であることが示唆された。 最後に,LLMが実世界のWebショッピングシナリオにおいて,より大きなセマンティックサイズを持つ注目の見出しに影響されているかを検討する。
  論文  参考訳（メタデータ） (2025-03-01T03:35:56Z)
• The Cognitive Capabilities of Generative AI: A Comparative Analysis with Human Benchmarks [17.5336703613751]
  本研究は、ウェクスラー成人インテリジェンス尺度(WAIS-IV)における大規模言語モデルと視覚言語モデルと人間のパフォーマンスに対するベンチマークである。 ほとんどのモデルは、文字や数字の任意のシーケンスのようなトークンの保存、検索、操作において例外的な機能を示した。 これらの長所にもかかわらず、我々はマルチモーダルモデルから知覚推論指標(PRI)の性能が一貫して劣っていることを観察した。
  論文  参考訳（メタデータ） (2024-10-09T19:22:26Z)
• Multimodal Fusion with LLMs for Engagement Prediction in Natural Conversation [70.52558242336988]
  我々は,不関心や混乱の兆候を検出することを目的として,言語的および非言語的手がかりを精査することにより,ダイアディック的相互作用における係り合いを予測することに焦点を当てた。 本研究では,カジュアルなダイアディック会話に携わる34人の参加者を対象に,各会話の最後に自己報告されたエンゲージメント評価を行うデータセットを収集する。 大規模言語モデル(LLMs)を用いた新たな融合戦略を導入し,複数行動モダリティをマルチモーダル・トランスクリプトに統合する。
  論文  参考訳（メタデータ） (2024-09-13T18:28:12Z)
• Rel-A.I.: An Interaction-Centered Approach To Measuring Human-LM Reliance [73.19687314438133]
  インタラクションの文脈的特徴が依存に与える影響について検討する。 文脈特性が人間の信頼行動に大きく影響していることが判明した。 これらの結果から,キャリブレーションと言語品質だけでは人間とLMの相互作用のリスクを評価するには不十分であることが示唆された。
  論文  参考訳（メタデータ） (2024-07-10T18:00:05Z)
• Generative AI as a metacognitive agent: A comparative mixed-method study with human participants on ICF-mimicking exam performance [0.0]
  本研究は,国際コーチング連盟 ICF 試験の文脈において,人間のメタ認知に対する大規模言語モデルのメタ認知能力について検討した。 混合手法を用いて,ヒトと5種類の高度なLDMのメタ認知能力を評価した。 以上の結果から,LLMはすべてのメタ認知的指標,特に過信率の低下において,人間よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-05-07T22:15:12Z)
• The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。 以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T19:07:32Z)
• GPT as Psychologist? Preliminary Evaluations for GPT-4V on Visual Affective Computing [74.68232970965595]
  MLLM(Multimodal large language model)は、テキスト、音声、画像、ビデオなどの複数のソースからの情報を処理し、統合するように設計されている。 本稿では、視覚的情緒的タスクと推論タスクにまたがる5つの重要な能力を持つMLLMの適用性を評価する。
  論文  参考訳（メタデータ） (2024-03-09T13:56:25Z)
• Towards a Psychology of Machines: Large Language Models Predict Human Memory [0.0]
  大規模言語モデル(LLM)は、人間の認知に基づいていないにもかかわらず、様々なタスクで優れています。 本研究では,ChatGPTが言語ベースのメモリタスクにおいて,人間のパフォーマンスを予測する能力について検討する。
  論文  参考訳（メタデータ） (2024-03-08T08:41:14Z)
• Psychometric Predictive Power of Large Language Models [32.31556074470733]
  命令チューニングは、認知モデルの観点から、必ずしも人間のような大きな言語モデルを作るとは限らない。 命令調整 LLM で推定される次の単語確率は、基本 LLM で推定されるものよりも、人間の読み動作をシミュレートする場合には、しばしば悪化する。
  論文  参考訳（メタデータ） (2023-11-13T17:19:14Z)
• Real-time Addressee Estimation: Deployment of a Deep-Learning Model on the iCub Robot [52.277579221741746]
  住所推定は、社会ロボットが人間とスムーズに対話するために必要なスキルである。 人間の知覚スキルにインスパイアされたディープラーニングモデルは、iCubロボットに設計、訓練、デプロイされる。 本研究では,人間-ロボットのリアルタイムインタラクションにおいて,そのような実装の手順とモデルの性能について述べる。
  論文  参考訳（メタデータ） (2023-11-09T13:01:21Z)
• Violation of Expectation via Metacognitive Prompting Reduces Theory of Mind Prediction Error in Large Language Models [0.0]
  大規模言語モデル(LLM)は、心の理論(ToM)タスクにおいて、魅力的な習熟度を示す。 この、観察不能な精神状態を他人に伝える能力は、人間の社会的認知に不可欠であり、人間と人工知能(AI)の主観的関係において同様に重要であることが証明される。
  論文  参考訳（メタデータ） (2023-10-10T20:05:13Z)
• Humans and language models diverge when predicting repeating text [52.03471802608112]
  我々は,人間とLMのパフォーマンスが分岐するシナリオを提示する。 人間とGPT-2 LMの予測はテキストスパンの最初のプレゼンテーションで強く一致しているが、メモリが役割を担い始めると、その性能は急速にバラバラになる。 このシナリオが,LMを人間の行動に近づける上で,今後の作業に拍車をかけることを期待しています。
  論文  参考訳（メタデータ） (2023-10-10T08:24:28Z)
• Human-Like Intuitive Behavior and Reasoning Biases Emerged in Language Models -- and Disappeared in GPT-4 [0.0]
  大型言語モデル (LLM) は人間の直感に類似した行動を示す。 また、直感的な意思決定の傾向がいかに頑丈かも調べる。
  論文  参考訳（メタデータ） (2023-06-13T08:43:13Z)
• Revisiting the Reliability of Psychological Scales on Large Language Models [62.57981196992073]
  本研究の目的は,大規模言語モデルにパーソナリティアセスメントを適用することの信頼性を明らかにすることである。 GPT-3.5、GPT-4、Gemini-Pro、LLaMA-3.1などのモデル毎の2,500設定の分析により、様々なLCMがビッグファイブインベントリに応答して一貫性を示すことが明らかになった。
  論文  参考訳（メタデータ） (2023-05-31T15:03:28Z)
• Thinking Fast and Slow in Large Language Models [0.08057006406834465]
  大規模言語モデル(LLM)は、現在、人間のコミュニケーションと日常の生活を結び付けるAIシステムの最前線にある。 本研究では, GPT-3 のような LLM は人間の直感に類似した行動を示し,それに伴う認知的誤りを示す。
  論文  参考訳（メタデータ） (2022-12-10T05:07:30Z)
• The world seems different in a social context: a neural network analysis of human experimental data [57.729312306803955]
  本研究では,先行・知覚的信号の精度を変化させることで,個人・社会的タスク設定の両方で人間の行動データを再現可能であることを示す。 トレーニングされたネットワークの神経活性化トレースの分析は、情報が個人や社会的条件のネットワークにおいて、根本的に異なる方法でコード化されていることを示す。
  論文  参考訳（メタデータ） (2022-03-03T17:19:12Z)
• AGENT: A Benchmark for Core Psychological Reasoning [60.35621718321559]
  直観心理学は、観察可能な行動を駆動する隠された精神変数を推論する能力です。 他のエージェントを推論する機械エージェントに対する近年の関心にもかかわらず、そのようなエージェントが人間の推論を駆動するコア心理学の原則を学ぶか保持するかは明らかではない。 本稿では,プロシージャが生成する3dアニメーション,エージェントを4つのシナリオで構成したベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-02-24T14:58:23Z)
• SensAI+Expanse Emotional Valence Prediction Studies with Cognition and Memory Integration [0.0]
  この研究は、認知科学研究を支援することができる人工知能エージェントに貢献する。 開発された人工知能システム(SensAI+Expanse)には、機械学習アルゴリズム、共感アルゴリズム、メモリが含まれる。 本研究は, 年齢と性別の相違が有意であることを示すものである。
  論文  参考訳（メタデータ） (2020-01-03T18:17:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。