論文の概要: Evidence for Limited Metacognition in LLMs

• arxiv url: http://arxiv.org/abs/2509.21545v1
• Date: Thu, 25 Sep 2025 20:30:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:53.98878
• Title: Evidence for Limited Metacognition in LLMs
• Title（参考訳）: LLMにおけるメタ認知の限界
• Authors: Christopher Ackerman,
• Abstract要約: LLMにおけるメタ認知能力を定量的に評価するための新しい手法を提案する。 非ヒト動物におけるメタ認知の研究からインスピレーションを得て、我々のアプローチは、モデルによる自己申告を行い、その代わりに、モデルが内部状態の知識を戦略的に展開できる程度にテストする。
• 参考スコア（独自算出の注目度）: 2.538209532048867
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The possibility of LLM self-awareness and even sentience is gaining increasing public attention and has major safety and policy implications, but the science of measuring them is still in a nascent state. Here we introduce a novel methodology for quantitatively evaluating metacognitive abilities in LLMs. Taking inspiration from research on metacognition in nonhuman animals, our approach eschews model self-reports and instead tests to what degree models can strategically deploy knowledge of internal states. Using two experimental paradigms, we demonstrate that frontier LLMs introduced since early 2024 show increasingly strong evidence of certain metacognitive abilities, specifically the ability to assess and utilize their own confidence in their ability to answer factual and reasoning questions correctly and the ability to anticipate what answers they would give and utilize that information appropriately. We buttress these behavioral findings with an analysis of the token probabilities returned by the models, which suggests the presence of an upstream internal signal that could provide the basis for metacognition. We further find that these abilities 1) are limited in resolution, 2) emerge in context-dependent manners, and 3) seem to be qualitatively different from those of humans. We also report intriguing differences across models of similar capabilities, suggesting that LLM post-training may have a role in developing metacognitive abilities.
• Abstract（参考訳）: LLMの自己認識と知覚の可能性は、公衆の注目を集め、大きな安全性と政策上の意味を持つが、それらを測定する科学はまだ初期段階にある。 本稿では,LLMにおけるメタ認知能力の定量的評価手法を提案する。 非ヒト動物におけるメタ認知の研究からインスピレーションを得て、我々のアプローチは、モデルによる自己申告を行い、その代わりに、モデルが内部状態の知識を戦略的に展開できる程度にテストする。 2つの実験パラダイムを用いて,2024年初頭に導入されたフロンティアLSMは,特定のメタ認知能力の強い証拠,具体的には,事実的および推論的疑問に正しく答える能力に対する自己の自信を評価・活用する能力と,その情報を適切に活用する答えを予測する能力を示す。 本研究は, メタ認知の基礎となる上流内部信号の存在を示唆する, モデルによって返却されるトークン確率の分析により, 行動学的知見を裏付けるものである。 さらにこれらの能力は 1)分解能に制限がある。 2)文脈に依存した方法で出現し、 3)人間とは質的に異なる。 また、同様の能力のモデル間での興味深い差異を報告し、LLMポストトレーニングがメタ認知能力の発達に果たす役割を示唆している。

関連論文リスト

• Language Models Are Capable of Metacognitive Monitoring and Control of Their Internal Activations [1.0485739694839669]
  大規模言語モデル(LLM)は、タスクの解決に実際に使用している戦略を報告することができるが、失敗することもある。 これはメタ認知の程度、つまり、その後の報告と自己制御のために自分自身の認知プロセスを監視する能力を示している。 我々は,LLMの活性化パターンを明示的に報告し,制御する能力を定量化するために,神経科学にインスパイアされた神経フィードバックパラダイムを導入する。
  論文  参考訳（メタデータ） (2025-05-19T22:32:25Z)
• Line of Duty: Evaluating LLM Self-Knowledge via Consistency in Feasibility Boundaries [0.0]
  本研究は,新たな手法を用いて,異なるタイプのLDM自己知識に関する本質的な洞察を得ることを目的とする。 GPT-4oやMistral Largeのようなフロンティアモデルでさえ、その80%以上の能力を確信していないことが分かりました。
  論文  参考訳（メタデータ） (2025-03-14T10:07:07Z)
• LLM Internal States Reveal Hallucination Risk Faced With a Query [62.29558761326031]
  人間は、クエリに直面したとき、私たちが知らないことを認識できる自己認識プロセスを持っています。 本稿では,大規模言語モデルが応答生成に先立って,自身の幻覚リスクを推定できるかどうかを検討する。 確率推定器により, LLM自己評価を利用して, 平均幻覚推定精度84.32%を達成する。
  論文  参考訳（メタデータ） (2024-07-03T17:08:52Z)
• Exploring the Cognitive Knowledge Structure of Large Language Models: An Educational Diagnostic Assessment Approach [50.125704610228254]
  大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示すだけでなく、知性の火花も示している。 近年の研究では、人間の試験における能力の評価に焦点が当てられ、異なる領域における彼らの印象的な能力を明らかにしている。 ブルーム分類に基づく人体検査データセットであるMoocRadarを用いて評価を行った。
  論文  参考訳（メタデータ） (2023-10-12T09:55:45Z)
• The Confidence-Competence Gap in Large Language Models: A Cognitive Study [3.757390057317548]
  大規模言語モデル(LLM)は、様々な領域にわたるパフォーマンスに対して、広く注目を集めている。 我々はこれらのモデルを多様なアンケートと実世界のシナリオで活用する。 この結果から,モデルが誤答しても高い信頼性を示す興味深い事例が判明した。
  論文  参考訳（メタデータ） (2023-09-28T03:50:09Z)
• Revisiting the Reliability of Psychological Scales on Large Language Models [62.57981196992073]
  本研究の目的は,大規模言語モデルにパーソナリティアセスメントを適用することの信頼性を明らかにすることである。 GPT-3.5、GPT-4、Gemini-Pro、LLaMA-3.1などのモデル毎の2,500設定の分析により、様々なLCMがビッグファイブインベントリに応答して一貫性を示すことが明らかになった。
  論文  参考訳（メタデータ） (2023-05-31T15:03:28Z)
• Do Large Language Models Know What They Don't Know? [74.65014158544011]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに優れた知識を持つ。 膨大な知識にもかかわらず、LLMはそれらが適合し理解できる情報の量によって制限されている。 本研究の目的は,LLMの自己理解能力を評価することである。
  論文  参考訳（メタデータ） (2023-05-29T15:30:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。