論文の概要: Do LLMs Know What They Know? Measuring Metacognitive Efficiency with Signal Detection Theory

• arxiv url: http://arxiv.org/abs/2603.25112v1
• Date: Thu, 26 Mar 2026 07:38:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-27 20:52:48.157235
• Title: Do LLMs Know What They Know? Measuring Metacognitive Efficiency with Signal Detection Theory
• Title（参考訳）: LLMは自分が知っていることを知っているか?信号検出理論によるメタ認知効率の測定
• Abstract要約: メタキャリブレーションによるキャパシティを分解するタイプ2信号検出理論とメタ認知効率比M比に基づく評価フレームワークを提案する。 1) メタ認知効率は,(1) タイプ1の感度が類似している場合でも,モデル間で大きく異なる - Mistral は D が最も高いが M 比が低い; 2) メタ認知効率はドメイン固有であり,異なるモデルが最も弱い領域を示し,メトリクスを集約できない; である。 メタキャリブレーションされた'フレームワークは、どのモデルが単に何を知らないのかを知る'のかを明らかにします。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Standard evaluation of LLM confidence relies on calibration metrics (ECE, Brier score) that conflate two distinct capacities: how much a model knows (Type-1 sensitivity) and how well it knows what it knows (Type-2 metacognitive sensitivity). We introduce an evaluation framework based on Type-2 Signal Detection Theory that decomposes these capacities using meta-d' and the metacognitive efficiency ratio M-ratio. Applied to four LLMs (Llama-3-8B-Instruct, Mistral-7B-Instruct-v0.3, Llama-3-8B-Base, Gemma-2-9B-Instruct) across 224,000 factual QA trials, we find: (1) metacognitive efficiency varies substantially across models even when Type-1 sensitivity is similar -- Mistral achieves the highest d' but the lowest M-ratio; (2) metacognitive efficiency is domain-specific, with different models showing different weakest domains, invisible to aggregate metrics; (3) temperature manipulation shifts Type-2 criterion while meta-d' remains stable for two of four models, dissociating confidence policy from metacognitive capacity; (4) AUROC_2 and M-ratio produce fully inverted model rankings, demonstrating these metrics answer fundamentally different evaluation questions. The meta-d' framework reveals which models "know what they don't know" versus which merely appear well-calibrated due to criterion placement -- a distinction with direct implications for model selection, deployment, and human-AI collaboration. Pre-registered analysis; code and data publicly available.
• Abstract（参考訳）: LLMの信頼性の標準的な評価は、キャリブレーション指標(ECE, Brier score)に依存しており、モデルがどれだけ知っているか(タイプ1感度)と、どれくらい知っているかを知っているか(タイプ2メタ認知感度)である。 メタd'とメタ認知効率比M比を用いてこれらの容量を分解するタイプ2信号検出理論に基づく評価フレームワークを提案する。 LLM(Llama-3-8B-Instruct, Mistral-7B-Instruct-v0.3, Llama-3-8B-Base, Gemma-2-9B-Instruct)を224,000件のQA試験に適用すると、(1)Type-1感度が類似している場合でも、メタ認知効率はモデルによって大きく変化することが判明した。 メタd'フレームワークは、モデル選択、デプロイメント、人間とAIのコラボレーションに直接的な意味を持つ区別として、基準の配置によって、単にうまく校正されているモデルに対して、どのモデルが"知らないことを知っている"かを明らかにしている。 事前登録された分析; コードとデータが公開されている。

関連論文リスト

• metasignal: A Python Package for Comprehensive Metacognitive Analysis and Decision-Making [0.0]
  Metasignalは、信号検出理論とメタ認知計測のためのオープンソースのPythonパッケージである。 Rahnev (2025)により評価された17のメタ認知尺度を実装している。 このパッケージはまた、コマンドラインインターフェース、グループ要約、ブートストラップの信頼区間、置換テスト、任意の階層ベイズモデル、情報理論測度を提供する。
  論文  参考訳（メタデータ） (2026-07-31T07:18:19Z)
• Beyond Exact Match: How Evaluation Methodology Dominates Model Choice in LLM-Based Product Attribute Extraction [0.0]
  ゼロショット、少数ショット、スキーマ誘導、定義強化の4つのプロンプト戦略を、2つのプロダクショングレードの大規模言語モデルと比較する。 評価手法はモデル選択の約23倍のばらつきを生じることがわかった。 生産特性抽出パイプラインでは, 評価手法とデータ品質が, モデル選択と迅速なエンジニアリングの影響を支配していると結論づける。
  論文  参考訳（メタデータ） (2026-07-24T23:25:16Z)
• Reinforcement Learning with Metacognitive Feedback Elicits Faithful Uncertainty Expression in LLMs [60.80435138270317]
  本稿では,メタ認知的フィードバックによる強化学習を忠実な校正問題に適用する。 実験により、RLMFは様々なタスクにおいて汎用的で最先端のFCを実現することが示された。 RLMFは標準のRLを最大63%上回り、モデルの性能限界を評価し表現する能力を高めている。
  論文  参考訳（メタデータ） (2026-06-30T17:56:01Z)
• DualEval: Joint Model-Item Calibration for Unified LLM Evaluation [67.99119926012686]
  DualEvalは、モデルと評価項目を共有空間で表現する潜在モデルイテムキャリブレーションフレームワークである。 我々はDualEvalを、コーディング、数学、雑多なドメイン知識タスク、汎用的な日常的なユーザクエリの4つの領域にまたがって適用する。
  論文  参考訳（メタデータ） (2026-06-24T22:40:46Z)
• Metacognition as Reward: Reinforcing LLM Reasoning via Knowledge and Regulation Signals [75.25256166997414]
  本稿ではメタ認知に触発されたRLフレームワークであるメタ認知・アズ・リワード(MaR)を紹介する。 MaRは2つの一般的なプロセス次元を推論する。 MaRはモデル性能を継続的に改善し、ベースモデルよりも最大7.7%向上した。
  論文  参考訳（メタデータ） (2026-05-22T08:54:37Z)
• MEDLEY-BENCH: Scale Buys Evaluation but Not Control in AI Metacognition [37.95586695802894]
  メタ認知(メタ認知)は、自分自身の推論を監視し、規制する能力であり、AIベンチマークでは未評価のままである。 我々は,行動メタ認知のベンチマークであるMEDLEY-BENCHを紹介した。
  論文  参考訳（メタデータ） (2026-04-17T12:32:50Z)
• The Metacognitive Monitoring Battery: A Cross-Domain Benchmark for LLM Self-Monitoring [0.0]
  本稿では,Nelson and Narens(1990)メタ認知フレームワークを基盤としたLLMにおけるモニタリング制御結合のドメイン間挙動測定を紹介する。 電池依存キャリブレーションは、単調低下(Q)、単調上昇(GPT-5.4)、平(Gemma)を含む。 発見は、独立なType-2 SDTアプローチと構造的に収束し、予備的なクロスメタルキャリブレーションを提供する。
  論文  参考訳（メタデータ） (2026-04-17T05:15:15Z)
• Internalizing Meta-Experience into Memory for Guided Reinforcement Learning in Large Language Models [28.300560850867374]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、Large Language Models(LLM)の推論能力を高める効果的なアプローチとして登場した。 本稿では,メタ実験学習(Meta-Experience Learning, MEL)を提案する。 MELはベンチマークで一貫した改善を実現し、様々なモデルサイズで3.92%--4.73%のPass@1ゲインを得る。
  論文  参考訳（メタデータ） (2026-02-10T19:16:09Z)
• Lie to Me: Knowledge Graphs for Robust Hallucination Self-Detection in LLMs [0.0]
  本研究では,幻覚の自己検出を改善するため,構造化知識表現,すなわち知識グラフの利用について検討する。 この結果から,LLMは知識グラフとして構造化された原子の事実をよりよく解析できることがわかった。 この低コストでモデルに依存しないアプローチは、より安全で信頼性の高い言語モデルへの道を開く。
  論文  参考訳（メタデータ） (2025-12-29T15:41:13Z)
• From Harm to Help: Turning Reasoning In-Context Demos into Assets for Reasoning LMs [58.02809208460186]
  デモとしてDeepSeek-R1の高品質なトレースを使って、このパラドックスを再検討する。 デモが最適であっても、より多くの例を加えることで、常に精度が低下することがわかった。 デモを明示的で再利用可能な洞察に変換するシーケンシャルなテストタイム手順であるInsight-to-solve(I2S)を紹介します。
  論文  参考訳（メタデータ） (2025-09-27T08:59:31Z)
• Reliable Decision Support with LLMs: A Framework for Evaluating Consistency in Binary Text Classification Applications [0.7124971549479361]
  本研究では,大言語モデル(LLM)のバイナリテキスト分類における一貫性を評価するフレームワークを提案する。 我々は,サンプルサイズ要件を定め,不適切な応答の指標を開発し,レータ内およびレータ間信頼性を評価する。
  論文  参考訳（メタデータ） (2025-05-20T21:12:58Z)
• Hallucination Detection in Large Language Models with Metamorphic Relations [7.411154122932113]
  大規模言語モデル(LLM)は幻覚を起こす傾向があり、例えば、その応答において事実的に誤った情報がある。 メタQAは, メタモルフィック関係を利用した自己完結型幻覚検出手法である。 我々は,MetaQAと最先端のゼロリソース幻覚検出手法であるSelfCheckGPTを比較し,複数のデータセットを比較した。
  論文  参考訳（メタデータ） (2025-02-20T19:44:33Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• MR-GSM8K: A Meta-Reasoning Benchmark for Large Language Model Evaluation [60.65820977963331]
  大規模言語モデル(LLM)のための新しい評価パラダイムを導入する。 このパラダイムは、しばしば推論プロセスを無視する結果指向の評価から、より包括的な評価へと重点を移す。 GSM8Kデータセットにこのパラダイムを適用し,MR-GSM8Kベンチマークを開発した。
  論文  参考訳（メタデータ） (2023-12-28T15:49:43Z)
• MetaDistiller: Network Self-Boosting via Meta-Learned Top-Down Distillation [153.56211546576978]
  本研究では,ラベル生成器を用いて高い適合性を有するソフトターゲットを生成することを提案する。 このラベルジェネレータを最適化するためにメタ学習技術を用いることができる。 実験は CIFAR-100 と ILSVRC2012 の2つの標準分類ベンチマークで実施された。
  論文  参考訳（メタデータ） (2020-08-27T13:04:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。