論文の概要: LLMs Show No Signs Of Individuated Metacognition

• arxiv url: http://arxiv.org/abs/2605.24299v1
• Date: Fri, 22 May 2026 23:54:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:17.855726
• Title: LLMs Show No Signs Of Individuated Metacognition
• Title（参考訳）: LLMは、識別されたメタ認知の兆候を示さない
• Authors: M. Moran, Mark Whiting,
• Abstract要約: 20大言語モデルから二項信頼判断を分解する。 信頼性が異なる2つのモデルも性能が異なるかどうかを問う。 いずれの検査領域においても,有意な弁別メタ認知の証拠は見つからない。
• 参考スコア（独自算出の注目度）: 0.023227405857540805
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Confidence-weighted routing, selective abstention, and ensemble weighting all assume that a model's stated confidence is informative about its capability on the question being asked. They presume functional metacognition, the capacity to assess one's own capabilities, without exercising them. Aggregate calibration is well studied, with mixed results, but the underlying structure of elicited confidence is less well understood. We decompose binary confidence judgements from 20 frontier Large Language Models (LLMs) across six benchmarks using tetrachoric factor analysis paired with pairwise calibration, asking whether two models that differ in confidence also differ in performance. On factual recall and information retrieval benchmarks the cross-model confidence matrix is approximately rank-one and a single dominant factor captures most of the latent variance. Models retrieving facts share an item-level difficulty axis and differ mainly in their decision thresholds along it. Across all benchmarks the relationship between confidence and performance collapses once items that all models agree on are removed. Inter-model pairwise calibration is small even where statistically significant, and what remains shrinks to nothing once base-rate differences along the shared factor are controlled for. Mathematical reasoning is the apparent exception, but this turns out to be a confound where reasoning models answer questions about their confidence by trying to solve them in their chain of thought, bypassing the sub-symbolic self-knowledge we seek to measure. We find no evidence for significant verbalised individuated metacognition in any tested domain.
• Abstract（参考訳）: 信頼度重み付けルーティング、選択的棄権、およびアンサンブル重み付けは、モデルが主張する信頼度が、質問された質問に対するその能力について情報的であるとみなす。 機能的メタ認知は、自身の能力を評価する能力であり、それを行使することはないと仮定する。 アグリゲートキャリブレーションは, 混合結果とともによく研究されているが, 誘発された信頼の基盤構造はよく理解されていない。 テトラコリック因子分析とペアのキャリブレーションを併用した6つのベンチマークを用いて,20のフロンティア大言語モデル(LLM)からバイナリ信頼度判定を分解し,信頼度が異なる2つのモデルが性能に異なるかどうかを問う。 事実的リコールと情報検索のベンチマークでは、クロスモデル信頼度行列は概してランク1であり、一つの支配的要因が遅延分散の大部分を捉えている。 事実を検索するモデルはアイテムレベルの難易度軸を共有し、主にその決定しきい値が異なる。 すべてのベンチマークにおいて、すべてのモデルが合意する項目が削除されると、信頼性とパフォーマンスの関係は崩壊する。 統計学的に重要な場合であっても、モデル間のペアワイド校正は小さく、共有要因に沿ったベースレート差が制御されると、残余は無に縮小する。 数学的推論は明らかな例外であるが、これは、推論モデルが彼らの思考の連鎖でそれらを解こうとして、私たちが測ろうとするサブシンボリックな自己知識を通り抜けることによって、彼らの信頼に関する疑問に答える不確実性であることが判明した。 いずれの検査領域においても,有意な弁別メタ認知の証拠は見つからない。

関連論文リスト

• Closing the Confidence-Faithfulness Gap in Large Language Models [3.122242683664973]
  大規模言語モデルは、実際の精度から大きく切り離された信頼スコアを言語化する。 本稿では,言語的信頼度に関する機械論的解釈可能性分析について述べる。 本稿では,モデルの内部精度推定値を読み取る2段階適応型ステアリングパイプラインを導入する。
  論文  参考訳（メタデータ） (2026-03-26T05:42:04Z)
• On Calibration of Large Language Models: From Response To Capability [66.59139960234326]
  大規模言語モデル(LLM)は汎用的な問題解決手段として広くデプロイされている。 本稿では,クエリ上でモデルが期待する精度を目標とするキャリブレーションを提案する。 我々の結果は、キャパシティ校正された信頼度がpass@$k$予測と推論予算割り当てを改善することを示している。
  論文  参考訳（メタデータ） (2026-02-14T01:07:45Z)
• Certainty robustness: Evaluating LLM stability under self-challenging prompts [0.5156484100374058]
  大規模言語モデル(LLM)は、確実性や真実を推論する明確なメカニズムが欠如しているにもかかわらず、高い自信を持って答えを提示することが多い。 本稿では,LLMの安定性と適応性のバランス性を評価するための2ターン評価フレームワークであるCertainty Robustness Benchmarkを紹介する。 我々はLiveBenchの200の推論と数学の質問を用いて、4つの最先端LCMを評価し、正当性のある自己補正と正当性のない答えの変化を区別する。
  論文  参考訳（メタデータ） (2026-02-10T18:07:51Z)
• BrowseConf: Confidence-Guided Test-Time Scaling for Web Agents [58.05949210993854]
  本研究では,長期にわたる行動の後,言語化された信頼度スコアを用いて,検索エージェントが自身の信頼を伝達できるかどうかを検討する。 本研究では,信頼度スコアを用いて回答の質を判断し,信頼度レベルに達するまで再度試すテスト時間スケーリング(TTS)手法を提案する。
  論文  参考訳（メタデータ） (2025-10-27T15:58:51Z)
• Mind the Confidence Gap: Overconfidence, Calibration, and Distractor Effects in Large Language Models [0.6091702876917281]
  大規模言語モデル(LLM)は、自然言語処理において顕著な熟練度を示す。 予測された信頼と真の正しさの過度なミスサライメントは、重要な意思決定アプリケーションに重大なリスクをもたらす。 9つのLCMと3つの質問応答データセットにわたるLCMの校正に関する包括的分析を行った。
  論文  参考訳（メタデータ） (2025-02-16T07:46:09Z)
• Confidence in the Reasoning of Large Language Models [0.0]
  信頼度は、再考を促す際に、答えを維持するための永続性の観点から測定される。 信頼は、基礎となるトークンレベルの確率によってのみ部分的に説明される。
  論文  参考訳（メタデータ） (2024-12-19T10:04:29Z)
• Fact-Level Confidence Calibration and Self-Correction [64.40105513819272]
  本稿では,事実レベルでの信頼度と妥当性の重み付けを校正するFact-Levelフレームワークを提案する。 また,信頼度の高い自己補正(textbfConFix$)も開発した。
  論文  参考訳（メタデータ） (2024-11-20T14:15:18Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。