論文の概要: LLMs learn different forms of metacognition when trained to predict their own accuracy

• arxiv url: http://arxiv.org/abs/2609.33886v2
• Date: Tue, 29 Sep 2026 13:00:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.697937
• Title: LLMs learn different forms of metacognition when trained to predict their own accuracy
• Title（参考訳）: LLMは、自分の正確さを予測するために訓練されたとき、異なる形のメタ認知を学習する
• Abstract要約: 私たちは、関係する知識があるかどうかに関わらず、答えを常に生成するように、大きな言語モデルを訓練します。 訓練された信頼感は2つの異なるシグナルを反映している。 これらの結果は、キャリブレーショントレーニングがモデルに、自信を持ってコミットしたエラーを一般的に検出するように教えるものではないことを示唆している。
• 参考スコア（独自算出の注目度）: 13.503004451037212
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are trained to always produce an answer, regardless of whether they possess the relevant knowledge, which leads them to fabricate facts. Prior work has shown that LLMs' confidence estimates correspond poorly to their actual performance, and that fine-tuning can substantially improve them. However, what models actually learn during such training remains poorly understood. We investigate how LLMs acquire metacognitive monitoring, the ability to know what one knows, by training 10 open-weight LLMs to predict their own accuracy on factual multiple-choice questions before answering them. We find that trained confidence reflects two distinct signals. While on questions close to the training data, it tracks the model's true accuracy, in other domains, it instead tracks output consistency: the concentration of the model's answer distribution. Output consistency tracking emerges early in training and generalizes across datasets, whereas accuracy tracking develops later and remains local to the training distribution. These results suggest that calibration training may not teach models to generally detect errors they commit confidently, and they raise broader questions about the nature of metacognition in artificial systems.
• Abstract（参考訳）: 大規模な言語モデルは、関連する知識を持っているかどうかに関わらず、常に答えを生み出すように訓練されている。 以前の研究では、LCMの信頼度は実際の性能とあまり一致せず、微調整によって大幅に改善できることが示されている。 しかし、そのような訓練の間に実際にどのようなモデルが学習されるかは理解されていない。 本研究では,LLMがメタ認知モニタリング(メタ認知モニタリング,メタ認知モニタリング)を10個のオープンウェイトLCMで学習し,実際の複数選択質問に対する自己の精度を予測して回答する能力について検討する。 訓練された信頼は2つの異なるシグナルを反映している。 トレーニングデータに近い質問では、モデルの真の正確性を追跡するが、他のドメインでは出力の一貫性、すなわちモデルの回答分布の集中を追跡する。 アウトプット整合性トラッキングは、トレーニングの初期段階に現れ、データセットをまたいだ一般化を行う。 これらの結果から, キャリブレーショントレーニングは, モデルに対して, 自信を持って犯した誤りを検知するように教えるものではないことが示唆され, 人工システムにおけるメタ認知の性質に関するより広範な疑問が提起された。

関連論文リスト

• Generalized Correctness Models: Learning Calibrated and Model-Agnostic Correctness Predictors from Historical Patterns [67.24756301536617]
  本稿では,正確で校正された信頼度を推定する一般化精度モデル(GCM)を提案する。 まず,多くのLCMの正当性データに基づいてGCMをトレーニングできることを示す。 次に,CMをレンズとして,補正予測能力の源泉とその一般化について検討する。
  論文  参考訳（メタデータ） (2025-09-29T16:19:01Z)
• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Dynamic Uncertainty Ranking: Enhancing Retrieval-Augmented In-Context Learning for Long-Tail Knowledge in LLMs [50.29035873837]
  大規模言語モデル(LLM)は、事前訓練中に多様なドメインから膨大な量の知識を学習することができる。 専門ドメインからの長い尾の知識は、しばしば不足し、表現されていないため、モデルの記憶にはほとんど現れない。 ICLの強化学習に基づく動的不確実性ランキング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T03:42:17Z)
• How Do Large Language Models Acquire Factual Knowledge During Pretraining? [36.59608982935844]
  本研究では,大規模言語モデル(LLM)が事前学習中に事実知識を取得する方法を検討する。 発見は、事前訓練中の事実知識獲得のダイナミクスに関するいくつかの重要な洞察を明らかにしている。
  論文  参考訳（メタデータ） (2024-06-17T17:54:40Z)
• SaySelf: Teaching LLMs to Express Confidence with Self-Reflective Rationales [29.33581578047835]
  SaySelfは、大規模言語モデルに、より正確なきめ細かな信頼推定を表現するためのトレーニングフレームワークである。 さらに、SaySelf は LLM に対して、パラメトリック知識のギャップを明確に識別する自己反射的合理性を生成するよう指示する。 生成した自己反射的理性は合理的であり、キャリブレーションにさらに貢献できることを示す。
  論文  参考訳（メタデータ） (2024-05-31T16:21:16Z)
• A Close Look into the Calibration of Pre-trained Language Models [56.998539510508515]
  事前訓練された言語モデル(PLM)は、予測の不確かさを確実に見積もることに失敗する可能性がある。 トレーニングにおけるPLMの校正性能の動的変化について検討する。 最近提案された2つの学習可能な手法を拡張して、モデルを直接収集し、合理的な信頼度を推定する。
  論文  参考訳（メタデータ） (2022-10-31T21:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。