論文の概要: Improving Metacognition and Uncertainty Communication in Language Models

• arxiv url: http://arxiv.org/abs/2510.05126v1
• Date: Tue, 30 Sep 2025 19:50:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:07.828394
• Title: Improving Metacognition and Uncertainty Communication in Language Models
• Title（参考訳）: 言語モデルにおけるメタ認知と不確実性コミュニケーションの改善
• Authors: Mark Steyvers, Catarina Belem, Padhraic Smyth,
• Abstract要約: 大規模言語モデル(LLM)は、意思決定の文脈でますます使われている。 LLMの明示的な言語的信頼は、典型的には誤解され、正解と誤解の区別が不十分である。 教師付き微調整が不確かさを伝達するモデルの能力を向上させるかどうかを検討する。
• 参考スコア（独自算出の注目度）: 13.389881635116472
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used in decision-making contexts, but when they present answers without signaling low confidence, users may unknowingly act on erroneous outputs. While prior work shows that LLMs maintain internal uncertainty signals, their explicit verbalized confidence is typically miscalibrated and poorly discriminates between correct and incorrect answers. Across two types of LLMs, we investigate whether supervised finetuning can improve models' ability to communicate uncertainty and whether such improvements generalize across tasks and domains. We finetune the LLMs on datasets spanning general knowledge, mathematics, and open-ended trivia, and evaluate two metacognitive tasks: (1) single-question confidence estimation, where the model assigns a numeric certainty to its answer, and (2) pairwise confidence comparison, where the model selects which of two answers it is more likely to have correct. We assess generalization to unseen domains, including medical and legal reasoning. Results show that finetuning improves calibration (alignment between stated confidence and accuracy) and discrimination (higher confidence for correct vs. incorrect responses) within and across domains, while leaving accuracy unchanged. However, improvements are task-specific: training on single-question calibration does not transfer to pairwise comparison, and vice versa. In contrast, multitask finetuning on both forms of metacognition yields broader gains, producing lower calibration error and stronger discrimination in out-of-domain evaluations. These results show that while uncertainty communication in LLMs is trainable and generalizable, different metacognitive skills do not naturally reinforce one another and must be developed together through multitask training.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、意思決定の文脈で使われることが多いが、低信頼のシグナルを示さずに回答を提示すると、ユーザは誤出力に無意識に作用する可能性がある。 以前の研究は、LLMが内部の不確実性信号を維持することを示しているが、その明示的な言語化された自信は、典型的には誤解され、正しい答えと間違った答えとを区別しにくい。 2種類のLCMにおいて,教師付き微調整が不確実性を伝達するモデルの能力を向上させるか,タスクやドメインをまたいで一般化するかを検討する。 一般知識,数学,オープントリビアにまたがるデータセットに基づいてLLMを微調整し,(1)単一質問の信頼度推定,(2)数値の確実性をその答えに割り当てる,(2)モデルがどの回答を正しいかを選択する,という2つのメタ認知的タスクを評価する。 我々は、医学的、法的推論を含む、目に見えない領域への一般化を評価する。 その結果、微調整は、精度を保ちながら、領域内および領域内におけるキャリブレーション(記述された信頼度と精度の調整)と識別(正誤応答に対する高い信頼度)を改善することが示された。 しかし、改善はタスク固有のものであり、シングルクエクションキャリブレーションのトレーニングはペア比較に移行しない。 対照的に、メタ認知の両形態におけるマルチタスクの微調整は、より広い利得をもたらし、低い校正誤差とドメイン外評価におけるより強い差別を生み出す。 これらの結果から,LSMにおける不確実性コミュニケーションは訓練可能であり,一般化可能であるが,メタ認知能力の相違は自然に強化されるものではなく,マルチタスクトレーニングを通じて共同で開発されなければならないことが示唆された。

関連論文リスト

• ConfTuner: Training Large Language Models to Express Their Confidence Verbally [58.63318088243125]
  大規模言語モデル(LLM)は、科学、法律、医療といった高度な領域にますます展開されている。 LLMは、しばしば「過信」(overconfidence)として知られる、高い信頼で誤った答えを生成するために観察される。
  論文  参考訳（メタデータ） (2025-08-26T09:25:32Z)
• Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty [59.97939500426759]
  本稿ではRLCRについて述べる。RLCRは精度と信頼性を共同で向上する推論モデルを訓練する手法である。 多様なデータセット間で、RLCRは精度を損なうことなくキャリブレーションを大幅に改善することを示す。 また,言語的信頼度をテスト時に活用し,精度とキャリブレーションを向上させることも実証した。
  論文  参考訳（メタデータ） (2025-07-22T17:56:01Z)
• Object-Level Verbalized Confidence Calibration in Vision-Language Models via Semantic Perturbation [26.580361841501514]
  視覚言語モデル(VLM)は様々なマルチモーダルタスクに優れるが、しばしばキャリブレーションに苦しむ。 この誤判定は、特にモデルが不正確または製造された情報を確実に提供した場合、ユーザーの信頼を損なう。 本稿では,文節摂動(CSP)フレームワークを新たに提案し,オブジェクト中心クエリの言語的信頼度を校正する手法を提案する。
  論文  参考訳（メタデータ） (2025-04-21T04:01:22Z)
• Uncertainty Distillation: Teaching Language Models to Express Semantic Confidence [16.311538811237536]
  大規模言語モデル (LLM) は、事実質問に対する回答にますます使われている。 これらの不確実性の言葉化表現が意味を持つためには、表現された信頼度レベルでエラー率を反映すべきである。 そこで本研究では,LLMにセマンティック信頼度を校正する簡単な方法である不確かさ蒸留法を提案する。
  論文  参考訳（メタデータ） (2025-03-18T21:29:29Z)
• Fact-Level Confidence Calibration and Self-Correction [64.40105513819272]
  本稿では,事実レベルでの信頼度と妥当性の重み付けを校正するFact-Levelフレームワークを提案する。 また,信頼度の高い自己補正(textbfConFix$)も開発した。
  論文  参考訳（メタデータ） (2024-11-20T14:15:18Z)
• LACIE: Listener-Aware Finetuning for Confidence Calibration in Large Language Models [69.68379406317682]
  暗黙的および明示的な信頼マーカーを校正するリスナー対応微調整法 (LACIE) を提案する。 我々は,LACIEがリスナーをモデル化し,回答が正しいかどうかだけでなく,リスナーに受け入れられるかどうかを考察する。 LACIEによるトレーニングの結果、正しい回答の受け入れレベルを維持しながら、誤った回答が受け入れられる割合が47%減少することがわかった。
  論文  参考訳（メタデータ） (2024-05-31T17:16:38Z)
• What Large Language Models Know and What People Think They Know [13.939511057660013]
  大規模言語モデル(LLM)は意思決定プロセスに統合されつつある。 人間の信頼を得るためには、LSMは正確に評価し、正しい予測の可能性を伝達できるように、適切に校正されなければならない。 ここでは, LLM生成回答における人間の信頼度とモデルの実際の信頼度との差を示すキャリブレーションギャップと, 人間とモデルが正解と誤解をいかによく区別できるかを反映した識別ギャップについて検討する。
  論文  参考訳（メタデータ） (2024-01-24T22:21:04Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。