論文の概要: Quantifying Faithful Confidence Expression in Large Reasoning Models

• arxiv url: http://arxiv.org/abs/2606.03969v1
• Date: Tue, 02 Jun 2026 17:53:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.236045
• Title: Quantifying Faithful Confidence Expression in Large Reasoning Models
• Title（参考訳）: 大規模推論モデルにおける忠実信頼表現の定量化
• Authors: Areeb Gani, Asal Meskin, Gabrielle Kaili-May Liu, Arman Cohan,
• Abstract要約: 大規模推論モデルの忠実な校正を定量化する新しい枠組みを提案する。 本フレームワークは,内的不確実性の3つの要因に対する言語的決定性を解析する。 忠実な信頼表現はLRMにとって重要な課題である。
• 参考スコア（独自算出の注目度）: 40.863410553607984
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reliable uncertainty communication is critical to the trustworthiness of LLMs, yet faithful calibration (FC)--the alignment between models' intrinsic and (linguistically) expressed confidence--is a persistent failure mode. This challenge is key for large reasoning models (LRMs), whose extended reasoning traces are often interpreted by users as evidence of deliberation, competence, and confidence. Despite the importance of FC and wide usage of LRMs, the extent to which LRMs can faithfully express their confidence remains poorly understood. Moreover, the prevailing paradigm to measure FC does not generalize well to the long chain-of-thought outputs generated by LRMs, which tend to lack clear step boundaries, involve inconsistent step structure, and encode complex conditional dependencies throughout the trace--complicating estimation of intrinsic confidence. To address this challenge, we introduce a novel framework to systematically quantify FC of LRMs. Our framework analyzes linguistic decisiveness relative to three sources of internal uncertainty, based on token probabilities, hidden states, and sampled response consistency. We also devise a prefix-conditioned sampling approach to control for conditional and structural variation across traces. Applying our framework to a diverse suite of leading models, datasets, and prompts, we find that faithful confidence expression is a significant challenge for LRMs. Reasoning behaviors do not automatically translate to improved FC, and prompt interventions for non-reasoning models do not improve faithfulness in the reasoning setting. Different confidence estimators further produce divergent assessments of the same traces, revealing fragility in prior evaluation methodologies. Taken together, our work establishes FC as a distinct reliability and alignment target for LRMs, particularly as such systems are increasingly deployed in high-stakes contexts.
• Abstract（参考訳）: 信頼性のある不確実性通信は、LLMの信頼性にとって重要であるが、モデルの本質的および(言語的に)信頼の一致である忠実なキャリブレーション(FC)は、永続的な障害モードである。 この課題は、大きな推論モデル(LRM)の鍵であり、拡張された推論のトレースは、しばしばユーザーが熟考、能力、信頼性の証拠として解釈する。 FCの重要性とLRMの広範囲な使用にもかかわらず、LRMが信頼を忠実に表現できる範囲はいまだに理解されていない。 さらに、FCを測定するための一般的なパラダイムは、明確なステップ境界が欠如し、一貫性のないステップ構造を伴い、トレーサリスティックな信頼度の推定を複雑に複雑な条件依存を符号化するLRMによって生成される長いチェーン・オブ・シンクアウトプットによく当てはまらない。 この課題に対処するために, LRMのFCを体系的に定量化する新しいフレームワークを提案する。 本フレームワークは,トークン確率,隠れ状態,サンプル応答整合性に基づく内部不確実性の3つの要因に対する言語的決定性を解析する。 また, トレース間の条件および構造変化を制御するために, プレフィックス条件付きサンプリング手法を考案した。 フレームワークを主要なモデル、データセット、プロンプトの多様なスイートに適用すると、忠実な信頼表現がLRMにとって重要な課題であることが分かります。 推論の振る舞いは自動的に改善されたFCに変換されず、非推論モデルの介入が推論設定における忠実性を改善することはない。 異なる信頼度推定器は、同じトレースの分岐評価を更に生成し、事前評価手法の脆弱性を明らかにする。 我々の研究は、LRMの信頼性とアライメントの目標としてFCを確立しており、特にそのようなシステムは、ハイテイクな状況においてますます多くデプロイされている。

関連論文リスト

• Can LLMs Use Linguistic Uncertainty Markers to Reliably Reflect Intrinsic Confidence? [50.17126900886782]
  モデルが、安定かつ一般化可能な方法でマーカーと特定の信頼レベルを関連付けるために、独自の言語的信頼フレームワークを適用できるかどうかは不明である。 我々は,与えられたタスク領域において,モデルが特定のてんかんマーカーと関連付ける内在的信頼度として,_marker internal confidence_(MIC)を定式化する。 分析フレームワークを多種多様なモデルやタスクに適用すると、LLMはマーカーの意味のモデル中心の解釈の下でも、忠実に誤解される。
  論文  参考訳（メタデータ） (2026-05-27T17:38:00Z)
• Process Supervision of Confidence Margin for Calibrated LLM Reasoning [52.373121066425455]
  強化学習(RL)によるテスト時間計算のスケーリングは,大規模言語モデル(LLM)推論能力を向上させるための信頼性の高い経路として登場した。 しかし、結果に基づく報酬は、しばしばモデルに過信感を与え、幻覚、信頼できない信頼ベースの制御、不要な計算割り当てをもたらす。 本稿では,信頼性と信頼性を両立させるキャリブレーションを意識したRLフレームワークであるReinforcement Learning with Confidence Margin(textbfRLCM)を紹介する。
  論文  参考訳（メタデータ） (2026-04-25T14:40:13Z)
• FACT-E: Causality-Inspired Evaluation for Trustworthy Chain-of-Thought Reasoning [49.65751420291115]
  CoT(Chain-of-Thought)プロンプトはLSM推論を改善したが、モデルはしばしば不誠実な中間ステップを含むコヒーレントな説明を生成する。 我々は、CoTの品質を評価するための因果性に着想を得たフレームワークであるFACT-Eを提案する。 FACT-Eは推論・軌道選択を改善し、文脈内学習を強くすることを示す。
  論文  参考訳（メタデータ） (2026-04-12T15:35:08Z)
• BAS: A Decision-Theoretic Approach to Evaluating Large Language Model Confidence [22.382291859991472]
  本稿では,大言語モデルが抑止力を考慮した意思決定を支援するかを評価するための決定論的指標である行動アライメントスコア(BAS)を紹介する。 BASは、明示的な回答または持続可能なユーティリティモデルから派生し、リスク閾値の連続体にわたって実現されたユーティリティを集約する。 理論的には、真理信頼度推定は期待されるBASユーティリティを一意に最大化し、キャリブレーションと決定-最適行動のリンクを示す。
  論文  参考訳（メタデータ） (2026-04-03T17:44:32Z)
• Fact-Checking with Large Language Models via Probabilistic Certainty and Consistency [7.806516365113592]
  大規模言語モデル(LLM)は、事実の正確性を必要とするアプリケーションでますます使われている。 事実チェックはこれらのエラーを軽減することができるが、既存の手法は通常、外的証拠を無差別に回収する。 本稿では,確率的確実性と一貫性(PCC)について紹介する。
  論文  参考訳（メタデータ） (2026-01-05T21:57:41Z)
• FaithCoT-Bench: Benchmarking Instance-Level Faithfulness of Chain-of-Thought Reasoning [62.452350134196934]
  FaithCoT-Benchは、インスタンスレベルのCoT不信検出のための統一ベンチマークである。 我々の枠組みは差別的な決定問題として不誠実検出を定式化している。 FaithCoT-Bench は LLM のより解釈可能で信頼性の高い推論に向けた将来の研究の基盤となる。
  論文  参考訳（メタデータ） (2025-10-05T05:16:54Z)
• Calibrating Verbalized Confidence with Self-Generated Distractors [24.56911906044891]
  DINCO(Distractor-Normalized Coherence)を紹介する。 DINCOは、LLMの予測可能性バイアスを推定し、いくつかの自己生成障害に対してモデルに独立して信頼性を持たせることによって説明している。 我々は、自己整合性の一般的なアプローチを、サンプル世代間でのコヒーレンスを活用すること、および非互換なクレーム上での検証におけるコヒーレンスを活用することとして、言語化された信頼を正規化したものである。
  論文  参考訳（メタデータ） (2025-09-29T21:41:22Z)
• Confidence Under the Hood: An Investigation into the Confidence-Probability Alignment in Large Language Models [14.5291643644017]
  信頼性・確率アライメントの概念を紹介します。 モデルの内部と信頼感の一致を調査する。 分析したモデルのうち、OpenAIのGPT-4は信頼性と信頼性のアライメントが最強であった。
  論文  参考訳（メタデータ） (2024-05-25T15:42:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。