論文の概要: The Mirage of Calibrated Confidence: Trajectory-Independence of Verbalized Confidence in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2609.18453v1
• Date: Wed, 16 Sep 2026 10:45:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.760797
• Title: The Mirage of Calibrated Confidence: Trajectory-Independence of Verbalized Confidence in Vision-Language Models
• Title（参考訳）: 校正信頼のミラージュ--視覚・言語モデルにおける言語信頼の軌跡-
• Abstract要約: 校正されたビジョン・ランゲージ・モデル(VLM)は、何度も「待って、再確認すべきです」と自己修正し、間違った答えに到達し、依然として高い信頼を報告します。 VLM とキャリブレーション法では,言語的信頼度がほぼ無関係であることが判明した。 本稿では, トラジェクティブ・グラウンド・スコア(TGS-Grounding Score, TGS-self, TGS-pair, TGS-pairの2つの相補的な形式を提案する。
• 参考スコア（独自算出の注目度）: 6.877967518594033
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A calibrated Vision-Language Model (VLM) can repeatedly self-correct, say "Wait, I should recheck," arrive at the wrong answer, and still report high confidence. We find that this occurs because verbalized confidence is largely trajectory-independent in the VLMs and calibration methods we evaluate. We examine this through three complementary lenses: content variation, token masking, and the model's own hesitation markers. We show that confidence is insufficiently sensitive to what the reasoning trajectory actually contains, and that calibration training can paradoxically worsen this disconnect. Since existing metrics like ECE and AUROC cannot detect this problem, we propose the Trajectory-Grounding Score (TGS) in two complementary forms: TGS-self, which compares confidence with and without access to the model's own trajectory, and TGS-pair, which tests whether the model assigns higher confidence to correct trajectories than to flawed ones along the vision, reasoning, and answer axes. We propose TGS-Bench, a model-agnostic suite spanning 10 benchmarks with controlled good/bad trajectory pairs, and show that conventional calibration rankings diverge from trajectory-grounding rankings, exposing a blind spot in current evaluation practice.
• Abstract（参考訳）: 校正されたビジョン・ランゲージ・モデル(VLM)は、何度も「待って、再確認すべきです」と自己修正し、間違った答えに到達し、依然として高い信頼を報告します。 VLMとキャリブレーション法には,言語的信頼度がほとんど依存していないため,このような現象が生じることが判明した。 コンテント変動,トークンマスキング,およびモデル独自の陰影マーカーの3つの相補レンズを用いてこれを検証した。 信頼性は、理論軌道が実際に含んでいるものに対して十分敏感であり、キャリブレーショントレーニングは、この切断をパラドックス的に悪化させる可能性があることを示す。 ECEやAUROCのような既存の指標ではこの問題を検出できないため、モデル自体の軌跡にアクセスせずに信頼を比較できるTGS-selfと、モデルが正しい軌跡に信頼性を付与するかどうかを検査するTGS-pairという2つの相補的な形式でトラジェクトリ・グラウンド・スコア(TGS)を提案する。 TGS-Benchは、10個のベンチマークに制御された良質/良質な軌道対を持つモデルに依存しないスイートであり、従来のキャリブレーションランキングは軌道グラウンドランキングから分岐し、現在の評価実践において盲点を露呈することを示す。

関連論文リスト

• DirEAG: Dirichlet Evidence Aggregation for Calibrating Verbalized Confidence in Mathematical Reasoning [2.867517731896504]
  ブラックボックスの言語的信頼度は、大きな言語モデルでは校正が難しい。 本稿では,ディリクレ証拠集約法であるDirEAGを提案する。
  論文  参考訳（メタデータ） (2026-08-21T03:48:25Z)
• Cybersecurity Detection Classification with Reasoning-enabled Language Models [50.72675435043546]
  セキュリティオペレーションセンター(SOC)の大きな問題は、警告疲労である。 以前の作業では、大きな言語モデル(LLM)がトリアージラベルを直接出力するように促すか、あるいは微調整するが、検出が真の脅威であるかどうかを判断するよう訓練することはない。 我々は、実際の人間ラベルのWindowsエンドポイント検出に対して、推論可能なトリアージ分類器(CoT)を訓練する。
  論文  参考訳（メタデータ） (2026-07-30T16:22:13Z)
• Does Reasoning Preserve Alignment? On the Trustworthiness of Large Reasoning Models [55.788110316999166]
  教師付き微調整, RL を用いた後訓練, および命令調整ベースラインに対する蒸留による推論モデルの比較を行った。 推論モデルはしばしば推論ベンチマークを改善するが、アライメント回帰を示す。 これらの回帰は、KL発散によって測定された命令調整ベースラインからの挙動ドリフトと一致している。
  論文  参考訳（メタデータ） (2026-06-09T16:14:27Z)
• The Illusion of Certainty: Decoupling Capability and Calibration in On-Policy Distillation [67.26315138466312]
  モデルロールアウトから経験的信頼性を推定するキャリブレーション対応のOPDフレームワークであるCaOPDを提案する。 本研究は, 能力蒸留が信頼性を示唆するものではないこと, 信頼性をポストトレーニングの本質的な目的として扱うべきであることを明らかにする。
  論文  参考訳（メタデータ） (2026-04-18T04:43:40Z)
• Closing the Confidence-Faithfulness Gap in Large Language Models [3.122242683664973]
  大規模言語モデルは、実際の精度から大きく切り離された信頼スコアを言語化する。 本稿では,言語的信頼度に関する機械論的解釈可能性分析について述べる。 本稿では,モデルの内部精度推定値を読み取る2段階適応型ステアリングパイプラインを導入する。
  論文  参考訳（メタデータ） (2026-03-26T05:42:04Z)
• ConfTuner: Training Large Language Models to Express Their Confidence Verbally [58.63318088243125]
  大規模言語モデル(LLM)は、科学、法律、医療といった高度な領域にますます展開されている。 LLMは、しばしば「過信」(overconfidence)として知られる、高い信頼で誤った答えを生成するために観察される。
  論文  参考訳（メタデータ） (2025-08-26T09:25:32Z)
• Verbalized Confidence Triggers Self-Verification: Emergent Behavior Without Explicit Reasoning Supervision [12.287123198288079]
  大規模言語モデル(LLM)の安全な配置には不確実性校正が不可欠である 我々は,スカラー信頼ラベルのみを用いた教師付き微調整が,言語モデルの自己検証行動を引き出すのに十分であることがわかった。 キャリブレーションされた不確実性に基づいて,テスト時間スケーリングによる性能向上を図った簡易な再考手法を提案する。
  論文  参考訳（メタデータ） (2025-06-04T08:56:24Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。