論文の概要: When Confidence Signals Disagree: Local and Global Confidence in Autoregressive Language Models
- arxiv url: http://arxiv.org/abs/2609.16933v1
- Date: Tue, 15 Sep 2026 10:08:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.442382
- Title: When Confidence Signals Disagree: Local and Global Confidence in Autoregressive Language Models
- Title（参考訳）: 信頼が解消する時:自己回帰型言語モデルにおける局所的およびグローバル的信頼
- Abstract要約: 自己回帰言語モデルにおいて,異なる信頼度が経験的に交換可能であるかを検討する。
MMLU と ARC Challenge 全体では、2つの信号は弱い相関関係にあり、その正しさと大きく異なる。
より大きい局所-グローバル信頼ギャップは、より高い回答エントロピー、より明確なサンプル回答、低いモーダル・アンサー濃度と関連している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Modern predictive systems expose multiple quantities that are commonly interpreted as measures of confidence. However, these quantities can summarize different aspects of the predictive process. This distinction matters when confidence is used to evaluate reliability or inform downstream oversight and control. We investigate whether different confidence readouts are empirically interchangeable in an autoregressive language model by comparing local confidence, defined from the probability of the greedy-selected answer token, with global confidence, defined from modal-answer frequency under repeated sampling. Across MMLU and ARC Challenge, the two signals are weakly correlated and differ substantially in their association with correctness: global confidence is moderately associated with correctness, whereas local confidence shows little association. We further test whether question-level disagreement between the signals is associated with sampling instability. On ARC, larger local--global confidence gaps are associated with higher answer entropy, more distinct sampled answers, and lower modal-answer concentration. The gap--entropy association persists when disagreement and instability are estimated from disjoint stochastic samples, indicating that it is not explained by shared finite-sample variation. The corresponding relationship is substantially weaker on MMLU, where only 4% of questions exhibit sampling instability. These results show that confidence readouts derived from the same predictive system are not empirically interchangeable and that their disagreement can provide a diagnostic of unstable sampling behavior. Confidence should therefore be treated as an explicitly defined measurement rather than as a single intrinsic scalar property of a model, particularly when it is used to inform downstream evaluation, oversight, or control.
- Abstract（参考訳）: 現代の予測システムは、信頼の尺度として一般的に解釈される複数の量を明らかにする。
しかし、これらの量は予測過程の異なる側面を要約することができる。
この区別は、信頼性を評価したり、下流の監視と制御を知らせるときに重要である。
本研究では, 自己回帰言語モデルにおいて, 応答トークンの確率から定義される局所的信頼度と, 繰り返しサンプリング中のモーダル・アンサー周波数から定義される大域的信頼度とを比較して, 異なる信頼度が経験的交換可能であるかを検討する。
MMLU と ARC Challenge 全体では、この2つの信号は弱い相関関係にあり、その正しさと大きく異なる:グローバルな信頼は正しさと適度に関連しているのに対して、局所的な信頼はほとんど関連がない。
さらに,信号間の問合せレベルの不一致がサンプリング不安定と関係しているかどうかを検証した。
ARCでは、より大きい局所-グローバルな信頼ギャップは、より高い回答エントロピー、より明確なサンプル回答、低いモーダル・アンサー濃度と関連している。
ギャップ-エントロピーアソシエーションは、解離確率的サンプルから不一致と不安定性を推定した場合に持続し、共有有限サンプル変動によって説明されないことを示す。
MMLUでは、対応する関係が著しく弱く、4%の質問がサンプリング不安定を示すのみである。
これらの結果から,同一の予測系から得られた信頼度は経験的交換不可能であり,その不一致が不安定なサンプリング動作の診断に有効であることが示唆された。
したがって、信頼性は、特に下流の評価、監視、制御に使用される場合において、モデルの単一の固有のスカラー特性としてではなく、明示的に定義された測定として扱われるべきである。
関連論文リスト
- DirEAG: Dirichlet Evidence Aggregation for Calibrating Verbalized Confidence in Mathematical Reasoning [2.867517731896504]
ブラックボックスの言語的信頼度は、大きな言語モデルでは校正が難しい。
本稿では,ディリクレ証拠集約法であるDirEAGを提案する。
論文 参考訳（メタデータ） (2026-08-21T03:48:25Z) - Rethinking Modality Reliability in Multimodal Sentiment Analysis with Incomplete Observations [9.993152436695421]
不完全観測設定において、モダリティの信頼性は中心的な変数であり、モデル化に失敗すると2つの問題が発生する。
不完全な観察を伴うマルチモーダル感性分析のためのモダリティ信頼性校正フレームワークを提案する。
MRCFにはReliability-Aware Branchが含まれており、モジュール内の品質基準とモジュール間のセマンティック一貫性からサンプル固有のモダリティの信頼性を推定する。
CMU-MOSI、CMU-MOSEI、CH-SIMSの実験により、MRCFは標準的な不完全観測プロトコルで高い性能を発揮することが示された。
論文 参考訳（メタデータ） (2026-08-04T13:02:48Z) - Conformal Changepoint Localization and Root Cause Analysis with Corrupted Observations [55.76952683833966]
本稿では,データ破損時の信頼性設定サイズを低減するために,重み付きCONCH(W-CONCH)と重み付きCROC(W-CROC)を提案する。
画像ベースおよび実世界の変化点と根本原因ベンチマークの実験は、不確実性ベースの重み付けが信頼性セットのサイズを大幅に減少させることを示している。
論文 参考訳（メタデータ） (2026-07-29T05:16:59Z) - LLMs Show No Signs Of Individuated Metacognition [0.023227405857540805]
20大言語モデルから二項信頼判断を分解する。
信頼性が異なる2つのモデルも性能が異なるかどうかを問う。
いずれの検査領域においても,有意な弁別メタ認知の証拠は見つからない。
論文 参考訳（メタデータ） (2026-05-22T23:54:33Z) - BrowseConf: Confidence-Guided Test-Time Scaling for Web Agents [58.05949210993854]
本研究では,長期にわたる行動の後,言語化された信頼度スコアを用いて,検索エージェントが自身の信頼を伝達できるかどうかを検討する。
本研究では,信頼度スコアを用いて回答の質を判断し,信頼度レベルに達するまで再度試すテスト時間スケーリング(TTS)手法を提案する。
論文 参考訳（メタデータ） (2025-10-27T15:58:51Z) - Can LLMs Detect Their Confabulations? Estimating Reliability in Uncertainty-Aware Language Models [24.72990207218907]
LLM(Large Language Models)は、畳み込み(confabulation)として知られる、流動的だが不正なコンテンツを生成する傾向にある。
本研究では、文脈内情報がモデル行動にどのように影響するか、LLMが信頼できない応答を識別できるかを検討する。
論文 参考訳（メタデータ） (2025-08-11T16:12:36Z) - TrustLoRA: Low-Rank Adaptation for Failure Detection under Out-of-distribution Data [62.22804234013273]
本稿では,共変量および意味的シフトの両条件下での拒絶による分類を統一し,促進する,単純な故障検出フレームワークを提案する。
キーとなる洞察は、障害固有の信頼性知識を低ランクアダプタで分離し、統合することにより、障害検出能力を効果的かつ柔軟に向上できるということです。
論文 参考訳（メタデータ） (2025-04-20T09:20:55Z) - Label-Confidence-Aware Uncertainty Estimation in Natural Language Generation [8.635811152610604]
不確実性定量化(UQ)は、AIシステムの安全性と堅牢性を保証するために不可欠である。
サンプルとラベルソース間の分岐に基づくラベル信頼度(LCA)の不確実性評価を提案する。
論文 参考訳（メタデータ） (2024-12-10T07:35:23Z) - Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
多くの信頼度推定法は誤分類誤りを検出するのに有害である。
本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
論文 参考訳（メタデータ） (2024-03-05T11:44:14Z) - Binary Classification with Confidence Difference [100.08818204756093]
本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。
本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。
また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
論文 参考訳（メタデータ） (2023-10-09T11:44:50Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳（メタデータ） (2022-10-24T17:53:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。