論文の概要: Rethinking Uncertainty Evaluation in Large Language Models

• arxiv url: http://arxiv.org/abs/2607.19367v1
• Date: Thu, 11 Jun 2026 02:27:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.136503
• Title: Rethinking Uncertainty Evaluation in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける不確実性評価の再考
• Authors: Krish Matta, Atharv Naphade, Andy Zou,
• Abstract要約: 現在の信頼度推定はコヒーレントな確率として解釈できないことを示す。 3つの軸に沿った条件(構造的コヒーレンス、忠実性、有用性)を定式化し、それらをC1指標として運用する。 我々のフレームワークは、このギャップを計測し、閉じるためのツールを提供する。
• 参考スコア（独自算出の注目度）: 4.91095182503899
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Calibration is the primary criterion for evaluating LLM confidence, but it is insufficient: it admits trivially incoherent estimators, depends on the evaluation distribution, and does not test the extent to which the estimation can be interpreted as a consistent, underlying probability function. What we actually need is for LLM confidence estimates to satisfy the conditions required of coherent probabilistic beliefs. We formalize these conditions along three axes (structural coherence, faithfulness, and usefulness) and operationalize them as the C1 metrics. Widely used estimators systematically violate these conditions despite appearing well-calibrated: models assign lower confidence to logically easier questions 31\% of the time, and common interventions reducing RMSCE leave structural violations unchanged, suggesting that calibration is orthogonal to probabilistic validity. RLHF and chain-of-thought improve usefulness metrics without restoring coherence. Our results show current LLM confidence estimates cannot be interpreted as coherent probabilities; our framework provides the tools to measure and close this gap.
• Abstract（参考訳）: キャリブレーションはLLMの信頼性を評価するための主要な基準であるが、これは不十分である: 自明な不整合推定器を認め、評価分布に依存し、その推定が一貫した基礎となる確率関数として解釈できる範囲をテストしない。 我々が本当に必要なのは、コヒーレントな確率的信念に必要な条件を満たすために、LCMの信頼度を見積もることです。 これらの条件を3つの軸(構造的コヒーレンス、忠実性、有用性)に沿って形式化し、C1指標として運用する。 モデルは論理的に簡単な質問に低い信頼を割り当て、RMSCEを減らすための一般的な介入は構造的違反をそのまま残し、キャリブレーションは確率的妥当性に直交していることを示唆している。 RLHFとチェーンオブ思考はコヒーレンスを回復することなく有用性指標を改善した。 我々のフレームワークは、このギャップを計測し、閉じるためのツールを提供する。

関連論文リスト

• Position: Uncertainty Quantification in LLMs is Just Unsupervised Clustering [8.56875523245176]
  不確かさの定量化は、大規模言語モデル(LLM)を高い領域に展開するための主要なセーフガードとして広く見なされている。 LLMの主流UQメソッドは、単に教師なしクラスタリングアルゴリズムである。
  論文  参考訳（メタデータ） (2026-05-19T00:47:02Z)
• Discovery of Hidden Miscalibration Regimes [52.452902154360565]
  モデルは何らかの入力を体系的に過信し、他人を過信することがある。 対応する誤校正分野を定義し,それを推定するための診断フレームワークを提案する。 提案手法は,入力空間のキャリブレーションを意識した表現を学習し,学習幾何学におけるカーネルの平滑化による符号付き局所的誤校正を推定する。
  論文  参考訳（メタデータ） (2026-05-13T13:07:50Z)
• Measuring Five-Nines Reliability: Sample-Efficient LLM Evaluation in Saturated Benchmarks [45.86413490112477]
  大規模言語モデル(LLM)は信頼性に敏感なアプリケーションで使用される。 厳密な信頼境界を持つ稀な失敗確率を推定するには、違法に大きなLSM推論サイズが必要である。 そこで本研究では,クロスエントロピー手法を用いて,故障確率入力に集中したサンプリング分布を学習する。
  論文  参考訳（メタデータ） (2026-05-11T20:23:44Z)
• A Semantic-Sampling Framework for Evaluating Calibration in Open-Ended Question Answering [19.55210880950831]
  予測されたモデルの信頼度がその経験的精度と一致しているかを測り、大規模言語モデル(LLM)の信頼性デプロイメントの中心となる。 オープンエンド質問応答(QA)のための校正評価フレームワークSem-ECEを紹介する。 フレームワーク内の2つの推定器について検討する。同じサンプルの自己整合性スコアであるSem$-ECEと、自信評価から回答の選択を分離する保留変数であるSem$-ECEである。
  論文  参考訳（メタデータ） (2026-05-08T19:53:49Z)
• On Calibration of Large Language Models: From Response To Capability [66.59139960234326]
  大規模言語モデル(LLM)は汎用的な問題解決手段として広くデプロイされている。 本稿では,クエリ上でモデルが期待する精度を目標とするキャリブレーションを提案する。 我々の結果は、キャパシティ校正された信頼度がpass@$k$予測と推論予算割り当てを改善することを示している。
  論文  参考訳（メタデータ） (2026-02-14T01:07:45Z)
• Calibration Is Not Enough: Evaluating Confidence Estimation Under Language Variations [49.84786015324238]
  信頼度推定(CE)は、大きな言語モデル(LLM)の回答がどれほど信頼性が高いかを示し、ユーザの信頼と意思決定に影響を与える可能性がある。 本稿では,CEの信頼性を3つの新しい側面で評価する総合評価フレームワークを提案する。 これには、急激な摂動に対する自信の堅牢性、意味論的に等価な答えに対する安定性、意味論的に異なる答えに対する感受性が含まれる。
  論文  参考訳（メタデータ） (2026-01-12T23:16:50Z)
• Fact-Checking with Large Language Models via Probabilistic Certainty and Consistency [7.806516365113592]
  大規模言語モデル(LLM)は、事実の正確性を必要とするアプリケーションでますます使われている。 事実チェックはこれらのエラーを軽減することができるが、既存の手法は通常、外的証拠を無差別に回収する。 本稿では,確率的確実性と一貫性(PCC)について紹介する。
  論文  参考訳（メタデータ） (2026-01-05T21:57:41Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Assessing the Probabilistic Fit of Neural Regressors via Conditional Congruence [2.13382635602206]
  このミスアライメントを測定するための既存のアプローチは、主にキャリブレーションの枠組みの下で開発されている。 本稿では,CCE(Congruence Error)という,学習した予測分布とデータセット内の経験的条件分布との間の距離を,条件付きカーネルの平均埋め込みを用いて推定する手法を提案する。 我々は高次元回帰タスクを行い、CCEが4つの重要な特性を示すことを示す: $textitcorrectness$, $textitmonotonicity$, $textitreliability$, $textitrobustness$。
  論文  参考訳（メタデータ） (2024-05-20T23:30:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。