論文の概要: Can LLMs Reliably Evaluate Themselves? A Probabilistic VC Framework

• arxiv url: http://arxiv.org/abs/2611.02253v1
• Date: Sun, 01 Nov 2026 22:17:34 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:08:26.783646
• Title: Can LLMs Reliably Evaluate Themselves? A Probabilistic VC Framework
• Title（参考訳）: LLMはテーマを確実に評価できるか?確率的なVCフレームワーク
• Abstract要約: 本稿では,大規模言語モデルが正しい解と間違った解を区別できるかどうかを検証した理論的かつ実証的な枠組みを提案する。 確率VC(Probabilistic VC, PVC)とC-PVC(C-PVC)という2つのメトリクスを使用します。 期待誤差(ECE)や現実誤差(AE)とは異なり、これらの尺度は自己評価と校正を総合的に評価する。
• 参考スコア（独自算出の注目度）: 4.882315746209125
• License:
• Abstract: As large language models (LLMs) find increasing use in critical applications, evaluating their ability to assess their own outputs has become crucial. We present a theoretical and empirical framework that examines whether LLMs can differentiate between correct and incorrect solutions while maintaining properly calibrated confidence. Building on classical Vapnik-Chervonenkis (VC) theory, we adapt it to probabilistic predictors through two complexity metrics: Probabilistic VC (PVC), which measures a model's ability to confidently classify across problem types, and Calibration-aware PVC (C-PVC), which additionally demands alignment between confidence scores and actual success rates. Unlike Expected Calibration Error (ECE) and Actual Error (AE), these measures give an integrated assessment of self-evaluation expressiveness and calibration, with sample complexity bounds and generalization guarantees comparable to classical VC theory. We test eleven 7-8B models on 360 original mathematical reasoning problems, TruthfulQA, and CommonsenseQA. Each model chooses between two of its own generated solutions and reports its confidence, with ground truth determined by an ensemble of larger models. The results show a systematic inverse relationship: models with greater self-evaluation expressiveness have weaker calibration. s1.1-7B and Qwen2.5-7B-Instruct achieve the highest PVC-VUS scores, while JiuZhang3.0-7B is best calibrated, with the lowest ECE and the smallest PVC-VUS gap. The trade-off persists across architectures, training paradigms, and domains, pointing to a fundamental challenge in developing self-reflective LLMs, and our framework offers practical tools for diagnosing it.
• Abstract（参考訳）: 大規模言語モデル(LLM)が重要なアプリケーションでの利用が増えるにつれて、自分たちのアウトプットを評価する能力の評価が重要になっている。 本研究では, LLMが正しい解と間違った解を区別できるかどうかを, 適切に校正された信頼性を維持しながら検証する理論的, 実証的な枠組みを提案する。 従来のVapnik-Chervonenkis(VC)理論に基づいて、モデルが問題タイプを確実に分類する能力を測定するProbabilistic VC(PVC)と、信頼性スコアと実際の成功率の整合性を要求するCalibration-aware PVC(C-PVC)という2つの複雑性メトリクスを通じて、確率予測に適応する。 期待される校正誤差 (ECE) や実際の校正誤差 (AE) とは異なり、これらの尺度は、古典的なVC理論に匹敵する複雑性境界と一般化保証を持つ自己評価表現と校正の総合的な評価を与える。 360 の数学的推論問題である TruthfulQA と CommonsenseQA で 11 つの 7-8B モデルを検証した。 各モデルは、それぞれの生成した2つの解の中から選択し、その信頼性を報告し、より大きなモデルの集合によって決定される。 その結果, 自己評価表現度が高いモデルの方がキャリブレーションが弱いという, 体系的な逆関係が示された。 s1.1-7BとQwen2.5-7B-InstructはPVC-VUSスコアが最も高く、JuZhang3.0-7BはECEが低く、PVC-VUSギャップが最も小さい。 このトレードオフはアーキテクチャ、トレーニングパラダイム、ドメインにまたがって続き、自己表現型LLMを開発する上での根本的な課題を指摘した上で、当社のフレームワークはそれを診断するための実用的なツールを提供しています。

関連論文リスト

• UtilityBench: Measuring Language Model Utility When Errors Have Different Costs [84.8489208543529]
  本稿では,エラーの結果を明示的に取り入れたユーティリティベースの評価パラダイムを提案する。 UtilityAUC(UtilityAUC)は、モデルの応答順序によって決定される実用曲線の下での面積を測定する指標である。 経験的に、20の最先端モデルを評価すると、より高い精度や高度なアーキテクチャがより高いUtilityAUCに確実に変換されないことがわかった。
  論文  参考訳（メタデータ） (2026-10-19T07:23:43Z)
• Calibration-Aware Uncertainty Cascades for Efficient Heterogeneous Model Collaboration [18.045450334322545]
  不均一なモデルコラボレーションは、予測性能と推論コストのバランスをとるために、異なるモデルの相補的な強みを活用することを目指している。 既存のアプローチでは、ルーティング決定を固定されたタスクとモデルプールに結びつける訓練されたルータや、しきい値が不均一なモデル間で一貫性のあるセマンティクスを欠いている生の自信のカスケードに頼っているのが一般的である。 本稿では,各モデルの信頼性を独立に校正し,検証データを用いてデプロイメントポリシを選択する,シンプルなポストホックフレームワークであるCAUCを提案する。
  論文  参考訳（メタデータ） (2026-09-10T12:14:54Z)
• Latent Confidence Alignment for LLM Self-Assessment [8.73168195475753]
  本稿では,モデル能力と項目難易度を指標として,モデル自己評価と潜在誤り確率との整合性を測定するためのモデルベース潜在能力フレームワークとメタ認知的視点を提案する。 20モデルを用いた医療領域データセットの実験は,提案手法がモデル能力に影響を与えることなく自己評価品質を向上させることを示す。
  論文  参考訳（メタデータ） (2026-06-20T08:13:31Z)
• Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
  マルチモーダル学習は、しばしば低品質データの課題に悩まされる。 コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。 私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-05T14:48:52Z)
• On Calibration of Large Language Models: From Response To Capability [66.59139960234326]
  大規模言語モデル(LLM)は汎用的な問題解決手段として広くデプロイされている。 本稿では,クエリ上でモデルが期待する精度を目標とするキャリブレーションを提案する。 我々の結果は、キャパシティ校正された信頼度がpass@$k$予測と推論予算割り当てを改善することを示している。
  論文  参考訳（メタデータ） (2026-02-14T01:07:45Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Calibrating Long-form Generations from Large Language Models [34.72041258464477]
  大きな言語モデル(LLM)の信頼性スコアは、その応答が正しいという実際の可能性と一致すべきである。 現在の信頼性評価手法とキャリブレーション基準は、応答の正しさを2値の真/偽評価に頼っている。 本稿では,LLMの応答の正しさと関連する信頼度の両方を,様々なスコアの分布として扱う統一校正フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-09T17:00:32Z)
• Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
  本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-03T05:41:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。