論文の概要: From Self-Confidence to Statistical Accuracy: Scaling Human-in-the-Loop Evaluation with Direct and LLM-Assisted Auditing

• arxiv url: http://arxiv.org/abs/2610.35698v1
• Date: Mon, 26 Oct 2026 16:25:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.106193
• Title: From Self-Confidence to Statistical Accuracy: Scaling Human-in-the-Loop Evaluation with Direct and LLM-Assisted Auditing
• Title（参考訳）: 自己信頼から統計的正確性へ:直接的およびLCM支援監査による対人評価のスケーリング
• Abstract要約: 本稿では,代替サンプリング手法に基づく評価経路の統一的統計的枠組みを開発する。 これは、不均一な信頼層が監査効率とラベル割り当てにどのように影響するかを示す。 MMLU-ProとMMMU-Proの実験は、誤解された自己自信は依然として統計的に有効な成層監査を支持できることを示している。
• 参考スコア（独自算出の注目度）: 37.912572612948765
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For large language models (LLMs) and multimodal large language models (MLLMs), model-reported self-confidence is often miscalibrated, yet it may still be useful for efficient evaluation. At the same time, LLM-as-a-judge offers a scalable alternative to direct human auditing, but its practical benefit depends on calibration quality and inference cost. This paper develops a unified statistical framework for both evaluation routes under alternative sampling strategies. For direct auditing, confidence-stratified sampling is used to recover population accuracy from partially verified outputs without requiring calibrated confidence. Finite-sample uncertainty is characterized, and the analysis shows how highly uneven confidence strata affect audit efficiency and label allocation. For judge-assisted evaluation, the judge is modeled through sensitivity and false-positive rate, yielding an error-corrected estimator with calibration uncertainty. The two routes are then compared through human-label and total-cost efficiency boundaries. Experiments on MMLU-Pro and MMMU-Pro show that miscalibrated self-confidence can still support statistically valid stratified auditing. Under highly imbalanced confidence distributions, proportional allocation substantially reduces estimation error relative to equal-per-stratum allocation. For judge-assisted evaluation, only a small subset of target--verifier pairs satisfies the idealized human-label efficiency condition, and automated inference costs can further limit potential savings. These findings clarify the statistical and economic conditions under which confidence-guided auditing and automated verification are useful.
• Abstract（参考訳）: 大規模言語モデル (LLMs) やマルチモーダル・大規模言語モデル (MLLMs) では、モデル報告された自己自信はしばしば誤解されるが、効率的な評価には有用である。 同時に、LSM-as-a-judgeは人間の直接監査に代わるスケーラブルな代替手段を提供するが、実際の利点は校正品質と推論コストに依存する。 本稿では, 代替サンプリング戦略の下で, 両評価経路の統一的な統計的枠組みを開発する。 直接監査では、信頼性ストラテライズされたサンプリングを使用して、部分的に検証された出力から、校正された信頼を必要とせず、人口の精度を回復する。 有限サンプルの不確かさが特徴であり、その分析により、不均一な信頼層が監査効率とラベル割り当てにどの程度影響するかが示されている。 判断支援評価は、感度と偽陽性率によってモデル化され、校正の不確実性のある誤差補正推定器が得られる。 2つのルートは、人間ラベルと総コスト効率の境界によって比較される。 MMLU-ProとMMMU-Proの実験は、誤解された自己自信は依然として統計的に有効な成層監査を支持できることを示している。 高い不均衡な信頼分布の下では、比例割当は、等間隔割当に対する推定誤差を著しく低減する。 判定支援評価では, 検証対象のペアのごく一部だけが理想化されたヒトラベル効率条件を満たしており, 自動推論コストは, 潜在的な貯蓄をさらに制限することができる。 これらの結果から,信頼度誘導型監査と自動検証が有用である統計的,経済的な状況が明らかとなった。

関連論文リスト

• Can We Trust LLM Judges: A Study of Capability-Dependent Biases and Multi-Judge Ensemble for Bias Calibration [0.5294698352039444]
  より現実的なユースケースを反映した絶対スコアリングタスクについて検討する。 モデルのタスク精度は、その判断精度を強く予測することを示す。 より有能な試験モデルは、すべての裁判官からより寛大な判断を受ける。
  論文  参考訳（メタデータ） (2026-09-10T00:25:39Z)
• Discovery of Hidden Miscalibration Regimes [52.452902154360565]
  モデルは何らかの入力を体系的に過信し、他人を過信することがある。 対応する誤校正分野を定義し,それを推定するための診断フレームワークを提案する。 提案手法は,入力空間のキャリブレーションを意識した表現を学習し,学習幾何学におけるカーネルの平滑化による符号付き局所的誤校正を推定する。
  論文  参考訳（メタデータ） (2026-05-13T13:07:50Z)
• Process Supervision of Confidence Margin for Calibrated LLM Reasoning [52.373121066425455]
  強化学習(RL)によるテスト時間計算のスケーリングは,大規模言語モデル(LLM)推論能力を向上させるための信頼性の高い経路として登場した。 しかし、結果に基づく報酬は、しばしばモデルに過信感を与え、幻覚、信頼できない信頼ベースの制御、不要な計算割り当てをもたらす。 本稿では,信頼性と信頼性を両立させるキャリブレーションを意識したRLフレームワークであるReinforcement Learning with Confidence Margin(textbfRLCM)を紹介する。
  論文  参考訳（メタデータ） (2026-04-25T14:40:13Z)
• BAS: A Decision-Theoretic Approach to Evaluating Large Language Model Confidence [22.382291859991472]
  本稿では,大言語モデルが抑止力を考慮した意思決定を支援するかを評価するための決定論的指標である行動アライメントスコア(BAS)を紹介する。 BASは、明示的な回答または持続可能なユーティリティモデルから派生し、リスク閾値の連続体にわたって実現されたユーティリティを集約する。 理論的には、真理信頼度推定は期待されるBASユーティリティを一意に最大化し、キャリブレーションと決定-最適行動のリンクを示す。
  論文  参考訳（メタデータ） (2026-04-03T17:44:32Z)
• On Calibration of Large Language Models: From Response To Capability [66.59139960234326]
  大規模言語モデル(LLM)は汎用的な問題解決手段として広くデプロイされている。 本稿では,クエリ上でモデルが期待する精度を目標とするキャリブレーションを提案する。 我々の結果は、キャパシティ校正された信頼度がpass@$k$予測と推論予算割り当てを改善することを示している。
  論文  参考訳（メタデータ） (2026-02-14T01:07:45Z)
• Noisy but Valid: Robust Statistical Evaluation of LLMs with Imperfect Judges [14.256638949961063]
  これに対応するために、"ノイズだが妥当"な仮説テストフレームワークを導入します。 本フレームワークは,キャリブレーションの不確実性にもかかわらず,有限サンプル型Iエラー制御(正当性)を理論的に保証する。
  論文  参考訳（メタデータ） (2026-01-28T18:05:06Z)
• Calibration Is Not Enough: Evaluating Confidence Estimation Under Language Variations [49.84786015324238]
  信頼度推定(CE)は、大きな言語モデル(LLM)の回答がどれほど信頼性が高いかを示し、ユーザの信頼と意思決定に影響を与える可能性がある。 本稿では,CEの信頼性を3つの新しい側面で評価する総合評価フレームワークを提案する。 これには、急激な摂動に対する自信の堅牢性、意味論的に等価な答えに対する安定性、意味論的に異なる答えに対する感受性が含まれる。
  論文  参考訳（メタデータ） (2026-01-12T23:16:50Z)
• Calibrating LLM Judges: Linear Probes for Fast and Reliable Uncertainty Estimation [25.80946316489521]
  本稿では,Brierスコアに基づく損失をトレーニングした線形プローブを導入し,審査員の隠蔽状態から不確実性を校正した推定値を提供する。 我々は,目的的タスク(推論,数学,事実性,コーディング)と主観的人間の選好判断の両方に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2025-12-23T22:08:46Z)
• MCQA-Eval: Efficient Confidence Evaluation in NLG with Gold-Standard Correctness Labels [16.300463494913593]
  大規模言語モデル (LLM) には堅牢な信頼度推定が必要である。 McQCA-Evalは、自然言語生成における信頼度を評価するための評価フレームワークである。
  論文  参考訳（メタデータ） (2025-02-20T05:09:29Z)
• Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback [91.22679548111127]
  信頼できる現実世界の予測システムは、よく校正された信頼スコアを生成するべきである。 出力トークンとして出力される言語的信頼度は、通常、モデルの条件付き確率よりも良く校正されていることを示す。
  論文  参考訳（メタデータ） (2023-05-24T10:12:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。