論文の概要: When Calibration Rankings Reverse: Accuracy-Controlled Evaluation for Fair Comparison of LLMs

• arxiv url: http://arxiv.org/abs/2606.30814v1
• Date: Mon, 29 Jun 2026 18:37:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:18.971395
• Title: When Calibration Rankings Reverse: Accuracy-Controlled Evaluation for Fair Comparison of LLMs
• Title（参考訳）: 校正ランクが逆のとき:LLMの公正比較のための精度制御による評価
• Abstract要約: モデル精度の相違により比較が成り立つことを示す。 より公平なクロスモデル比較のために,精度制御評価フレームワークであるACEを提案する。
• 参考スコア（独自算出の注目度）: 44.00626308821981
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Calibration evaluates whether a model confidence aligns with its empirical accuracy. Existing studies often compare the calibration of different large language models using global calibration metrics such as Expected Calibration Error and Brier Score. We begin by showing, both theoretically and empirically, that such comparisons are confounded by differences in model accuracy. For fairer cross-model comparison, we then propose ACE, an accuracy-controlled evaluation framework with three complementary views: Instance-Aligned, Distribution-Aligned, and Candidate-Aligned calibration. Across multiple benchmarks, model families, and confidence elicitation methods, we use ACE to study two practically important comparison axes, small versus large models and thinking versus non-thinking models. We find that many previously reported calibration advantages under raw global metrics weaken substantially after accuracy control. We also find that ranking reversal is frequent: models favored by raw metrics often cease to be favored once accuracy is controlled. Our results show that raw global calibration metrics are not robust for cross-model comparison, and that fair calibration comparison requires accuracy-aware evaluation.
• Abstract（参考訳）: キャリブレーションは、モデルの信頼度がその経験的精度と一致するかどうかを評価する。 既存の研究では、期待キャリブレーション誤差やブライアスコアといったグローバルキャリブレーション指標を用いて、異なる大言語モデルのキャリブレーションを比較する場合が多い。 まず、理論的にも経験的にも、そのような比較がモデル精度の違いによって構成されていることを示す。 より公平なクロスモデル比較のために、我々はACEを提案する。ACEは、3つの相補的なビューを持つ精度制御された評価フレームワークである。 複数のベンチマーク、モデルファミリ、信頼性評価手法を通じて、ACEを用いて2つの重要な比較軸、小さなモデルと大きなモデル、思考と非思考モデルについて検討する。 実測値に基づくキャリブレーションの利点は, 精度制御後に著しく低下することがわかった。 生のメトリクスに好まれるモデルは、精度が制御されると、しばしば好まれなくなる。 これらの結果から,グローバルキャリブレーションの指標はモデル間比較では堅牢ではなく,公平なキャリブレーション比較には精度と評価が必要であることが示唆された。

関連論文リスト

• CalArena: A Large-Scale Post-Hoc Calibration Benchmark [48.0798861811642]
  ポストホックキャリブレーションのための大規模で標準化されたベンチマークを導入する。 私たちのベンチマークでは、さまざまな古典モデル、現代的なディープラーニングアーキテクチャ、基礎モデルからの予測を集約しています。 適切なスコアリングルールにおけるポストホック改善(PHI)は、従来のキャリブレーション誤差推定器に代わる原則的な代替手段であると主張する。
  論文  参考訳（メタデータ） (2026-05-28T16:31:36Z)
• All Models Are Miscalibrated, But Some Less So: Comparing Calibration with Conditional Mean Operators [12.103487148356747]
  条件平均演算子間の差のヒルベルト・シュミットノルムに基づくカーネル校正誤差を提案する。 実験の結果,CKCEはキャリブレーション誤差によるモデルの一貫性の高いランキングを提供し,分散シフトに対してより堅牢であることがわかった。
  論文  参考訳（メタデータ） (2025-02-17T05:52:09Z)
• Reassessing How to Compare and Improve the Calibration of Machine Learning Models [7.183341902583164]
  結果の予測確率がモデル予測に基づいてその結果の観測周波数と一致した場合、機械学習モデルを校正する。 キャリブレーションと予測の指標が追加の一般化の指標を伴わない限り、最先端のように見えるような簡単な再校正手法が存在することを示す。
  論文  参考訳（メタデータ） (2024-06-06T13:33:45Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• From Uncertainty to Precision: Enhancing Binary Classifier Performance through Calibration [0.3495246564946556]
  モデル予測スコアはイベント確率として一般的に見なされるので、キャリブレーションは正確な解釈に不可欠である。 歪み評価のための様々なキャリブレーション尺度の感度を解析し,改良された指標であるローカルスコアを導入する。 これらの知見をランダムフォレスト分類器と回帰器を用いて実世界のシナリオに適用し、キャリブレーションを同時に測定しながら信用デフォルトを予測する。
  論文  参考訳（メタデータ） (2024-02-12T16:55:19Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• Better Uncertainty Calibration via Proper Scores for Classification and Beyond [15.981380319863527]
  各校正誤差を適切なスコアに関連付ける適切な校正誤差の枠組みを導入する。 この関係は、モデルのキャリブレーションの改善を確実に定量化するために利用することができる。
  論文  参考訳（メタデータ） (2022-03-15T12:46:08Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)
• Mitigating Bias in Calibration Error Estimation [28.46667300490605]
  本研究では,ECE_binが真の校正誤差を体系的に過小評価または過大評価できることを示すシミュレーションフレームワークを提案する。 ECE_sweep は、ビンの数をできるだけ多く選択する簡単な代替校正誤差メトリックを提案します。
  論文  参考訳（メタデータ） (2020-12-15T23:28:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。