論文の概要: Evaluation Pitfalls and Sparsity Limitations in LLM-based Confidence Estimates for Classification
- arxiv url: http://arxiv.org/abs/2608.04899v1
- Date: Wed, 05 Aug 2026 14:24:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-06 14:48:43.959671
- Title: Evaluation Pitfalls and Sparsity Limitations in LLM-based Confidence Estimates for Classification
- Title（参考訳）: 分類のためのLCMに基づく信頼度推定におけるピットフォールとスパーシリティ限界の評価
- Authors: Elena Merdjanovska, Omar Zaidan, Andreas Rücklé,
- Abstract要約: 動詞化のような一般的なアプローチは、非常にスパースな出力を生み出す。
Qwen3-32B は SST-2 上では8つのユニークな信頼値しか言語化せず、半分以上は正確に95%である。
余分な推論コストを伴わずに,空白度と最良なAUARC(+2.3点)に対処する。
- 参考スコア（独自算出の注目度）: 1.5977080543655726
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Confidence estimation is essential when LLMs are used for classification, indicating when predictions can be trusted. However, common approaches such as verbalization produce extremely sparse outputs. For instance, Qwen3-32B verbalizes only eight unique confidence values on SST-2, with over half being exactly 95%, a pattern we observe consistently across four datasets and two LLMs. Besides limiting practical utility, we show that this sparsity critically affects evaluation: the choice of interpolation in area under the accuracy-rejection curve (AUARC) dramatically alters rankings, with consistency sampling dropping from best to worst under stepwise versus linear interpolation. We advocate for standardizing stepwise interpolation for a fairer comparison. Under such a fair evaluation, we find that weighting verbalized digits by token probabilities, a method we term verbalization logprobs, addresses sparsity and achieves the best AUARC (+2.3 points over vanilla verbalization) without incurring additional inference cost.
- Abstract（参考訳）: LLMを分類するために使用する場合、信頼度推定は必須であり、いつ予測が信頼されるかを示す。
しかし、動詞化のような一般的なアプローチは、非常にまばらな出力を生み出す。
例えば、Qwen3-32Bは、SST-2上の8つのユニークな信頼値のみを言語化しており、半分以上が正確に95%以上であり、4つのデータセットと2つのLLMで一貫して観察されるパターンである。
精度回帰曲線 (AUARC) の下での領域の補間の選択は格付けを劇的に変更し, 整合性サンプリングは次々に, 線形補間では最良から最悪に低下する。
我々は、より公平な比較のために段階的に補間を標準化することを提唱する。
このような公正な評価のもと、トークン確率による動詞化桁の重み付けは、代用推論コストを伴わずに、動詞化ログプロブを表現し、スパシティに対処し、最高のAUARC(+2.3ポイント)を達成する方法であることがわかった。
関連論文リスト
- CauTion: Knowing When to Trust LLMs for Ensemble Causal Discovery [51.07538881798502]
大規模言語モデル(LLM)は、統計的推論を補完する将来的なドメイン知識の源を提供する。
我々は、LLMドメイン知識を統計的因果探索アルゴリズムのアンサンブルに確実に統合するフレームワークであるCauTionを提案する。
CauTionは、データ中心とLLM拡張ベースラインの両方を一貫して上回る。
論文 参考訳（メタデータ） (2026-06-02T13:07:43Z) - Evaluating LLMs When They Do Not Know the Answer: Statistical Evaluation of Mathematical Reasoning via Comparative Signals [18.612081365101464]
我々は,標準ラベル付き結果と,モデルが補助的推論連鎖を判断することで得られるペアワイズ比較信号とを組み合わせたフレームワークを開発する。
シミュレーション全体では, モデル出力ノイズの増加に伴い, 評価精度が大幅に向上し, ゲインが増大する。
GPQA Diamond、AIME 2025、GSM8Kの実験では、より正確な性能推定とより信頼性の高いモデルランキングが示されている。
論文 参考訳（メタデータ） (2026-02-03T03:40:01Z) - CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。
ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
論文 参考訳（メタデータ） (2025-10-02T02:14:33Z) - Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。
次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。
ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
論文 参考訳（メタデータ） (2025-09-29T12:15:52Z) - TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。
スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。
我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
論文 参考訳（メタデータ） (2025-09-25T13:04:29Z) - The Comparative Trap: Pairwise Comparisons Amplifies Biased Preferences of LLM Evaluators [31.520403357740317]
大規模言語モデル (LLM) は、自然言語生成タスクの評価器としてますます使われている。
LLMは、冗長性や権威的なトーンを好むなど、バイアスのある好みを示す。
ペアワイズフレームワークにポイントワイズ推論を統合するPRePairを導入する。
論文 参考訳（メタデータ） (2024-06-18T06:43:04Z) - TeLeS: Temporal Lexeme Similarity Score to Estimate Confidence in
End-to-End ASR [1.8477401359673709]
クラス確率に基づく信頼スコアは、自信過剰なASR予測の品質を正確に表すものではない。
信頼度推定モデル(CEM)を訓練するためのTeLeS(Temporal-Lexeme similarity)の信頼性スコアを提案する。
我々は、ヒンディー語、タミル語、カナダ語という3つの言語で訓練されたASRモデルを用いて、様々なトレーニングデータサイズで実験を行う。
論文 参考訳（メタデータ） (2024-01-06T16:29:13Z) - Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。
ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。
本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
論文 参考訳（メタデータ） (2021-05-11T03:38:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。