論文の概要: The Score Granularity Gap in Black-Box LLM Classification: A Comparative Study of Confidence Constructions

• arxiv url: http://arxiv.org/abs/2606.22179v1
• Date: Sat, 20 Jun 2026 18:20:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 22:16:48.980367
• Title: The Score Granularity Gap in Black-Box LLM Classification: A Comparative Study of Confidence Constructions
• Title（参考訳）: ブラックボックスLCM分類におけるスコア粒度ギャップ:信頼構造の比較研究
• Authors: Ao Sun, Tian Sun, Jiaxing Geng,
• Abstract要約: 単発の言語化された信頼度は驚くほど高いが、いくつかの異なる価値しか持たないことを示す。 どの構造がこのギャップを広げるか、どの推論コスト、ランキングにどのような影響があるかを示す。 これらのトレードオフを具体的なデプロイメントガイダンスに変換します。
• 参考スコア（独自算出の注目度）: 2.5613469613039075
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly deployed as black-box classifiers in pipelines that automate confident decisions and route uncertain ones to human review. Such selective prediction needs a confidence score that an operator can threshold at a chosen risk level. Prior work asks whether LLM confidence is well calibrated or well ranked; we ask a complementary, deployment-oriented question that has been largely overlooked: at what resolution can the score be thresholded? We call the answer the score granularity gap. Through a controlled comparison of seven ways to build a confidence score, from a single verbalized number, to token probabilities, to querying the model many times and combining the answers, across 25 model-dataset pairs (9 LLMs, 3 benchmarks), we find that single-shot verbalized confidence, once correctly converted to a class probability, ranks cases surprisingly well, yet takes only a handful of distinct values. It therefore offers an operator only a few coarse thresholds, no matter how well it ranks. We show which constructions widen this gap, at what inference cost, and with what effect on ranking, notably that multi-query aggregation helps weak models but can degrade already-strong ones. We translate these trade-offs into concrete deployment guidance.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、自信のある決定を自動化し、不確実なものを人間のレビューにルーティングするパイプラインのブラックボックス分類器として、ますます多くデプロイされている。 このような選択的な予測には、オペレータが選択したリスクレベルで閾値を設定できる信頼スコアが必要である。 これまでの作業では,LCMの信頼性が十分に評価されているのか,あるいは十分にランク付けされているのか,という質問があった。 私たちはその答えをスコアの粒度ギャップと呼んでいる。 単一言語化数からトークン確率に至るまで,信頼度スコアを構築するためのコントロールされた7つの方法の比較から,モデルを何度もクエリして,25のモデルデータセットペア (9 LLM, 3 ベンチマーク) で組み合わせることで,単一ショットの言語化信頼度がクラス確率に正しく変換された場合,ケースを驚くほどランク付けするが,わずかに異なる値しか得られないことが分かった。 したがって、オペレーターは、それがどれだけうまくランクされているかに関わらず、わずかに粗いしきい値しか提供しない。 どの構造がこのギャップを広げるか、どの推論コストで、そしてランキングにどのような影響があるかを示す。 これらのトレードオフを具体的なデプロイメントガイダンスに変換します。

関連論文リスト

• Confidence Before Answering: A Paradigm Shift for Efficient LLM Uncertainty Estimation [47.91529693614168]
  既存の方法は、主に回答ファーストであり、回答を生成した後のみ信頼を生み出す。 モデルが答える前に信頼を出力する信頼第一パラダイムについて検討し、このスコアを正解する確率として解釈する。 我々は,信頼度校正と正解精度をセグメント化された信用代入を通じて協調的に最適化する強化学習フレームワークであるCoCAを提案する。
  論文  参考訳（メタデータ） (2026-03-06T04:03:13Z)
• Mind the Gap: A Closer Look at Tokenization for Multiple-Choice Question Answering with LLMs [16.357595595062946]
  植民地の後に空間をトークン化する方法には合意がないが、しばしば自明な選択として見過ごされる。 驚いたことに、私たちは1つの特定の戦略 -- 回答のレターとともにスペースをトークン化する -- を推奨できます。 本研究は、注意深い評価設計の重要性を強調し、標準化された透明な評価プロトコルの必要性を強調した。
  論文  参考訳（メタデータ） (2025-09-18T14:47:58Z)
• On Verbalized Confidence Scores for LLMs [25.160810008907397]
  大規模言語モデル(LLM)の不確実性定量化は、その応答に対するより人間的な信頼を確立することができる。 この研究は、出力トークンの一部として信頼度スコアで不確実性を言語化するようLLM自身に求めることに重点を置いている。 我々は、異なるデータセット、モデル、およびプロンプトメソッドに関して、言語化された信頼度スコアの信頼性を評価する。
  論文  参考訳（メタデータ） (2024-12-19T11:10:36Z)
• Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
  大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。 本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。 攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
  論文  参考訳（メタデータ） (2024-07-15T23:41:11Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• Estimating Confidence of Predictions of Individual Classifiers and Their Ensembles for the Genre Classification Task [0.0]
  Genre IDは、非トピックテキスト分類のサブクラスである。 BERTやXLM-RoBERTaのような事前訓練されたトランスフォーマーに基づく神経モデルは、多くのNLPタスクにおいてSOTA結果を示す。
  論文  参考訳（メタデータ） (2022-06-15T09:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。