論文の概要: Rethinking Verbalized Confidence for LLM-as-a-Judge: A Compatibility Shift on Post-2025 Proprietary Models

• arxiv url: http://arxiv.org/abs/2609.10996v1
• Date: Thu, 10 Sep 2026 02:17:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.198414
• Title: Rethinking Verbalized Confidence for LLM-as-a-Judge: A Compatibility Shift on Post-2025 Proprietary Models
• Title（参考訳）: LLM-as-a-Judgeにおける言語信頼の再考:2025年以降のプライオリティモデルの適合性
• Abstract要約: ログ確率を優先する標準的なアドバイスは2025年以降のモデルではもはや当てはまらないことを示す。 自信過剰な助言と自己議論という2つの新しい材料を紹介します。 対数プロブに基づくG-Evalと比較すると、言語的信頼度は主観的ロバストな軟信号である。
• 参考スコア（独自算出の注目度）: 0.5273835361034866
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Verbalized confidence, long dismissed as overconfident, coarse, and prone to round-number clustering, is now the more robust soft-scoring mechanism for LLM-as-a-Judge on top-tier proprietary models. Across SummEval, AggreFact, and HelpSteer2, spanning up to 18 LLMs, we show that the standard advice to prefer log-probabilities no longer holds on post-2025 models, where verbalized confidence is the better signal. We call this a compatibility shift. On top of a standard verbalized-confidence baseline, we introduce two new ingredients: an overconfidence advisory and self-debate. Together they improve calibration, score-distribution spread, and robustness to task subjectivity. We further observe a generation effect: post-2025 models accommodate these two additions with little balanced-accuracy cost, whereas pre-2025 models pay a measurable penalty. Compared with logprob-based G-Eval, verbalized confidence is the more subjectivity-robust soft signal on GPT-family top-tier releases. The shift is invisible under accuracy-only reporting. Rather than defaulting to hard predictions, we recommend broader use of soft scoring in LLM-as-a-Judge. More broadly, verbalized confidence has moved from a weaker substitute for logprobs to a practical soft-scoring mechanism for contemporary LLM judges.
• Abstract（参考訳）: LLM-as-a-Judgeがトップクラスのプロプライエタリモデルでより堅牢なソフトスコーリングメカニズムになった。 SummEval、AggreFact、HelpSteer2の18 LLMにまたがって、ログ確率を優先する標準的なアドバイスは、言語化された信頼がより良い信号である2025年以降のモデルではもはや当てはまらないことを示す。 これを互換性シフトと呼びます。 標準言語化信頼ベースラインの上に,自信の過剰な助言と自尊心という2つの新しい要素を導入する。 共同でキャリブレーション、得点分布の拡大、タスク主観性に対する堅牢性を改善する。 2025年以降のモデルでは、これらの2つの追加を、バランスの取れた精度の少ない価格で対応できる一方、2025以前のモデルでは、測定可能なペナルティが支払われる。 対数プロブに基づくG-Evalと比較すると、言語的信頼度はGPTファミリーのトップレベルリリースにおける主観的ロバストなソフトシグナルである。 精度のみの報告では、このシフトは見えない。 LLM-as-a-Judgeにおけるソフトスコアリングの活用を推奨する。 より広範に、言語化された自信は、ログプロブのより弱い代替品から、現代のLLM審査員のための実践的なソフトスコーリングメカニズムへと移行してきた。

関連論文リスト

• Evidence-Gated LLM Priors for Multi-Objective Bayesian Optimization [0.0]
  大規模言語モデル (LLM) はブラックボックス最適化のアドバイザとしてますます使われているが、その提案と自己報告された自信は、必ずしも下流の客観的値に調整されるとは限らない。 離散多目的ベイズ最適化において, LLM 生成した専門家を盲目的に信頼せずに利用する方法について検討した。
  論文  参考訳（メタデータ） (2026-06-01T05:50:16Z)
• Measuring Five-Nines Reliability: Sample-Efficient LLM Evaluation in Saturated Benchmarks [45.86413490112477]
  大規模言語モデル(LLM)は信頼性に敏感なアプリケーションで使用される。 厳密な信頼境界を持つ稀な失敗確率を推定するには、違法に大きなLSM推論サイズが必要である。 そこで本研究では,クロスエントロピー手法を用いて,故障確率入力に集中したサンプリング分布を学習する。
  論文  参考訳（メタデータ） (2026-05-11T20:23:44Z)
• Confidence-Aware Alignment Makes Reasoning LLMs More Reliable [65.44962502963378]
  CASPOは、トークンレベルの信頼度とステップワイドな論理的正しさを、個別の報酬モデルをトレーニングせずに整合させるフレームワークである。 推論中、信頼を意識した思考(CaT)を提案し、不確実な推論枝を無視可能なO(V)レイテンシで動的に生成する。 10のベンチマークと複数のモデルファミリでの実験では、CASPOは推論の信頼性と推論効率を一貫して改善している。
  論文  参考訳（メタデータ） (2026-05-08T07:08:25Z)
• Enhancing Confidence Estimation in Telco LLMs via Twin-Pass CoT-Ensembling [1.8332654441845688]
  大規模言語モデル(LLM)は、複雑な通信タスクにますます適用されている。 LLMが生み出す信頼スコアは、しばしばバイアスを受け、信頼できないものであり、しばしば体系的な過信を示す。 我々は,信頼度推定を改善するための新しいCoT(Twin-Pass Chain of Thought)-Ensembling法を提案する。
  論文  参考訳（メタデータ） (2026-04-14T20:03:08Z)
• Are We on the Right Way to Assessing LLM-as-a-Judge? [16.32248269615178]
  人間のアノテーションを必要とせずにLCM審査員の質を評価する新しい評価スイートであるSageを紹介する。 合理的選択理論の公理に触発されたセージは、LLM-as-a-Judgeを測定するための2つの新しいレンズ(局所的な自己整合性と大域的な論理的整合性)を導入した。 Sage に基づいて,現在最先端の LLM は,スコアリングとペアワイズの両方において,審査員として機能する場合に,重大な信頼性上の問題があることを明らかにした。
  論文  参考訳（メタデータ） (2025-12-17T23:49:55Z)
• BrowseConf: Confidence-Guided Test-Time Scaling for Web Agents [58.05949210993854]
  本研究では,長期にわたる行動の後,言語化された信頼度スコアを用いて,検索エージェントが自身の信頼を伝達できるかどうかを検討する。 本研究では,信頼度スコアを用いて回答の質を判断し,信頼度レベルに達するまで再度試すテスト時間スケーリング(TTS)手法を提案する。
  論文  参考訳（メタデータ） (2025-10-27T15:58:51Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• Can Large Language Models Express Uncertainty Like Human? [71.27418419522884]
  我々は,人間に注釈を付けた信頼スコアを持つヘッジ式の最初の多種多様な大規模データセットをリリースする。 現代大言語モデルにまたがる言語信頼に関する最初の体系的研究を行う。
  論文  参考訳（メタデータ） (2025-09-29T02:34:30Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• ConfTuner: Training Large Language Models to Express Their Confidence Verbally [58.63318088243125]
  大規模言語モデル(LLM)は、科学、法律、医療といった高度な領域にますます展開されている。 LLMは、しばしば「過信」(overconfidence)として知られる、高い信頼で誤った答えを生成するために観察される。
  論文  参考訳（メタデータ） (2025-08-26T09:25:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。