論文の概要: BaseCal: Unsupervised Confidence Calibration via Base Model Signals

• arxiv url: http://arxiv.org/abs/2601.03042v1
• Date: Tue, 06 Jan 2026 14:22:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-07 17:02:12.970952
• Title: BaseCal: Unsupervised Confidence Calibration via Base Model Signals
• Title（参考訳）: BaseCal: ベースモデル信号による教師なし信頼度校正
• Authors: Hexiang Tan, Wanli Yang, Junwei Zhang, Xin Chen, Rui Tang, Du Su, Jingang Wang, Yuanzhuo Wang, Fei Sun, Xueqi Cheng,
• Abstract要約: ポストトレーニング後のLLM(PoLLM)は、一般的に深刻な過信で信頼を損なう。 対応するLLMはよく校正されたままである。 このことは、ベース LLM をリファレンスとして、PoLLM の信頼性を校正する動機となります。 簡単な解決策であるBaseCal-ReEvalは、PoLLMの応答を評価し、それらをベースLSMに供給し、平均確率を自信として得る。 そこで本研究では,PLLMの最終層が隠された状態をベースにマッピングするために,軽量プロジェクションをトレーニングするBaseCal-Projを提案する。
• 参考スコア（独自算出の注目度）: 65.11567272938616
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reliable confidence is essential for trusting the outputs of LLMs, yet widely deployed post-trained LLMs (PoLLMs) typically compromise this trust with severe overconfidence. In contrast, we observe that their corresponding base LLMs often remain well-calibrated. This naturally motivates us to calibrate PoLLM confidence using the base LLM as a reference. This work proposes two ways to achieve this. A straightforward solution, BaseCal-ReEval, evaluates PoLLM's responses by feeding them into the base LLM to get average probabilities as confidence. While effective, this approach introduces additional inference overhead. To address this, we propose BaseCal-Proj, which trains a lightweight projection to map the final-layer hidden states of PoLLMs back to those of their base LLMs. These projected states are then processed by the base LLM's output layer to derive base-calibrated confidence for PoLLM's responses. Notably, BaseCal is an unsupervised, plug-and-play solution that operates without human labels or LLM modifications. Experiments across five datasets and three LLM families demonstrate the effectiveness of BaseCal, reducing Expected Calibration Error (ECE) by an average of 42.90\% compared to the best unsupervised baselines.
• Abstract（参考訳）: LLMのアウトプットを信頼するには信頼性の高い信頼性が不可欠であるが、広く展開された後LLM(PoLLMs)は、この信頼を深刻な過信で損なうのが一般的である。 対照的に、対応するLLMはよく校正されたままである。 このことは、ベース LLM をリファレンスとして、PoLLM の信頼性を校正する動機となります。 この研究は2つの方法を提案する。 簡単な解決策であるBaseCal-ReEvalは、PoLLMの応答を評価し、それらをベースLSMに供給し、平均確率を自信として得る。 このアプローチは有効だが、追加の推論オーバーヘッドを導入する。 そこで本研究では,PLLMの最終層をベースLLMにマッピングするために,軽量プロジェクションをトレーニングするBaseCal-Projを提案する。 これらの投影された状態は、ベースLCMの出力層によって処理され、PoLLMの応答に対する基底校正された信頼が導かれる。 注目すべきなのは、BaseCalは教師なしのプラグアンドプレイソリューションで、人間のラベルやLLM修正なしに動作することだ。 5つのデータセットと3つのLLMファミリーにわたる実験では、BaseCalの有効性が示され、予測キャリブレーションエラー(ECE)は、最高の教師なしベースラインと比較して平均42.90\%削減された。

関連論文リスト

• LLM4VV: Evaluating Cutting-Edge LLMs for Generation and Evaluation of Directive-Based Parallel Programming Model Compiler Tests [7.6818904666624395]
  本稿では,コンパイラテストの生成にLLMを用いたデュアルLLMシステムと実験について述べる。 LLMは、品質の高いコンパイラテストを生成し、それらを自動的に検証する有望な可能性を持っていることは明らかである。
  論文  参考訳（メタデータ） (2025-07-29T02:34:28Z)
• Self-ensemble: Mitigating Confidence Mis-calibration for Large Language Models [67.62810111789338]
  大規模言語モデルでは,複数問合せ質問に対する信頼度歪みが問題となる。 この問題を解決するために自己組織化を提案する。 3つのLLMおよびデータセットの実験結果から,自己アンサンブルが信頼歪問題に包括的に対処できることが示されている。
  論文  参考訳（メタデータ） (2025-06-02T17:59:29Z)
• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• Latent Space Chain-of-Embedding Enables Output-free LLM Self-Evaluation [45.059818539256426]
  我々は,LLMが出力不要な自己評価を行うことを可能にするために,潜在空間におけるChain-of-Embedding (CoE)を提案する。 CoEは、LLMの潜在的思考経路として扱うことができる、推論時間中に生成される全ての進行的な隠れ状態から構成される。
  論文  参考訳（メタデータ） (2024-10-17T15:09:24Z)
• Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
  大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。 LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。 LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
  論文  参考訳（メタデータ） (2023-10-15T12:40:30Z)
• Quantifying Uncertainty in Answers from any Language Model and Enhancing their Trustworthiness [16.35655151252159]
  本稿では,事前訓練された大規模言語モデルから悪い,投機的な回答を検出するBSDetectorを紹介する。 我々の不確実性定量化技術は,ブラックボックスAPIを通じてのみアクセス可能な LLM に対して有効である。
  論文  参考訳（メタデータ） (2023-08-30T17:53:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。