論文の概要: SupportCal: Label-Free Calibration of Post-Trained LLMs via Reference Support and Corroboration

• arxiv url: http://arxiv.org/abs/2609.24303v1
• Date: Mon, 21 Sep 2026 09:02:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.228544
• Title: SupportCal: Label-Free Calibration of Post-Trained LLMs via Reference Support and Corroboration
• Title（参考訳）: SupportCal:レファレンス・サポートとコロンボレーションによる実験後LLMのラベルフリー校正
• Abstract要約: ポストトレーニングはタスクパフォーマンスを向上するが、信頼性の校正を低下させることがある。 タスク固有のラベル付きキャリブレーションデータは費用がかかるか利用できないため、対応する事前訓練言語モデル(PLM)は、ポストホックキャリブレーションのための自然なラベルなし参照を提供する。 ラベルのないポストホック法であるSupportCalを導入し,合意事例を単位重みで保持し,不一致事例を連続重みで割り当てる。
• 参考スコア（独自算出の注目度）: 53.7810725714783
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-training often improves task performance but can degrade confidence calibration, leaving post-trained language models (PoLMs) more overconfident than their corresponding pretrained language models (PLMs). Because task-specific labeled calibration data can be costly or unavailable, the corresponding pretrained PLM provides a natural label-free reference for post-hoc calibration. Prior agreement-gated PLM-referenced calibration fits a scalar temperature using only examples on which the PoLM and its PLM reference agree, excluding disagreement examples because direct alignment can drive the fitted temperature excessively high and induce under-confidence. We revisit this binary treatment. A controlled reintroduction diagnostic reveals a non-monotonic aggregate effect: admitting a moderate fraction of disagreement examples can improve calibration, whereas the benefit diminishes as unit-weight inclusion approaches the full disagreement set. We introduce SupportCal, a label-free post-hoc method that retains agreement examples at unit weight and assigns disagreement examples continuous weights based on the own-base PLM's relative support and corroboration from pretrained references selected from a size-compatible candidate pool. We further characterize when the resulting weighted objective admits a finite optimal temperature. Across MedMCQA and MathQA, SupportCal yields lower ECE than the agreement-only baseline for nearly all evaluated target-model configurations; supplementary TweetEval Sentiment results show the same pattern on a fixed-label classification task.
• Abstract（参考訳）: ポストトレーニングはタスクのパフォーマンスを向上するが、信頼性を低下させ、トレーニング後の言語モデル(PoLM)は、対応する事前訓練された言語モデル(PLM)よりも過度に信頼される。 タスク固有のラベル付きキャリブレーションデータは費用がかかるか利用できないため、対応する事前訓練されたPLMは、ポストホックキャリブレーションのための自然なラベルなし参照を提供する。 事前の合意付きPLM基準キャリブレーションは、PoLMとPLM基準が一致している例のみを用いてスカラー温度に適合するが、直接アライメントが温度を過度に高め、信頼度を低下させるため、不一致例は除いた。 私たちはこの二分療法を再考する。 制御された再導入診断では、非単調な凝集効果が示され、不一致例を適度に認めることは校正を改善するが、単位重包含が完全な不一致セットに近づくと利点は低下する。 ラベルのないポストホック方式であるSupportCalを導入する。これは、単位重みでの合意例を保持し、自己ベースPLMの相対的サポートと、サイズ互換候補プールから選択された事前訓練された参照との相関に基づいて、不一致例を連続重みに割り当てる。 得られた重み付け対象物が有限の最適温度を持つことを特徴付ける。 MedMCQAとMathQA全体で、SupportCalは、ほぼ全ての評価対象モデル構成に対して、合意のみのベースラインよりもECEが低く、補足的なTweetEval Sentimentの結果は固定ラベル分類タスクで同じパターンを示す。

関連論文リスト

• When Residualization Helps an Audit: Format Effects, Slice Gains, and Their Limits [0.7734726150561088]
  LLMシステムで使用される評価スコアは、測定する品質ではなく、表面形状を追跡することができる。 観測的NLIおよびQA設定では、不随伴アノテータのラベルを用いて評価する前に、保持された複製を凍結し、再評価する。 完全な人口合意は、報告された正のスライスゲインを持つすべての観測条件に該当し、要求内ランキングはそのようなQA設定すべてに該当する。
  論文  参考訳（メタデータ） (2026-09-21T07:06:37Z)
• Learning from Emptiness: De-biasing Listwise Rerankers with Content-Agnostic Probability Calibration [76.08899010904652]
  CapCalは、ランキング決定から位置バイアスを機械的に分離する、トレーニング不要のフレームワークである。 シングルパス効率を保ちながら、トレーニング不要の手法で優れた性能を発揮する。
  論文  参考訳（メタデータ） (2026-04-11T10:47:22Z)
• Calibratable Disambiguation Loss for Multi-Instance Partial-Label Learning [53.9713678229744]
  MIPL(Multi-instance partial-label Learning)は、インスタンス空間とラベル空間の両方において、不正確な監督の課題に対処する弱い教師付きフレームワークである。 既存のMIPLアプローチは、しばしばキャリブレーションが悪く、信頼性を損なう。 分類精度と校正性能を同時に向上するプラグアンドプレイ校正型曖昧さ損失(CDL)を提案する。
  論文  参考訳（メタデータ） (2025-12-19T16:58:31Z)
• Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
  生成のための教師なし共形推論フレームワークを提案する。 我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。 その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
  論文  参考訳（メタデータ） (2025-09-26T23:40:47Z)
• Your Pre-trained LLM is Secretly an Unsupervised Confidence Calibrator [20.81467363927836]
  ポストトレーニングされた言語モデル(PoLM)は、しばしば過剰な自信に悩まされ、正しい出力と間違った出力の両方に高い信頼を割り当てる。 PoLMの校正における大きな障害は、個々の下流タスクのためのラベル付きデータの不足である。 本稿では,時間後信頼度校正におけるパラメータを最適化するために,DACA(Disagreement-Aware Confidence Alignment)を提案する。
  論文  参考訳（メタデータ） (2025-05-22T13:55:39Z)
• Adaptive Set-Mass Calibration with Conformal Prediction [60.47079469141295]
  提案手法は,まず共形予測から始まり,所望のカバレッジを与えるラベルの集合を得る。 次に、共形制約に合わせて、質量正規化と温度スケーリングに基づくルールの2つの簡単なポストホックキャリブレータをインスタンス化する。
  論文  参考訳（メタデータ） (2025-05-21T12:18:15Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。