論文の概要: CORDIAL: Calibrating Ordinal LLM Outputs from Few Labels
- arxiv url: http://arxiv.org/abs/2609.29807v1
- Date: Thu, 24 Sep 2026 13:41:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.958677
- Title: CORDIAL: Calibrating Ordinal LLM Outputs from Few Labels
- Title（参考訳）: CORDIAL: 少数のラベルからの正規LCM出力の校正
- Abstract要約: 大規模言語モデル(LLM)は、テキストを順序付きスケール上の分布に変換することができるが、その分布はノイズの多い測定値である。
提案するCORDIALは,モデル出力を真のラベルのノイズリードとして扱う。
結果のキャリブレーションは1次順序を保っていることを証明している。
- 参考スコア（独自算出の注目度）: 2.9661986198815655
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A large language model (LLM) can turn a text into a distribution over an ordered scale, but that distribution is a noisy measurement: saturated, compressed or exaggerated, and biased in a consistent direction. We propose CORDIAL, which treats the model's output as a noisy reading of the true label and corrects it with a channel of five interpretable parameters. The channel is small enough for its posterior to be averaged from a handful of labels, and we prove that the resulting calibration preserves first-order stochastic order. On Amazon reviews and CMU-MOSEI transcripts with four LLMs, CORDIAL has the lowest log loss among nine calibrators in 76 of 80 settings with 5 to 100 labels; with 20 labels and the main 7B reader, it matches the strongest baseline using 28-54 labels. The same posterior lets us learn priors from other tasks and fuse several LLMs. Unrestricted calibrators such as Dirichlet calibration overtake it only as the calibration set grows into the hundreds or thousands.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、テキストを順序付きスケール上の分布に変換することができるが、その分布は、飽和、圧縮または誇張され、一貫した方向にバイアスされる、ノイズの多い測定である。
提案するCORDIALは,モデルの出力を真のラベルのノイズリードとして扱い,解釈可能な5つのパラメータのチャネルで補正する。
チャネルは後部が少数のラベルから平均化できるほど小さく、その結果のキャリブレーションが一階確率順序を保存することを証明している。
Amazonのレビューと4つのLCMによるCMU-MOSEIの書き起こしでは、CoRDIALは、80個の設定のうち76個のキャリブレータで5から100個のラベルでログ損失が最も低く、20個のラベルとメインの7Bリーダーが28から54個のラベルで最強のベースラインと一致している。
同じ後方では、他のタスクから事前を学習し、複数のLSMを融合させます。
ディリクレ校正のような制限のない校正器は、校正セットが数十から数千に拡大するにつれて、それを乗っ取っている。
関連論文リスト
- How to Estimate Whether You Have Found Several Needles in a Haystack: Measuring Calibration in Multi-Label Text Classification [79.91711484993074]
ほとんどの信頼性キャリブレーション指標はバイナリやマルチクラスのタスクを対象としていますが、マルチラベルキャリブレーションは未検討のままです。
ラベルに期待されるキャリブレーション誤差を計算するための既存のバイナリスキームは、誤りを過小評価するか、単にラベル周波数を反映するか、あるいは非常に少ないインスタンスで多くのビンに悩まされているかを示す。
本稿では,正と負のラベルの割り当てに等しい重みを与える新しいビンニング手法を提案する。
論文 参考訳（メタデータ） (2026-09-22T14:15:54Z) - LWCal: Loss-Weighted Calibration for Tabular Classifiers with Noisy Calibration Labels [22.23301921278794]
ポストホック確率キャリブレーションは通常、楽観的な仮定の下で評価される。
本稿では,CPUのみのポストホックキャリブレータであるLWCalを提案する。
第2の変種であるGated-LWCalは、キャリブレーション分割が極めて矛盾しているように見えるとき、元のスコアに向かって後退する保守的な不一致ゲートを追加する。
論文 参考訳（メタデータ） (2026-09-22T00:41:17Z) - SupportCal: Label-Free Calibration of Post-Trained LLMs via Reference Support and Corroboration [53.7810725714783]
ポストトレーニングはタスクパフォーマンスを向上するが、信頼性の校正を低下させることがある。
タスク固有のラベル付きキャリブレーションデータは費用がかかるか利用できないため、対応する事前訓練言語モデル(PLM)は、ポストホックキャリブレーションのための自然なラベルなし参照を提供する。
ラベルのないポストホック法であるSupportCalを導入し,合意事例を単位重みで保持し,不一致事例を連続重みで割り当てる。
論文 参考訳（メタデータ） (2026-09-21T09:02:41Z) - Discrete Diffusion Language Models Are Training-Free Multi-Label Classifiers [1.3406606730449597]
マルチラベルテキスト分類のための個別マスク付き拡散言語モデルを用いた訓練不要なdLLM-SetScoreを提案する。
各候補ラベルについて、短いイエス/ノー質問を行い、2つの回答トークンの確率を1つのマスクされた位置で比較する。
論文 参考訳（メタデータ） (2026-07-30T15:21:02Z) - Temperature Scaling Is Not Enough: Calibration Gaps Under Human Label Distributions [0.0]
この仮定に違反した場合,温度スケーリングがキャリブレーション特性を維持するかどうかを検討した。
硬質ラベルの温度スケーリングは、軟質ラベル上で直接オラクルを過小評価する。
これらの結果は, ラベルのあいまいさが構造的であった場合であっても, 多数投票ラベル上に構築された校正プロトコルが系統的に不整合モデル信頼性を損なうことを示唆している。
論文 参考訳（メタデータ） (2026-07-15T03:52:06Z) - CaliDist: Calibrating Large Language Models via Behavioral Robustness to Distraction [51.56484100374058]
既存のLLM(Large Language Models)のキャリブレーション手法は、しばしば信頼性の重要な次元、すなわちモデルの振舞いの堅牢性を見落としている。
我々は,モデルが注意をそらす可能性を直接測定し,罰する,新しいポストホックキャリブレーション手法であるtextscCaliDistを紹介した。
textscCaliDistは、強いベースラインと比較して、期待の低いエラー(ECE)とBrier Scoreを一貫して達成します。
論文 参考訳（メタデータ） (2026-06-04T07:27:53Z) - Confidence Calibration under Ambiguous Ground Truth [43.71398545904091]
多数発声ラベルに装着したポストホックキャリブレータは、従来の評価ではよく校正される。
しかし、それらが根底にあるアノテータ分布に対してかなり誤解されている。
我々は,完全ラベル分布に対して適切なスコアリングルールを最適化する,あいまいさを意識したポストホックキャリブレータのファミリーを開発する。
論文 参考訳（メタデータ） (2026-03-24T07:24:09Z) - Generative Calibration for In-context Learning [20.207930451266822]
本稿では,このようなパラドックスが主にコンテキスト内モデルからデータ分布へのラベルシフトによるものであることを示す。
この理解により、ラベルの辺りを調整してコンテキスト内予測分布を調整できる。
我々は,本手法を生成的キャリブレーション(generative calibration)と呼び,12のテキスト分類タスクと12のLLMを774Mから33Bに拡張した徹底的な実験を行った。
論文 参考訳（メタデータ） (2023-10-16T10:45:02Z) - Instance-Dependent Partial Label Learning [69.49681837908511]
部分ラベル学習は、典型的には弱教師付き学習問題である。
既存のほとんどのアプローチでは、トレーニングサンプルの間違ったラベルがランダムに候補ラベルとして選択されていると仮定している。
本稿では,各例が実数で構成された潜在ラベル分布と関連していると仮定する。
論文 参考訳（メタデータ） (2021-10-25T12:50:26Z) - Localized Calibration: Metrics and Recalibration [133.07044916594361]
完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。
次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
論文 参考訳（メタデータ） (2021-02-22T07:22:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。