論文の概要: Towards Universal Calibration for In-Context Classification

• arxiv url: http://arxiv.org/abs/2610.17096v1
• Date: Mon, 12 Oct 2026 16:55:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 03:18:55.394485
• Title: Towards Universal Calibration for In-Context Classification
• Title（参考訳）: 文脈内分類のための普遍的校正に向けて
• Abstract要約: In-Context Learning (ICL)は、これらのタスクに対してモデルを微調整することなく、新しいタスクの分類精度を向上させる能力によって、最近多くの関心を集めている。 近年の研究では、ICLは文脈内サンプルのバイアス選択により校正に悪影響を与えることが示されている。 ICLのキャリブレーションを改善する既存の方法は追加のタスクとモデル固有の訓練を必要とし、ICLの非微調整の利便性を損なう。
• 参考スコア（独自算出の注目度）: 27.66490075424799
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-Context Learning (ICL) has received a lot of interest recently due to its ability to improve classification accuracy for new tasks without having to fine-tune the model over these tasks. However, the impact of ICL on calibration has been far less studied. Recent work has shown that ICL can have a negative impact on calibration due to biased selection of in-context examples. The existing methods for improving ICL calibration require additional task and model-specific training, detracting from the no-fine-tuning convenience of ICL. In this work, we introduce CALIBFORMER, a universal ICL calibrator for classification tasks, that generalizes to new models and tasks without further fine-tuning on these tasks. Specifically, we design a transformer-based calibrator which uses the model predictions on in-context examples to predict a confidence score for the test input. We show that the calibrator trained on three models and ten tasks, is able to generalize/calibrate ICL predictions on several new tasks and four LLMs unseen during training. Even for frontier models like Gemini, CALIBFORMER is able to obtain over 50% reduction in calibration error.
• Abstract（参考訳）: In-Context Learning (ICL)は、これらのタスクに対してモデルを微調整することなく、新しいタスクの分類精度を向上させる能力によって、最近多くの関心を集めている。 しかし, キャリブレーションに対するICLの影響は極めて少ない。 近年の研究では、ICLは文脈内サンプルのバイアス選択により校正に悪影響を与えることが示されている。 ICLのキャリブレーションを改善する既存の方法は追加のタスクとモデル固有の訓練を必要とし、ICLの微調整不要な利便性を損なう。 そこで本研究では,これらのタスクをさらに微調整することなく,新しいモデルやタスクに一般化する汎用ICLキャリブレータCALIBFORMERを提案する。 具体的には、テキスト内サンプルのモデル予測を用いて、テスト入力に対する信頼度を推定するトランスフォーマーベースのキャリブレータを設計する。 3つのモデルと10のタスクでトレーニングされたキャリブレータは、いくつかの新しいタスクでICL予測を一般化/校正し、トレーニング中に見つからない4つのLCMを実現できることを示す。 Geminiのようなフロンティアモデルであっても、CALIBFORMERはキャリブレーションエラーを50%以上削減することができる。

関連論文リスト

• Test-time Calibration Learning for Large Language Model Reasoning [38.19203836129321]
  TTCL(Test-Time Learning)は、ラベルなしのフレームワークである。 TTCLは様々なモデルやタスクの精度とキャリブレーションを一貫して改善する。
  論文  参考訳（メタデータ） (2026-10-02T02:17:17Z)
• Scalable Utility-Aware Multiclass Calibration [53.28176049547449]
  ユーティリティキャリブレーション(英: Utility calibration)は、特定のユーティリティ関数に対するキャリブレーション誤差を測定する一般的なフレームワークである。 我々は、このフレームワークが既存のキャリブレーションメトリクスを統一し、再解釈する方法を実証する。
  論文  参考訳（メタデータ） (2025-10-29T12:32:14Z)
• Contrast-Aware Calibration for Fine-Tuned CLIP: Leveraging Image-Text Alignment [46.87809309786518]
  視覚言語モデル(VLM)は例外的な能力を示しており、迅速な微調整によって下流のタスクに迅速に適応することができる。 オープン語彙設定などの非トレーニングクラスを含む分類タスクでは、微調整されたVLMは、しばしば訓練クラスに過度に適合し、信頼スコアと未確認クラスの実際の精度の誤調整をもたらす。 既存の信頼性キャリブレーション手法では、トレーニングパラメータやトレーニングデータセットの特徴の分析が必要であり、対応する列車データなしで未確認のクラスを一般化する能力を制限している。 5つの微調整方法を持つ11のデータセットを含む実験において、CACは、列車と見知らぬクラスの両方において、常に最高の校正効果を達成した。
  論文  参考訳（メタデータ） (2025-01-31T11:47:15Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Bag of Tricks for In-Distribution Calibration of Pretrained Transformers [8.876196316390493]
  プレトレーニング言語モデル(PLM)の信頼性校正に関する実証的研究について述べる。 トレーニングセットに過度に適合したアンサンブルモデルは,サブパーキャリブレーション性能を示す。 校正手法を組み合わせた校正PLM(CALL)を提案する。
  論文  参考訳（メタデータ） (2023-02-13T21:11:52Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。