論文の概要: How to Estimate Whether You Have Found Several Needles in a Haystack: Measuring Calibration in Multi-Label Text Classification

• arxiv url: http://arxiv.org/abs/2609.26468v1
• Date: Tue, 22 Sep 2026 14:15:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-24 01:05:39.690105
• Title: How to Estimate Whether You Have Found Several Needles in a Haystack: Measuring Calibration in Multi-Label Text Classification
• Title（参考訳）: マルチラベルテキスト分類におけるキャリブレーションの測定
• Abstract要約: ほとんどの信頼性キャリブレーション指標はバイナリやマルチクラスのタスクを対象としていますが、マルチラベルキャリブレーションは未検討のままです。 ラベルに期待されるキャリブレーション誤差を計算するための既存のバイナリスキームは、誤りを過小評価するか、単にラベル周波数を反映するか、あるいは非常に少ないインスタンスで多くのビンに悩まされているかを示す。 本稿では,正と負のラベルの割り当てに等しい重みを与える新しいビンニング手法を提案する。
• 参考スコア（独自算出の注目度）: 79.91711484993074
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A key factor in deciding whether to trust an automatic prediction is its confidence score, which should be calibrated to match the actual probability of the prediction being correct. Most confidence calibration metrics target binary or multi-class tasks, while multi-label calibration remains largely underexplored. Multi-label classification tasks, such as assigning medical codes to clinical notes or determining news topics, are usually dominated by a large number of negatives, i.e., labels that do not apply. We show that existing binning schemes to compute label-wise expected calibration error either underestimate the error, simply reflect label frequency, or suffer from many bins with very few instances. To achieve trustworthy label-wise calibration errors, we propose a new binning scheme that gives equal weight to positive and negative label assignments. Our empirical study demonstrates that in contrast to existing binning schemes, our new scheme results in meaningful estimates of calibration error in hierarchical and in extreme multi-label classification. We also show that calibrating confidence scores of large language models for multi-label predictions is an open challenge. Our detailed analysis lays the foundation for further research by providing a solid evaluation metric for measuring calibration in multi-label classification.
• Abstract（参考訳）: 自動予測を信頼するかどうかを決める重要な要因は、その信頼性スコアである。 ほとんどの信頼性キャリブレーション指標はバイナリやマルチクラスのタスクを対象としていますが、マルチラベルキャリブレーションは未探索のままです。 医療コードを臨床ノートに割り当てたり、ニューストピックを決定するといったマルチラベルの分類タスクは、通常、多くのネガティブ、すなわち適用されないラベルによって支配される。 ラベルに期待されるキャリブレーション誤差を計算するための既存のバイナリスキームは、誤りを過小評価するか、単にラベル周波数を反映するか、あるいは非常に少ないインスタンスで多くのビンに悩まされているかを示す。 信頼性の高いラベルのキャリブレーション誤差を実現するために,正と負のラベル割り当てに等しい重みを与える新しいビンニング手法を提案する。 我々の実証研究は、既存のバイナリ方式とは対照的に、階層的および極端なマルチラベル分類におけるキャリブレーション誤差の有意義な推定結果が得られることを示した。 また,多ラベル予測のための大規模言語モデルの信頼性スコアの校正もオープンな課題であることを示す。 詳細な分析により,マルチラベル分類におけるキャリブレーション測定のためのソリッド評価指標を提供することにより,さらなる研究の基盤を築き上げた。

関連論文リスト

• Unified Approach for Weakly Supervised Multicalibration [6.557328947642346]
  マルチキャリブレーションでは、予測スコアは、豊富なサブグループのファミリーとスコアに依存したテストのラベル確率に一致するように要求される。 既存の手法では、評価と後処理のためにクリーンな入力ラベルペアが必要である。 弱い監督下での多重校正を推定・補正するための統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2026-05-11T01:30:09Z)
• Scalable Utility-Aware Multiclass Calibration [53.28176049547449]
  ユーティリティキャリブレーション(英: Utility calibration)は、特定のユーティリティ関数に対するキャリブレーション誤差を測定する一般的なフレームワークである。 我々は、このフレームワークが既存のキャリブレーションメトリクスを統一し、再解釈する方法を実証する。
  論文  参考訳（メタデータ） (2025-10-29T12:32:14Z)
• Probably Approximately Precision and Recall Learning [60.00180898830079]
  機械学習における重要な課題は、一方的なフィードバックの頻度である。 本稿では,確率的近似(PAC)フレームワークを導入し,各入力をラベルの集合にマッピングする仮説を定めている。 我々は、正のデータのみから学習する新しいアルゴリズムを開発し、実現可能な場合において最適なサンプル複雑性を実現する。
  論文  参考訳（メタデータ） (2024-11-20T04:21:07Z)
• Confidence Calibration of Classifiers with Many Classes [5.018156030818883]
  ニューラルネットワークに基づく分類モデルでは、最大クラス確率が信頼スコアとしてしばしば使用される。 このスコアは正しい予測を行う確率を十分に予測することは滅多になく、後処理のキャリブレーションステップを必要とする。
  論文  参考訳（メタデータ） (2024-11-05T10:51:01Z)
• Dynamic Correlation Learning and Regularization for Multi-Label Confidence Calibration [60.95748658638956]
  本稿では,多ラベルシナリオにおける信頼度を適切に評価することを目的としたマルチラベル信頼性タスクを提案する。 既存のシングルラベルキャリブレーション手法では、セマンティックな混乱に対処するために欠かせないカテゴリ相関を考慮できない。 本稿では,多粒度セマンティック相関を利用した動的相関学習と正規化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-09T13:26:21Z)
• Confidence Self-Calibration for Multi-Label Class-Incremental Learning [21.104984143597882]
  MLCIL(Multi-Label Class-Incremental Learning)におけるラベルの課題は、トレーニング中に新しいクラスのみをラベル付けする場合に発生する。 この問題は、誤って高い信頼度を持つマルチラベル予測による偽陽性エラーの増大につながる。 MLCILのマルチラベル信頼度校正を改良するための信頼性自己校正(CSC)手法を提案する。
  論文  参考訳（メタデータ） (2024-03-19T09:14:52Z)
• Class-Distribution-Aware Pseudo Labeling for Semi-Supervised Multi-Label Learning [97.88458953075205]
  Pseudo-labelingは、ラベルなしデータを利用するための人気で効果的なアプローチとして登場した。 本稿では,クラスアウェアの擬似ラベル処理を行うCAP(Class-Aware Pseudo-Labeling)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-04T12:52:18Z)
• Distribution-Free, Risk-Controlling Prediction Sets [112.9186453405701]
  ユーザ特定レベルにおける将来のテストポイントにおける期待損失を制御するブラックボックス予測器から設定値予測を生成する方法を示す。 提案手法は,予測セットのサイズをキャリブレーションするホールドアウトセットを用いて,任意のデータセットに対して明確な有限サンプル保証を提供する。
  論文  参考訳（メタデータ） (2021-01-07T18:59:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。