論文の概要: Labels in Extremes: How Well Calibrated are Extreme Multi-label Classifiers?

• arxiv url: http://arxiv.org/abs/2411.04276v1
• Date: Wed, 06 Nov 2024 21:46:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:38:07.638827
• Title: Labels in Extremes: How Well Calibrated are Extreme Multi-label Classifiers?
• Title（参考訳）: Extremesにおけるラベル: Extreme Multi-label Classifiersの校正精度はどの程度か?
• Authors: Nasib Ullah, Erik Schultheis, Jinbin Zhang, Rohit Babbar,
• Abstract要約: 極端なマルチラベル分類(XMLC)問題は、関連する製品レコメンデーション、大規模ドキュメントのタグ付け、広告予測といった設定で発生する。 本稿では,9つのモデルの体系的評価を提供することで,XMLCのキャリブレーションの現在の状況を確立することを目的とする。
• 参考スコア（独自算出の注目度）: 5.26569785878819
• License:
• Abstract: Extreme multilabel classification (XMLC) problems occur in settings such as related product recommendation, large-scale document tagging, or ad prediction, and are characterized by a label space that can span millions of possible labels. There are two implicit tasks that the classifier performs: \emph{Evaluating} each potential label for its expected worth, and then \emph{selecting} the best candidates. For the latter task, only the relative order of scores matters, and this is what is captured by the standard evaluation procedure in the XMLC literature. However, in many practical applications, it is important to have a good estimate of the actual probability of a label being relevant, e.g., to decide whether to pay the fee to be allowed to display the corresponding ad. To judge whether an extreme classifier is indeed suited to this task, one can look, for example, to whether it returns \emph{calibrated} probabilities, which has hitherto not been done in this field. Therefore, this paper aims to establish the current status quo of calibration in XMLC by providing a systematic evaluation, comprising nine models from four different model families across seven benchmark datasets. As naive application of Expected Calibration Error (ECE) leads to meaningless results in long-tailed XMC datasets, we instead introduce the notion of \emph{calibration@k} (e.g., ECE@k), which focusses on the top-$k$ probability mass, offering a more appropriate measure for evaluating probability calibration in XMLC scenarios. While we find that different models can exhibit widely varying reliability plots, we also show that post-training calibration via a computationally efficient isotonic regression method enhances model calibration without sacrificing prediction accuracy. Thus, the practitioner can choose the model family based on accuracy considerations, and leave calibration to isotonic regression.
• Abstract（参考訳）: 極端なマルチラベル分類(XMLC)問題は、製品レコメンデーション、大規模文書のタグ付け、広告予測といった設定で発生し、数百万のラベルにまたがるラベル空間によって特徴づけられる。 分類器が実行する暗黙的なタスクは2つある: \emph{Evaluating} 各ポテンシャルラベルはその期待値に対して、次に \emph{selecting} がベスト候補となる。 後者のタスクでは、相対的なスコアの順序のみが重要であり、これはXMLC文献の標準的な評価手順によって捉えられるものである。 しかし、多くの実践的応用において、ラベルが関連している実際の確率を適切に見積もること、例えば、対応する広告を表示するための料金を支払うかどうかを決定することが重要である。 極端な分類器がこのタスクに実際に適しているかどうかを判断するために、例えば、このフィールドで行われていないような \emph{calibrated} 確率を返すかどうかを調べることができる。 そこで本研究では,7つのベンチマークデータセットにまたがる4種類のモデルファミリから9つのモデルを含む,系統的な評価を行うことにより,XMLCのキャリブレーションの現在の状態の確立を目指す。 予測校正誤差(ECE)の単純な適用は、長い尾のXMCデータセットに意味のない結果をもたらすので、XMLCシナリオの確率校正を評価するためのより適切な指標を提供する、上位kの確率質量に焦点をあてた 'emph{calibration@k} (eg , ECE@k) の概念を導入する。 また, 予測精度を犠牲にすることなく, 計算効率のよい等速回帰法により, モデルキャリブレーションを促進できることを示す。 これにより、精度を考慮したモデルファミリを選択することができ、キャリブレーションを等調回帰に委ねることができる。

関連論文リスト

• Stochastic Online Conformal Prediction with Semi-Bandit Feedback [29.334511328067777]
  実例が時間とともに現れるオンライン学習環境について検討し、その目標は予測セットを動的に構築することである。 本稿では,この設定を対象とする新しい共形予測アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-22T00:42:49Z)
• On Computationally Efficient Multi-Class Calibration [9.032290717007065]
  プロジェクトのキャリブレーションは、下流の意思決定者全員に強い保証を与えます。 これは、ラベルに割り当てられた確率を$T$にまとめることで予測される確率が、完全に校正されたバイナリ予測器に近いことを保証している。
  論文  参考訳（メタデータ） (2024-02-12T17:25:23Z)
• Dirichlet-Based Prediction Calibration for Learning with Noisy Labels [40.78497779769083]
  雑音ラベルによる学習はディープニューラルネットワーク(DNN)の一般化性能を著しく損なう 既存のアプローチでは、損失補正やサンプル選択手法によってこの問題に対処している。 そこで我々は,textitDirichlet-based Prediction (DPC) 法を解法として提案する。
  論文  参考訳（メタデータ） (2024-01-13T12:33:04Z)
• Generating Unbiased Pseudo-labels via a Theoretically Guaranteed Chebyshev Constraint to Unify Semi-supervised Classification and Regression [57.17120203327993]
  分類におけるしきい値と擬似ラベルプロセス(T2L)は、ラベルの品質を決定するために信頼性を使用する。 本質的には、レグレッションは高品質なラベルを生成するためにバイアスのない方法も必要である。 チェビシェフの不等式に基づく不偏ラベルを生成するための理論的に保証された制約を提案する。
  論文  参考訳（メタデータ） (2023-11-03T08:39:35Z)
• Model Calibration in Dense Classification with Adaptive Label Perturbation [44.62722402349157]
  既存の密接な二分分類モデルは、過信される傾向がある。 本稿では,各トレーニング画像に対する独自のラベル摂動レベルを学習する適応ラベル摂動(ASLP)を提案する。 ASLPは、分布内および分布外の両方のデータに基づいて、密度の高い二分分類モデルの校正度を著しく改善することができる。
  論文  参考訳（メタデータ） (2023-07-25T14:40:11Z)
• Label-Retrieval-Augmented Diffusion Models for Learning from Noisy Labels [61.97359362447732]
  ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。 本稿では,生成モデルの観点からラベルノイズ問題を再構成する。 我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
  論文  参考訳（メタデータ） (2023-05-31T03:01:36Z)
• T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
  有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。 誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。 我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
  論文  参考訳（メタデータ） (2022-03-03T16:58:54Z)
• Unbiased Loss Functions for Multilabel Classification with Missing Labels [2.1549398927094874]
  欠落ラベルは、極端なマルチラベル分類(XMC)タスクにおいてユビキタスな現象である。 本稿では,異なるマルチラベルリダクションに対する特異な非バイアス推定器を導出する。
  論文  参考訳（メタデータ） (2021-09-23T10:39:02Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Distribution-free uncertainty quantification for classification under label shift [105.27463615756733]
  2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。 まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。 これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
  論文  参考訳（メタデータ） (2021-03-04T20:51:03Z)
• Coping with Label Shift via Distributionally Robust Optimisation [72.80971421083937]
  分散ロバスト最適化(DRO)に基づく目的最小化モデルを提案する。 そこで我々は,提案した目的を最適化するために,大規模問題に適した勾配降下近位ミラー上昇アルゴリズムを設計し,解析する。
  論文  参考訳（メタデータ） (2020-10-23T08:33:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。