論文の概要: Estimating Multi-label Accuracy using Labelset Distributions

• arxiv url: http://arxiv.org/abs/2209.04163v1
• Date: Fri, 9 Sep 2022 07:47:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-12 13:01:07.163795
• Title: Estimating Multi-label Accuracy using Labelset Distributions
• Title（参考訳）: ラベルセット分布を用いたマルチラベル精度の推定
• Authors: Laurence A. F. Park, Jesse Read
• Abstract要約: マルチラベル分類器は、任意のインスタンスにおいて、概念ラベルのセットごとにバイナリラベル状態を推定する。 複数ラベルの予測分布から予測精度を推定できることを示す。
• 参考スコア（独自算出の注目度）: 1.5076964620370268
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A multi-label classifier estimates the binary label state (relevant vs irrelevant) for each of a set of concept labels, for any given instance. Probabilistic multi-label classifiers provide a predictive posterior distribution over all possible labelset combinations of such label states (the powerset of labels) from which we can provide the best estimate, simply by selecting the labelset corresponding to the largest expected accuracy, over that distribution. For example, in maximizing exact match accuracy, we provide the mode of the distribution. But how does this relate to the confidence we may have in such an estimate? Confidence is an important element of real-world applications of multi-label classifiers (as in machine learning in general) and is an important ingredient in explainability and interpretability. However, it is not obvious how to provide confidence in the multi-label context and relating to a particular accuracy metric, and nor is it clear how to provide a confidence which correlates well with the expected accuracy, which would be most valuable in real-world decision making. In this article we estimate the expected accuracy as a surrogate for confidence, for a given accuracy metric. We hypothesise that the expected accuracy can be estimated from the multi-label predictive distribution. We examine seven candidate functions for their ability to estimate expected accuracy from the predictive distribution. We found three of these to correlate to expected accuracy and are robust. Further, we determined that each candidate function can be used separately to estimate Hamming similarity, but a combination of the candidates was best for expected Jaccard index and exact match.
• Abstract（参考訳）: マルチラベル分類器は、任意のインスタンスに対して、概念ラベルのセットごとにバイナリラベルの状態(関連性対無関係)を推定する。 確率的多重ラベル分類器は、そのようなラベル状態(ラベルのパワーセット)の可能なすべてのラベルセットの組み合わせに対して予測的な後方分布を提供し、その分布に対して最も期待される最大精度に対応するラベルセットを選択するだけで、最良の推定を行うことができる。 例えば、正確なマッチング精度を最大化するために、分布のモードを提供する。 しかし、このような見積もりにおける信頼とは、どのように関係があるのでしょう? 信頼性はマルチラベル分類器(一般に機械学習)の現実的応用の重要な要素であり、説明可能性や解釈可能性の重要な要素である。 しかしながら、マルチラベルの文脈や特定の正確度メトリクスに対する信頼度を提供する方法が明確ではなく、実際の意思決定において最も価値のある、期待される正確さとよく相関する信頼度を提供する方法も明確ではない。 本稿では、所定の精度測定値に対して、予測された精度を信頼の代理として推定する。 マルチラベル予測分布から予測精度を推定できると仮定した。 予測分布から予測精度を推定できる7つの候補関数について検討した。 これらのうち3つは、予測された精度と相関し、堅牢であることがわかった。 さらに,各候補関数はハミングの類似度を推定するために別々に使用できると判断したが,jaccardインデックスと正確な一致には候補の組み合わせが最適であった。

関連論文リスト

• Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
  コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。 しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。 信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-13T15:37:11Z)
• Predicting generalization performance with correctness discriminators [64.00420578048855]
  未確認データに対して,金のラベルを必要とせず,精度の上下境界を確立する新しいモデルを提案する。 予測された上境界と下限の間に金の精度が確実に成立する様々なタグ付け、構文解析、意味解析タスクを示す。
  論文  参考訳（メタデータ） (2023-11-15T22:43:42Z)
• Leveraging Ensemble Diversity for Robust Self-Training in the Presence of Sample Selection Bias [5.698050337128548]
  半教師付き学習において、自己学習はよく知られたアプローチである。モデルが自信を持ってラベル付きデータに擬似ラベルを反復的に割り当て、ラベル付き例として扱う。 ニューラルネットワークの場合、ソフトマックス予測確率はしばしば信頼度尺度として使用されるが、誤った予測であっても過度に信頼されていることが知られている。 本稿では,線形分類器のアンサンブルの予測多様性に基づいて,$mathcalT$-similarityと呼ばれる新しい信頼度尺度を提案する。
  論文  参考訳（メタデータ） (2023-10-23T11:30:06Z)
• PAC Prediction Sets Under Label Shift [52.30074177997787]
  予測セットは、個々のラベルではなくラベルのセットを予測することによって不確実性を捉える。 ラベルシフト設定においてPAC保証付き予測セットを構築するための新しいアルゴリズムを提案する。 提案手法を5つのデータセットで評価する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:57Z)
• Confidence and Dispersity Speak: Characterising Prediction Matrix for Unsupervised Accuracy Estimation [51.809741427975105]
  この研究は、ラベルを使わずに、分散シフト下でのモデルの性能を評価することを目的としている。 我々は、両方の特性を特徴付けるのに有効であることが示されている核規範を用いる。 核の基準は既存の手法よりも正確で堅牢であることを示す。
  論文  参考訳（メタデータ） (2023-02-02T13:30:48Z)
• From Classification Accuracy to Proper Scoring Rules: Elicitability of Probabilistic Top List Predictions [0.0]
  単クラス予測と予測分布のギャップを埋める新しいタイプの分類予測法を提案する。 提案した評価指標は,対称的固有スコアリングルールに基づいて,様々な種類の予測の比較を許容する。
  論文  参考訳（メタデータ） (2023-01-27T15:55:01Z)
• Test-time Recalibration of Conformal Predictors Under Distribution Shift Based on Unlabeled Examples [30.61588337557343]
  コンフォーマル予測器は、ユーザが特定した確率で一連のクラスを計算することで不確実性の推定を提供する。 本研究では,自然分布シフト下での優れた不確実性推定を行う手法を提案する。
  論文  参考訳（メタデータ） (2022-10-09T04:46:00Z)
• Distribution-free uncertainty quantification for classification under label shift [105.27463615756733]
  2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。 まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。 これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
  論文  参考訳（メタデータ） (2021-03-04T20:51:03Z)
• Selective Classification Can Magnify Disparities Across Groups [89.14499988774985]
  選択的分類は平均的精度を向上させることができるが、既存の精度格差を同時に増大させることができる。 禁忌の増大は、一部のグループでのアキュラシーを減少させることもある。 我々は,グループ間で類似のフルカバレッジ精度を実現する分散ロバストモデルを訓練し,選択分類が各グループを均一に改善することを示す。
  論文  参考訳（メタデータ） (2020-10-27T08:51:30Z)
• Class-Similarity Based Label Smoothing for Confidence Calibration [2.055949720959582]
  信頼性校正を改善するため,新しいラベルスムーシング方式を提案する。 異なるクラスは固有の類似性が異なるため、より類似したクラスは最終的な出力においてより近い確率値をもたらす。 これは、ラベル値が参照クラスと類似性に基づいている新しいスムーズなラベルの開発を動機付けている。
  論文  参考訳（メタデータ） (2020-06-24T20:26:22Z)
• Knowing what you know: valid and validated confidence sets in multiclass and multilabel prediction [0.8594140167290097]
  マルチクラスおよびマルチラベル問題において、有効な信頼セットを構築するための共形予測手法を開発する。 量子レグレッションのアイデアを活用することで、常に正しいカバレッジを保証すると同時に、マルチクラスとマルチラベルの予測問題に対して条件付きカバレッジを提供する手法を構築する。
  論文  参考訳（メタデータ） (2020-04-21T17:45:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。