論文の概要: sigmoidF1: A Smooth F1 Score Surrogate Loss for Multilabel Classification

• arxiv url: http://arxiv.org/abs/2108.10566v1
• Date: Tue, 24 Aug 2021 08:11:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-25 14:26:11.319529
• Title: sigmoidF1: A Smooth F1 Score Surrogate Loss for Multilabel Classification
• Title（参考訳）: sigmoidF1:マルチラベル分類のための平滑なF1スコアサロゲート損失
• Authors: Gabriel B\'en\'edict, Vincent Koops, Daan Odijk, Maarten de Rijke
• Abstract要約: マルチラベル分類評価の複雑さを考慮した損失関数 sigmoidF1 を提案する。 SigmoidF1は4つのデータセットといくつかのメトリクスで他の損失関数よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 42.37189502220329
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multiclass multilabel classification refers to the task of attributing multiple labels to examples via predictions. Current models formulate a reduction of that multilabel setting into either multiple binary classifications or multiclass classification, allowing for the use of existing loss functions (sigmoid, cross-entropy, logistic, etc.). Empirically, these methods have been reported to achieve good performance on different metrics (F1 score, Recall, Precision, etc.). Theoretically though, the multilabel classification reductions does not accommodate for the prediction of varying numbers of labels per example and the underlying losses are distant estimates of the performance metrics. We propose a loss function, sigmoidF1. It is an approximation of the F1 score that (I) is smooth and tractable for stochastic gradient descent, (II) naturally approximates a multilabel metric, (III) estimates label propensities and label counts. More generally, we show that any confusion matrix metric can be formulated with a smooth surrogate. We evaluate the proposed loss function on different text and image datasets, and with a variety of metrics, to account for the complexity of multilabel classification evaluation. In our experiments, we embed the sigmoidF1 loss in a classification head that is attached to state-of-the-art efficient pretrained neural networks MobileNetV2 and DistilBERT. Our experiments show that sigmoidF1 outperforms other loss functions on four datasets and several metrics. These results show the effectiveness of using inference-time metrics as loss function at training time in general and their potential on non-trivial classification problems like multilabel classification.
• Abstract（参考訳）: マルチクラスマルチラベル分類(multiclass multilabel classification)は、予測を通じて複数のラベルをサンプルに帰属させるタスクである。 現在のモデルでは、既存の損失関数(シグモイド、クロスエントロピー、ロジスティックなど)を使用できるように、そのマルチラベル設定を複数のバイナリ分類またはマルチクラス分類に縮小する。 実験的に、これらの手法は異なるメトリクス(F1スコア、リコール、精度など)で優れたパフォーマンスを達成することが報告されている。 理論的には、多ラベル分類の削減は例ごとに異なるラベル数の予測には適せず、根底にある損失は性能指標の遠距離推定である。 我々は損失関数sigmoidF1を提案する。 これは f1 のスコアの近似であり、 (i) は確率的勾配降下に対して滑らかで扱いやすい、 (ii) 自然にマルチラベル計量に近似し、 (iii) ラベルの傾向とラベル数を推定する。 より一般に、任意の混乱行列計量は滑らかな代理で定式化できることを示す。 提案した損失関数を,テキストと画像の異なるデータセットで評価し,多ラベル分類評価の複雑さを考慮に入れた。 実験では、SigmoidF1損失を最先端の学習前ニューラルネットワークMobileNetV2とDistilBERTにアタッチした分類ヘッドに埋め込んだ。 実験の結果,SigmoidF1は4つのデータセットと複数のメトリクスで他の損失関数よりも優れていた。 これらの結果から,訓練時間における損失関数としての推論時間指標の有効性と,マルチラベル分類などの非自明な分類問題への可能性を示した。

関連論文リスト

• Generating Unbiased Pseudo-labels via a Theoretically Guaranteed Chebyshev Constraint to Unify Semi-supervised Classification and Regression [57.17120203327993]
  分類におけるしきい値と擬似ラベルプロセス(T2L)は、ラベルの品質を決定するために信頼性を使用する。 本質的には、レグレッションは高品質なラベルを生成するためにバイアスのない方法も必要である。 チェビシェフの不等式に基づく不偏ラベルを生成するための理論的に保証された制約を提案する。
  論文  参考訳（メタデータ） (2023-11-03T08:39:35Z)
• Combining Metric Learning and Attention Heads For Accurate and Efficient Multilabel Image Classification [0.0]
  マルチラベル分類における2つの一般的なアプローチについて再検討する。 トランスフォーマーベースヘッドはグラフベースのブランチよりも優れた結果が得られると考えられるが、適切なトレーニング戦略により、グラフベースの手法はわずかに精度の低下を示すことができると論じる。
  論文  参考訳（メタデータ） (2022-09-14T12:06:47Z)
• Unbiased Loss Functions for Multilabel Classification with Missing Labels [2.1549398927094874]
  欠落ラベルは、極端なマルチラベル分類(XMC)タスクにおいてユビキタスな現象である。 本稿では,異なるマルチラベルリダクションに対する特異な非バイアス推定器を導出する。
  論文  参考訳（メタデータ） (2021-09-23T10:39:02Z)
• MSE Loss with Outlying Label for Imbalanced Classification [10.305130700118399]
  クラス不均衡分類のための外付けラベルを用いた平均二乗誤差(MSE)損失を提案する。 MSE損失は、すべてのクラスのバック伝搬数を等しくし、メトリック学習としてのクラス間の関係を考慮して特徴空間を学習することができる。 高微分クラスと低微分クラスを分離する機能空間を作成することができる。
  論文  参考訳（メタデータ） (2021-07-06T05:17:00Z)
• PLM: Partial Label Masking for Imbalanced Multi-label Classification [59.68444804243782]
  長いラベルの分布を持つ実世界のデータセットで訓練されたニューラルネットワークは、頻繁なクラスに偏りがあり、頻繁なクラスでは不十分である。 本稿では,この比率を利用したPLM(Partial Label Masking)を提案する。 本手法は,マルチラベル (MultiMNIST と MSCOCO) とシングルラベル (CIFAR-10 と CIFAR-100) の2つの画像分類データセットにおいて,既存の手法と比較して高い性能を実現する。
  論文  参考訳（メタデータ） (2021-05-22T18:07:56Z)
• Minimax Active Learning [61.729667575374606]
  アクティブラーニングは、人間のアノテーションによってラベル付けされる最も代表的なサンプルをクエリすることによって、ラベル効率の高いアルゴリズムを開発することを目指している。 現在のアクティブラーニング技術は、最も不確実なサンプルを選択するためにモデルの不確実性に頼るか、クラスタリングを使うか、最も多様なラベルのないサンプルを選択するために再構築する。 我々は,不確実性と多様性を両立させる半教師付きミニマックスエントロピーに基づく能動学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-12-18T19:03:40Z)
• Joint Visual and Temporal Consistency for Unsupervised Domain Adaptive Person Re-Identification [64.37745443119942]
  本稿では,局所的なワンホット分類とグローバルなマルチクラス分類を組み合わせることで,視覚的・時間的整合性を両立させる。 3つの大規模ReIDデータセットの実験結果は、教師なしと教師なしの両方のドメイン適応型ReIDタスクにおいて提案手法の優位性を示す。
  論文  参考訳（メタデータ） (2020-07-21T14:31:27Z)
• Learning Gradient Boosted Multi-label Classification Rules [4.842945656927122]
  本稿では,分解不能な損失関数だけでなく,分解不能な損失関数を最小化できる多ラベル分類規則の学習アルゴリズムを提案する。 我々は,合成データに対するアプローチの能力と限界を分析し,その予測性能をマルチラベルベンチマークで評価する。
  論文  参考訳（メタデータ） (2020-06-23T21:39:23Z)
• Unsupervised Person Re-identification via Multi-label Classification [55.65870468861157]
  本稿では,教師なしのReIDを多ラベル分類タスクとして定式化し,段階的に真のラベルを求める。 提案手法は,まず,各人物画像に単一クラスラベルを割り当てることから始まり,ラベル予測のために更新されたReIDモデルを活用することで,多ラベル分類へと進化する。 マルチラベル分類におけるReIDモデルのトレーニング効率を高めるために,メモリベースマルチラベル分類損失(MMCL)を提案する。
  論文  参考訳（メタデータ） (2020-04-20T12:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。