論文の概要: Multi-Label Learning with Stronger Consistency Guarantees

• arxiv url: http://arxiv.org/abs/2407.13746v1
• Date: Thu, 18 Jul 2024 17:51:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 14:21:47.870637
• Title: Multi-Label Learning with Stronger Consistency Guarantees
• Title（参考訳）: より強い一貫性保証によるマルチラベル学習
• Authors: Anqi Mao, Mehryar Mohri, Yutao Zhong,
• Abstract要約: 本稿では,複数ラベル学習におけるサロゲート損失とアルゴリズムについて詳細に検討し,その差分を$H$-consistency boundsで表す。 本稿では,ラベルに依存しない$H$一貫性境界の利点とラベル相関を考慮に入れた新しい代理損失,多ラベルロジスティック損失を導入する。 我々は、このサロゲート損失の族が、一般的なマルチラベル損失よりも、$H$一貫性境界、すなわちベイズ一貫性から恩恵を受けていることを証明した。
• 参考スコア（独自算出の注目度）: 30.389055604165222
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a detailed study of surrogate losses and algorithms for multi-label learning, supported by $H$-consistency bounds. We first show that, for the simplest form of multi-label loss (the popular Hamming loss), the well-known consistent binary relevance surrogate suffers from a sub-optimal dependency on the number of labels in terms of $H$-consistency bounds, when using smooth losses such as logistic losses. Furthermore, this loss function fails to account for label correlations. To address these drawbacks, we introduce a novel surrogate loss, multi-label logistic loss, that accounts for label correlations and benefits from label-independent $H$-consistency bounds. We then broaden our analysis to cover a more extensive family of multi-label losses, including all common ones and a new extension defined based on linear-fractional functions with respect to the confusion matrix. We also extend our multi-label logistic losses to more comprehensive multi-label comp-sum losses, adapting comp-sum losses from standard classification to the multi-label learning. We prove that this family of surrogate losses benefits from $H$-consistency bounds, and thus Bayes-consistency, across any general multi-label loss. Our work thus proposes a unified surrogate loss framework benefiting from strong consistency guarantees for any multi-label loss, significantly expanding upon previous work which only established Bayes-consistency and for specific loss functions. Additionally, we adapt constrained losses from standard classification to multi-label constrained losses in a similar way, which also benefit from $H$-consistency bounds and thus Bayes-consistency for any multi-label loss. We further describe efficient gradient computation algorithms for minimizing the multi-label logistic loss.
• Abstract（参考訳）: 本稿では,複数ラベル学習におけるサロゲート損失とアルゴリズムについて詳細に検討し,その差分を$H$-consistency boundsで表す。 まず、最も単純なマルチラベル損失(ハミング損失)に対して、よく知られた一貫したバイナリ関連サロゲートは、ロジスティック損失などのスムーズな損失を使用する場合、ラベル数にサブ最適に依存することが示される。 さらに、この損失関数はラベル相関を考慮できない。 これらの欠点に対処するために,ラベルに依存しない$H$一貫性境界の利点とラベル相関を考慮に入れた,新しいサロゲート損失,マルチラベルロジスティック損失を導入する。 解析を拡大して、より広範な多ラベル損失の族をカバーし、すべての共通な損失と、混乱行列に関して線形屈折関数に基づいて定義される新しい拡張を含む。 また,マルチラベルのロジスティックな損失を,より包括的なマルチラベルのcomp-sum損失に拡張し,標準分類からマルチラベル学習へのcomp-sum損失を適応させる。 我々は、このサロゲート損失の族が、一般的なマルチラベル損失よりも、$H$一貫性境界、すなわちベイズ一貫性から恩恵を受けていることを証明した。 そこで本研究では,ベイズ一貫性と特定の損失関数の確立のみを前提とした従来よりも大幅に拡張した,マルチラベル損失に対する強い整合性保証を活かした統一的なサロゲート損失フレームワークを提案する。 さらに,標準分類による制約付き損失とマルチラベル制約付き損失とを同様の方法で適用し,これもまた$H$一貫性境界の恩恵を受けるため,任意のマルチラベル損失に対してベイズ整合性が期待できる。 さらに,多ラベルロジスティック損失を最小化するための効率的な勾配計算アルゴリズムについて述べる。

関連論文リスト

• Do We Need to Penalize Variance of Losses for Learning with Label Noise? [91.38888889609002]
  ノイズラベルを用いた学習では,差分を増大させる必要がある。 ラベルノイズ遷移行列を利用することで、正規化器は損失の分散を低減することができる。 実験的に,損失の分散を増大させることにより,合成データセットと実世界のデータセットのベースラインの一般化能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-01-30T06:19:08Z)
• Label Distributionally Robust Losses for Multi-class Classification: Consistency, Robustness and Adaptivity [55.29408396918968]
  多クラス分類のためのラベル分布ロバスト(LDR)損失という損失関数群について検討した。 我々の貢献は、多クラス分類のためのLDR損失のトップ$kの一貫性を確立することによって、一貫性と堅牢性の両方を含んでいる。 本稿では,各インスタンスのクラスラベルの雑音度に個別化温度パラメータを自動的に適応させる適応型LDR損失を提案する。
  論文  参考訳（メタデータ） (2021-12-30T00:27:30Z)
• Unbiased Loss Functions for Multilabel Classification with Missing Labels [2.1549398927094874]
  欠落ラベルは、極端なマルチラベル分類(XMC)タスクにおいてユビキタスな現象である。 本稿では,異なるマルチラベルリダクションに対する特異な非バイアス推定器を導出する。
  論文  参考訳（メタデータ） (2021-09-23T10:39:02Z)
• Leveraged Weighted Loss for Partial Label Learning [64.85763991485652]
  部分ラベル学習は、各インスタンスに候補ラベルのセットが割り当てられるデータを扱うが、そのうちの1つだけが真実である。 部分ラベルからの学習に関する多くの方法論の研究にもかかわらず、リスク一貫した性質に関する理論的理解はいまだに欠けている。 本稿では,テキスト重み付き損失(LW)と呼ばれる損失関数のファミリーを提案する。これはまず,部分ラベル上の損失と非部分的な損失とのトレードオフを検討するために,レバレッジパラメータ$beta$を導入する。
  論文  参考訳（メタデータ） (2021-06-10T13:25:13Z)
• Disentangling Sampling and Labeling Bias for Learning in Large-Output Spaces [64.23172847182109]
  異なる負のサンプリングスキームが支配的ラベルと稀なラベルで暗黙的にトレードオフパフォーマンスを示す。 すべてのラベルのサブセットで作業することで生じるサンプリングバイアスと、ラベルの不均衡に起因するデータ固有のラベルバイアスの両方に明示的に対処する統一された手段を提供する。
  論文  参考訳（メタデータ） (2021-05-12T15:40:13Z)
• Rethinking and Reweighting the Univariate Losses for Multi-Label Ranking: Consistency and Generalization [44.73295800450414]
  (部分)ランキング損失は、マルチラベル分類の一般的な評価尺度です。 既存の理論と実践の間にはギャップがある -- ペアワイズな損失は有望なパフォーマンスをもたらすが一貫性を欠く可能性がある。
  論文  参考訳（メタデータ） (2021-05-10T09:23:27Z)
• Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
  各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。 不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2020-12-16T04:09:04Z)
• Distribution-Balanced Loss for Multi-Label Classification in Long-Tailed Datasets [98.74153364118898]
  本稿では,長距離クラス分布を示す多ラベル認識問題に対して,分散ベース損失と呼ばれる新たな損失関数を提案する。 Distribution-Balanced Lossは、標準的なバイナリのクロスエントロピー損失に対する2つの重要な修正を通じて、これらの問題に取り組む。 パスカルVOCとCOCOの両方の実験により、この新しい損失関数で訓練されたモデルは、大幅な性能向上を達成できた。
  論文  参考訳（メタデータ） (2020-07-19T11:50:10Z)
• Unbiased Loss Functions for Extreme Classification With Missing Labels [1.6011907050002954]
  極端なマルチラベル分類(XMC)の目標は、非常に大きなラベルのセットから、関連するラベルの小さなサブセットでインスタンスをタグ付けすることである。 本研究では,ラベルを分解する損失関数の一般定式化のための非バイアス推定器を導出する。 抽出された非バイアス推定器は、極端分類のための最先端アルゴリズムに容易に組み込むことができることを示す。
  論文  参考訳（メタデータ） (2020-07-01T04:42:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。