論文の概要: Rethinking and Reweighting the Univariate Losses for Multi-Label
Ranking: Consistency and Generalization
- arxiv url: http://arxiv.org/abs/2105.05026v1
- Date: Mon, 10 May 2021 09:23:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-12 14:04:57.009393
- Title: Rethinking and Reweighting the Univariate Losses for Multi-Label
Ranking: Consistency and Generalization
- Title（参考訳）: マルチラベルランキングにおける不平等損失の再考と重み付け:一貫性と一般化
- Authors: Guoqiang Wu, Chongxuan Li, Kun Xu, Jun Zhu
- Abstract要約: (部分)ランキング損失は、マルチラベル分類の一般的な評価尺度です。
既存の理論と実践の間にはギャップがある -- ペアワイズな損失は有望なパフォーマンスをもたらすが一貫性を欠く可能性がある。
- 参考スコア（独自算出の注目度）: 44.73295800450414
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: (Partial) ranking loss is a commonly used evaluation measure for multi-label
classification, which is usually optimized with convex surrogates for
computational efficiency. Prior theoretical work on multi-label ranking mainly
focuses on (Fisher) consistency analyses. However, there is a gap between
existing theory and practice -- some pairwise losses can lead to promising
performance but lack consistency, while some univariate losses are consistent
but usually have no clear superiority in practice. In this paper, we attempt to
fill this gap through a systematic study from two complementary perspectives of
consistency and generalization error bounds of learning algorithms. Our results
show that learning algorithms with the consistent univariate loss have an error
bound of $O(c)$ ($c$ is the number of labels), while algorithms with the
inconsistent pairwise loss depend on $O(\sqrt{c})$ as shown in prior work. This
explains that the latter can achieve better performance than the former in
practice. Moreover, we present an inconsistent reweighted univariate loss-based
learning algorithm that enjoys an error bound of $O(\sqrt{c})$ for promising
performance as well as the computational efficiency of univariate losses.
Finally, experimental results validate our theoretical analyses.
- Abstract（参考訳）: (部分)ランキング損失は多ラベル分類において一般的に用いられる評価尺度であり、通常は計算効率のために凸サロゲートで最適化される。
マルチラベルランキングに関する以前の理論的研究は、主に(フィッシャー)一貫性解析に焦点を当てていた。
しかし、既存の理論と実践の間にはギャップがある -- いくつかの対の損失は有望なパフォーマンスをもたらすが、一貫性に欠ける。
本稿では,学習アルゴリズムの一貫性と一般化誤差境界の2つの相補的な観点から体系的な研究を通して,このギャップを埋めることを試みる。
以上の結果から,不整合損失のある学習アルゴリズムは誤差値がo(c)$ (c$ is the number of labels) であるのに対し,不整合なペアワイズ損失の学習アルゴリズムは先行研究で示した$o(\sqrt{c})$に依存することがわかった。
これにより、後者は、実際には前者よりも優れたパフォーマンスを達成できる。
さらに,有望な性能と非有意な損失の計算効率のために$o(\sqrt{c})$の誤差境界を享受する不整合再重み付き不定損失ベース学習アルゴリズムを提案する。
最後に,実験結果が理論解析の妥当性を検証した。
関連論文リスト
- A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment
for Imbalanced Learning [129.63326990812234]
そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。
この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
論文 参考訳（メタデータ） (2023-10-07T09:15:08Z) - Cross-Entropy Loss Functions: Theoretical Analysis and Applications [27.3569897539488]
本稿では, クロスエントロピー(あるいはロジスティック損失), 一般化クロスエントロピー, 平均絶対誤差, その他のクロスエントロピー様損失関数を含む, 幅広い損失関数群の理論解析について述べる。
これらの損失関数は,$H$-consistency bounds(===========================================================================)であることを証明する。
これにより、正規化された滑らかな逆数和損失を最小限に抑える新しい逆数堅牢性アルゴリズムがもたらされる。
論文 参考訳（メタデータ） (2023-04-14T17:58:23Z) - Benchmarking Deep AUROC Optimization: Loss Functions and Algorithmic
Choices [37.559461866831754]
我々は、深いAUROC最適化問題に対するアルゴリズム選択の異なる様々な損失関数をベンチマークする。
正のサンプリング率、正規化、正規化/アクティベーション、重みなどの重要な選択を強調した。
以上の結果から,Adam-type法はトレーニングの面では競争力が高いが,テストの面では他よりも優れていないことが示唆された。
論文 参考訳（メタデータ） (2022-03-27T00:47:00Z) - PACMAN: PAC-style bounds accounting for the Mismatch between Accuracy
and Negative log-loss [28.166066663983674]
分類タスクに対する機械学習アルゴリズムの最終的な性能は通常、テストデータセットに基づく経験的エラー確率(または精度)の観点から測定される。
分類タスクの場合、この損失関数はよく知られたクロスエントロピーリスクにつながる負のログロスである。
本稿では, 検定のミスマッチを考慮した一般化ギャップに対するポイントワイズPACに基づく分析と, 負のログロスによるトレーニングを提案する。
論文 参考訳（メタデータ） (2021-12-10T14:00:22Z) - Understanding the Generalization of Adam in Learning Neural Networks
with Proper Regularization [118.50301177912381]
我々は,重力減衰グローバリゼーションにおいても,目的の異なる解に確実に異なる誤差で収束できることを示す。
凸と重み減衰正則化を用いると、Adamを含む任意の最適化アルゴリズムは同じ解に収束することを示す。
論文 参考訳（メタデータ） (2021-08-25T17:58:21Z) - Learning with Multiclass AUC: Theory and Algorithms [141.63211412386283]
ROC曲線 (AUC) の下の領域は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。
本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。
論文 参考訳（メタデータ） (2021-07-28T05:18:10Z) - Generalized Negative Correlation Learning for Deep Ensembling [7.569288952340753]
Ensembleアルゴリズムは、多くの機械学習アプリケーションにおいて、最先端のアートパフォーマンスを提供する。
任意の2つの微分可能な損失関数に対する一般化バイアス分散分解を定式化する。
我々は,アンサンブルの多様性を明示的に制御する一般化負相関学習アルゴリズムを導出する。
論文 参考訳（メタデータ） (2020-11-05T16:29:22Z) - Learning by Minimizing the Sum of Ranked Range [58.24935359348289]
本稿では,学習目標を定式化するための一般的なアプローチとして,ランキング範囲(SoRR)の和を紹介した。
ランク付き範囲は、実数の集合のソートされた値の連続的なシーケンスである。
我々は,SoRRフレームワークの最小化のための機械学習における2つの応用,すなわち,バイナリ分類のためのAoRR集約損失とマルチラベル/マルチクラス分類のためのTKML個人損失について検討する。
論文 参考訳（メタデータ） (2020-10-05T01:58:32Z) - Approximation Algorithms for Sparse Principal Component Analysis [57.5357874512594]
主成分分析(PCA)は、機械学習と統計学において広く使われている次元削減手法である。
スパース主成分分析(Sparse principal Component Analysis)と呼ばれる,スパース主成分負荷を求める様々な手法が提案されている。
本研究では,SPCA問題に対するしきい値の精度,時間,近似アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-23T04:25:36Z) - Optimization and Generalization of Regularization-Based Continual
Learning: a Loss Approximation Viewpoint [35.5156045701898]
各タスクの損失関数の2階Taylor近似として定式化することにより、正規化に基づく連続学習の新しい視点を提供する。
この観点から、正規化に基づく連続学習の最適化側面(収束)と一般化特性(有限サンプル保証)を考察する。
論文 参考訳（メタデータ） (2020-06-19T06:08:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。