論文の概要: Towards Understanding Generalization of Macro-AUC in Multi-label
Learning
- arxiv url: http://arxiv.org/abs/2305.05248v2
- Date: Fri, 2 Jun 2023 08:14:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-05 19:31:20.546549
- Title: Towards Understanding Generalization of Macro-AUC in Multi-label
Learning
- Title(参考訳): マルチラベル学習におけるマクロAUCの一般化の理解に向けて
- Authors: Guoqiang Wu, Chongxuan Li, Yilong Yin
- Abstract要約: マクロAUCに基づく各種学習アルゴリズムの一般化特性を特徴付ける。
一般化境界に影響を及ぼすデータセットの臨界因子を同定する。
我々は、独立性を持つかもしれない新しい(そしてより一般的な)マクダイアルミド型濃度不等式を提案する。
- 参考スコア(独自算出の注目度): 48.015768048227166
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Macro-AUC is the arithmetic mean of the class-wise AUCs in multi-label
learning and is commonly used in practice. However, its theoretical
understanding is far lacking. Toward solving it, we characterize the
generalization properties of various learning algorithms based on the
corresponding surrogate losses w.r.t. Macro-AUC. We theoretically identify a
critical factor of the dataset affecting the generalization bounds: \emph{the
label-wise class imbalance}. Our results on the imbalance-aware error bounds
show that the widely-used univariate loss-based algorithm is more sensitive to
the label-wise class imbalance than the proposed pairwise and reweighted
loss-based ones, which probably implies its worse performance. Moreover,
empirical results on various datasets corroborate our theory findings. To
establish it, technically, we propose a new (and more general) McDiarmid-type
concentration inequality, which may be of independent interest.
- Abstract(参考訳): マクロAUCは、マルチラベル学習におけるクラスワイドAUCの算術平均であり、実際は一般的に使われている。
しかし、その理論的理解は極めて不足している。
そこで本研究では,マクロ・AUCのサロゲート損失に基づいて,様々な学習アルゴリズムの一般化特性を特徴付ける。
一般化境界に影響を与えるデータセットの臨界因子を理論的に同定する: \emph{the label-wise class imbalance}。
不均衡認識誤り境界に関する本研究の結果から,広く用いられている不平等損失に基づくアルゴリズムは,提案するペアワイズおよび再重み付け損失ベースアルゴリズムよりもラベルワイズクラス不均衡に敏感であることが判明した。
さらに, 様々なデータセットに対する実験結果は, 理論上の知見を裏付けるものである。
これを技術的に確立するために、我々は、独立した関心を持つ可能性のある、新しい(より一般的な)マクディアーミド型濃度不等式を提案する。
関連論文リスト
- How does promoting the minority fraction affect generalization? A
theoretical study of the one-hidden-layer neural network on group imbalance [67.9909236921284]
グループ不均衡は経験的リスク最小化において既知の問題である。
本稿では,個々の集団がサンプルの複雑さ,収束率,平均および群レベルの試験性能に与える影響を定量化する。
論文 参考訳(メタデータ) (2024-03-12T04:38:05Z) - Class-wise Generalization Error: an Information-Theoretic Analysis [22.877440350595222]
本稿では,各クラスの一般化性能を定量化するクラス一般化誤差について検討する。
我々は、異なるニューラルネットワークにおける提案した境界を実験的に検証し、それらが複雑なクラス一般化エラーの振る舞いを正確に捉えていることを示す。
論文 参考訳(メタデータ) (2024-01-05T17:05:14Z) - A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment
for Imbalanced Learning [129.63326990812234]
そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。
この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
論文 参考訳(メタデータ) (2023-10-07T09:15:08Z) - Learning with Multiclass AUC: Theory and Algorithms [141.63211412386283]
ROC曲線 (AUC) の下の領域は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。
本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。
論文 参考訳(メタデータ) (2021-07-28T05:18:10Z) - Rethinking and Reweighting the Univariate Losses for Multi-Label
Ranking: Consistency and Generalization [44.73295800450414]
(部分)ランキング損失は、マルチラベル分類の一般的な評価尺度です。
既存の理論と実践の間にはギャップがある -- ペアワイズな損失は有望なパフォーマンスをもたらすが一貫性を欠く可能性がある。
論文 参考訳(メタデータ) (2021-05-10T09:23:27Z) - Label-Imbalanced and Group-Sensitive Classification under
Overparameterization [32.923780772605596]
ラベルの不均衡でグループに敏感な分類は、関連するメトリクスを最適化するための標準トレーニングアルゴリズムを適切に修正することを目指す。
標準実証的リスク最小化に対するロジット調整による損失修正は,一般的には効果がない可能性がある。
本研究では, 2つの共通する不均衡(ラベル/グループ)を統一的に処理し, 敏感群の二値分類に自然に適用できることを示した。
論文 参考訳(メタデータ) (2021-03-02T08:09:43Z) - Theoretical Insights Into Multiclass Classification: A High-dimensional
Asymptotic View [82.80085730891126]
線形多クラス分類の最初の現代的精度解析を行う。
分析の結果,分類精度は分布に依存していることがわかった。
得られた洞察は、他の分類アルゴリズムの正確な理解の道を開くかもしれない。
論文 参考訳(メタデータ) (2020-11-16T05:17:29Z) - Robustifying Binary Classification to Adversarial Perturbation [45.347651499585055]
本稿では,対向摂動を伴う二分分類の問題について考察する。
データを操作する際の敵の力を考慮に入れたマックスマージン分類器に一般化を導入する。
損失関数に関するいくつかの軽微な仮定の下では、勾配降下がその方向のRM分類器に収束することを理論的に示す。
論文 参考訳(メタデータ) (2020-10-29T07:20:37Z) - Learning by Minimizing the Sum of Ranked Range [58.24935359348289]
本稿では,学習目標を定式化するための一般的なアプローチとして,ランキング範囲(SoRR)の和を紹介した。
ランク付き範囲は、実数の集合のソートされた値の連続的なシーケンスである。
我々は,SoRRフレームワークの最小化のための機械学習における2つの応用,すなわち,バイナリ分類のためのAoRR集約損失とマルチラベル/マルチクラス分類のためのTKML個人損失について検討する。
論文 参考訳(メタデータ) (2020-10-05T01:58:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。