論文の概要: Learning with Multiclass AUC: Theory and Algorithms

• arxiv url: http://arxiv.org/abs/2107.13171v1
• Date: Wed, 28 Jul 2021 05:18:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-29 21:42:12.290524
• Title: Learning with Multiclass AUC: Theory and Algorithms
• Title（参考訳）: マルチクラスAUCによる学習:理論とアルゴリズム
• Authors: Zhiyong Yang, Qianqian Xu, Shilong Bao, Xiaochun Cao, Qingming Huang
• Abstract要約: ROC曲線 (AUC) の下の領域は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。 本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。
• 参考スコア（独自算出の注目度）: 141.63211412386283
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Area under the ROC curve (AUC) is a well-known ranking metric for problems such as imbalanced learning and recommender systems. The vast majority of existing AUC-optimization-based machine learning methods only focus on binary-class cases, while leaving the multiclass cases unconsidered. In this paper, we start an early trial to consider the problem of learning multiclass scoring functions via optimizing multiclass AUC metrics. Our foundation is based on the M metric, which is a well-known multiclass extension of AUC. We first pay a revisit to this metric, showing that it could eliminate the imbalance issue from the minority class pairs. Motivated by this, we propose an empirical surrogate risk minimization framework to approximately optimize the M metric. Theoretically, we show that: (i) optimizing most of the popular differentiable surrogate losses suffices to reach the Bayes optimal scoring function asymptotically; (ii) the training framework enjoys an imbalance-aware generalization error bound, which pays more attention to the bottleneck samples of minority classes compared with the traditional $O(\sqrt{1/N})$ result. Practically, to deal with the low scalability of the computational operations, we propose acceleration methods for three popular surrogate loss functions, including the exponential loss, squared loss, and hinge loss, to speed up loss and gradient evaluations. Finally, experimental results on 11 real-world datasets demonstrate the effectiveness of our proposed framework.
• Abstract（参考訳）: ROC曲線下のエリア(AUC)は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。 既存のAUC最適化ベースの機械学習手法の大半はバイナリクラスのケースにのみフォーカスするが、マルチクラスのケースは考慮しない。 本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。 我々の基礎は、AUCのよく知られたマルチクラス拡張であるMメトリックに基づいている。 私たちはまずこの指標を再考し、少数クラスのペアから不均衡な問題を排除できることを示した。 そこで本研究では,M 計量を近似的に最適化する実験的なサロゲートリスク最小化フレームワークを提案する。 理論的には, (i) ベイズ最適スコアリング関数に漸近的に到達するために, 一般的な微分可能サーロゲート損失のほとんどを最適化する, (ii) トレーニングフレームワークは, 従来の$o(\sqrt{1/n})$結果と比較して, マイノリティクラスのボトルネックサンプルに注意を払う不均衡対応の一般化エラーバウンドを享受する。 実際,計算処理のスケーラビリティの低下に対処するために,指数損失,二乗損失,ヒンジ損失といった3つの一般的なサーロゲート損失関数の高速化手法を提案し,損失と勾配評価を高速化する。 最後に,11個の実世界のデータセットに対する実験結果から,提案フレームワークの有効性を示した。

関連論文リスト

• Solving Hidden Monotone Variational Inequalities with Surrogate Losses [23.565183680315073]
  本稿では,変分不等式(VI)問題の解法として,ディープラーニングに適合する原理的な代理型アプローチを提案する。 提案手法は,予測ベルマン誤差の最小化と最小化に有効であることを示す。 深層強化学習では,より計算的かつ効率的なTD(0)の新たな変種を提案する。
  論文  参考訳（メタデータ） (2024-11-07T22:42:08Z)
• Predictor-Rejector Multi-Class Abstention: Theoretical Analysis and Algorithms [30.389055604165222]
  マルチクラス分類設定において,留意を伴う学習の鍵となる枠組みについて検討する。 この設定では、学習者は事前に定義されたコストで予測をしないことを選択できる。 我々は、強い非漸近的および仮説的整合性を保証するために、いくつかの新しい代理損失の族を導入する。
  論文  参考訳（メタデータ） (2023-10-23T10:16:27Z)
• Majorization-Minimization for sparse SVMs [46.99165837639182]
  サポートベクタマシン(SVM)は、数十年前に教師付きフレームワークの下でバイナリ分類タスクを実行するために導入された。 それらはしばしば他の教師付き手法よりも優れており、マシンラーニング分野において最も一般的なアプローチの1つである。 本研究では,スムーズなスパースプロモーティング型正方形ヒンジ損失最小化によるSVMのトレーニングについて検討する。
  論文  参考訳（メタデータ） (2023-08-31T17:03:16Z)
• Learning Prompt-Enhanced Context Features for Weakly-Supervised Video Anomaly Detection [37.99031842449251]
  弱い監督下での映像異常検出は重大な課題を呈する。 本稿では,効率的なコンテキストモデリングとセマンティック識別性の向上に焦点をあてた,弱教師付き異常検出フレームワークを提案する。 提案手法は,特定の異常なサブクラスの検出精度を大幅に向上させ,その実用的価値と有効性を裏付けるものである。
  論文  参考訳（メタデータ） (2023-06-26T06:45:16Z)
• Asymptotically Unbiased Instance-wise Regularized Partial AUC Optimization: Theory and Algorithm [101.44676036551537]
  One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。 既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。 本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
  論文  参考訳（メタデータ） (2022-10-08T08:26:22Z)
• Minimax AUC Fairness: Efficient Algorithm with Provable Convergence [35.045187964671335]
  実用性を維持しつつ,グループ内AUCとグループ間AUCの両方を組み込んだミニマックス学習・バイアス軽減フレームワークを提案する。 この枠組みに基づいて,効率的な最適化アルゴリズムを設計し,その最小グループレベルのAUCへの収束性を証明する。
  論文  参考訳（メタデータ） (2022-08-22T17:11:45Z)
• Balanced Self-Paced Learning for AUC Maximization [88.53174245457268]
  既存のセルフパッチ方式は、ポイントワイズAUCに限られている。 我々のアルゴリズムは閉形式解に基づいて定常点に収束する。
  論文  参考訳（メタデータ） (2022-07-08T02:09:32Z)
• Optimizing Two-way Partial AUC with an End-to-end Framework [154.47590401735323]
  ROC曲線のエリア(AUC)は、機械学習にとって重要な指標である。 最近の研究は、TPAUCが既存のPartial AUCメトリクスと本質的に矛盾していることを示している。 本論文では,この新指標を最適化するための最初の試行について述べる。
  論文  参考訳（メタデータ） (2022-06-23T12:21:30Z)
• Tight Mutual Information Estimation With Contrastive Fenchel-Legendre Optimization [69.07420650261649]
  我々はFLOと呼ばれる新しい,シンプルで強力なコントラストMI推定器を提案する。 実証的に、我々のFLO推定器は前者の限界を克服し、より効率的に学習する。 FLOの有効性は、広範囲なベンチマークを用いて検証され、実際のMI推定におけるトレードオフも明らかにされる。
  論文  参考訳（メタデータ） (2021-07-02T15:20:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。