論文の概要: Large-scale Optimization of Partial AUC in a Range of False Positive Rates

• arxiv url: http://arxiv.org/abs/2203.01505v1
• Date: Thu, 3 Mar 2022 03:46:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-05 06:59:33.063689
• Title: Large-scale Optimization of Partial AUC in a Range of False Positive Rates
• Title（参考訳）: 偽陽性率域における部分AUCの大規模最適化
• Authors: Yao Yao, Qihang Lin, Tianbao Yang
• Abstract要約: ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。 近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。 提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
• 参考スコア（独自算出の注目度）: 51.12047280149546
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The area under the ROC curve (AUC) is one of the most widely used performance measures for classification models in machine learning. However, it summarizes the true positive rates (TPRs) over all false positive rates (FPRs) in the ROC space, which may include the FPRs with no practical relevance in some applications. The partial AUC, as a generalization of the AUC, summarizes only the TPRs over a specific range of the FPRs and is thus a more suitable performance measure in many real-world situations. Although partial AUC optimization in a range of FPRs had been studied, existing algorithms are not scalable to big data and not applicable to deep learning. To address this challenge, we cast the problem into a non-smooth difference-of-convex (DC) program for any smooth predictive functions (e.g., deep neural networks), which allowed us to develop an efficient approximated gradient descent method based on the Moreau envelope smoothing technique, inspired by recent advances in non-smooth DC optimization. To increase the efficiency of large data processing, we used an efficient stochastic block coordinate update in our algorithm. Our proposed algorithm can also be used to minimize the sum of ranked range loss, which also lacks efficient solvers. We established a complexity of $\tilde O(1/\epsilon^6)$ for finding a nearly $\epsilon$-critical solution. Finally, we numerically demonstrated the effectiveness of our proposed algorithms for both partial AUC maximization and sum of ranked range loss minimization.
• Abstract（参考訳）: ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。 しかしながら、これはROC空間における全ての偽陽性率(FPR)に対する真の正の率(TPR)を要約している。 部分的なAUCは、AUCの一般化として、特定の範囲のFPRに対してのみTPRを要約し、多くの実世界の状況においてより適切なパフォーマンス尺度である。 FPRにおける部分的なAUC最適化は研究されてきたが、既存のアルゴリズムはビッグデータには拡張性がなく、ディープラーニングにも適用できない。 この課題に対処するために,我々はこの問題を任意の滑らかな予測関数(例えばディープニューラルネットワーク)に対して非スムース差オブ凸(dc)プログラムにキャストし,非スムースdc最適化の最近の進歩に触発されたモロー包絡平滑化法に基づく効率的な近似勾配降下法の開発を可能にした。 大規模データ処理の効率を向上させるため,本アルゴリズムでは効率的な確率的ブロック座標更新を行った。 提案アルゴリズムは,効率のよい解法を欠くランク付き範囲損失の和を最小化するためにも利用できる。 我々は約$\epsilon$臨界解を見つけるために$\tilde o(1/\epsilon^6)$という複雑さを確立した。 最後に,提案アルゴリズムによる部分的auc最大化とランク付けされた範囲損失最小化の和の有効性を数値的に証明した。

関連論文リスト

• Adaptive Federated Minimax Optimization with Lower Complexities [82.51223883622552]
  本稿では,これらのミニマックス問題の解法として,適応最小最適化アルゴリズム(AdaFGDA)を提案する。 運動量に基づく還元および局所SGD技術を構築し、様々な適応学習率を柔軟に組み込む。
  論文  参考訳（メタデータ） (2022-11-14T12:32:18Z)
• Asymptotically Unbiased Instance-wise Regularized Partial AUC Optimization: Theory and Algorithm [101.44676036551537]
  One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。 既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。 本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
  論文  参考訳（メタデータ） (2022-10-08T08:26:22Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Optimizing ROC Curves with a Sort-Based Surrogate Loss Function for Binary Classification and Changepoint Detection [1.332560004325655]
  我々は、Under Min(FP, FN) の略である AUM と呼ばれる新しい凸損失関数を提案する。 新たなAUM学習により,AUCが向上し,従来のベースラインに匹敵する結果が得られた。
  論文  参考訳（メタデータ） (2021-07-02T21:21:19Z)
• Stochastic Hard Thresholding Algorithms for AUC Maximization [49.00683387735522]
  分散分類におけるAUCのためのハードしきい値決定アルゴリズムを開発した。 提案アルゴリズムの有効性と有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2020-11-04T16:49:29Z)
• Adaptive Sampling for Best Policy Identification in Markov Decision Processes [79.4957965474334]
  本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。 最先端アルゴリズムの利点を論じ、解説する。
  論文  参考訳（メタデータ） (2020-09-28T15:22:24Z)
• Online AUC Optimization for Sparse High-Dimensional Datasets [32.77252579365118]
  エリア・アンダー・オブ・ザ・ROC曲線(AUC)は、不均衡な分類のための広く使われている性能指標である。 現在のオンラインAUC最適化アルゴリズムは、イテレーションあたりのコストが$mathcalO(d)$である。 本稿では,新しいアルゴリズムである textscFTRL-AUC を提案する。
  論文  参考訳（メタデータ） (2020-09-23T00:50:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。