論文の概要: Does it pay to optimize AUC?

• arxiv url: http://arxiv.org/abs/2306.01528v1
• Date: Fri, 2 Jun 2023 13:28:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 14:50:46.424575
• Title: Does it pay to optimize AUC?
• Title（参考訳）: AUCの最適化に費用はかかるか?
• Authors: Baojian Zhou, Steven Skiena
• Abstract要約: 本稿では,より効率的なアルゴリズムであるAUC-optを提案し,$mathbbR2$で証明可能な最適なAUC線形分類器を求める。 実験によると、AUC-optは、$mathbbR2$で17から40、$mathbbR3$50 t-SNEトレーニングデータセットで4から42に大幅に改善されている。
• 参考スコア（独自算出の注目度）: 17.54773029913898
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Area Under the ROC Curve (AUC) is an important model metric for evaluating binary classifiers, and many algorithms have been proposed to optimize AUC approximately. It raises the question of whether the generally insignificant gains observed by previous studies are due to inherent limitations of the metric or the inadequate quality of optimization. To better understand the value of optimizing for AUC, we present an efficient algorithm, namely AUC-opt, to find the provably optimal AUC linear classifier in $\mathbb{R}^2$, which runs in $\mathcal{O}(n_+ n_- \log (n_+ n_-))$ where $n_+$ and $n_-$ are the number of positive and negative samples respectively. Furthermore, it can be naturally extended to $\mathbb{R}^d$ in $\mathcal{O}((n_+n_-)^{d-1}\log (n_+n_-))$ by calling AUC-opt in lower-dimensional spaces recursively. We prove the problem is NP-complete when $d$ is not fixed, reducing from the \textit{open hemisphere problem}. Experiments show that compared with other methods, AUC-opt achieves statistically significant improvements on between 17 to 40 in $\mathbb{R}^2$ and between 4 to 42 in $\mathbb{R}^3$ of 50 t-SNE training datasets. However, generally the gain proves insignificant on most testing datasets compared to the best standard classifiers. Similar observations are found for nonlinear AUC methods under real-world datasets.
• Abstract（参考訳）: ROC曲線下の領域(AUC)はバイナリ分類器を評価するための重要なモデル計量であり、AUCを概ね最適化するために多くのアルゴリズムが提案されている。 これは、以前の研究で観察された一般に重要でない利益が、メトリックの固有の制限か、最適化の不十分な品質に起因するかという疑問を提起する。 AUC の最適化値をよりよく理解するために,$n_+$ と $n_+$ が正および負のサンプル数である $\mathcal{O}(n_+ n_- \log (n_+ n_-))$ で実行される$\mathbb{R}^2$ の証明可能な最適 AUC 線形分類器を求めるアルゴリズム,すなわち AUC-opt を提案する。 さらに、これは自然に$\mathbb{R}^d$ in $\mathcal{O}((n_+n_-)^{d-1}\log (n_+n_-)$に拡張することができる。 d$ が固定されていないとき、問題は NP 完全であることが証明され、 \textit{open hemisphere problem} から導かれる。 実験の結果,AUC-optは他の手法と比較して17～40 in $\mathbb{R}^2$,4～42 in $\mathbb{R}^3$ of 50 t-SNEトレーニングデータセットに対して統計的に有意な改善が得られた。 しかし、一般的にゲインは、最高の標準分類器と比較して、ほとんどのテストデータセットにおいて重要でないことが証明される。 同様の観測は、実世界のデータセットの下で非線形AUC法でも見られる。

関連論文リスト

• Combinatorial optimization of the coefficient of determination [0.0]
  決定係数が最も高い平面上の$n$点の$k$-部分集合を選択するための効率的なアルゴリズムを開発する。 誤差のない$n=30$までの試行で,提案手法の最適性を実験的に実証した。
  論文  参考訳（メタデータ） (2024-10-12T00:53:25Z)
• Obtaining Lower Query Complexities through Lightweight Zeroth-Order Proximal Gradient Algorithms [65.42376001308064]
  複素勾配問題に対する2つの分散化ZO推定器を提案する。 我々は、現在最先端の機能複雑性を$mathcalOleft(minfracdn1/2epsilon2, fracdepsilon3right)$から$tildecalOleft(fracdepsilon2right)$に改善する。
  論文  参考訳（メタデータ） (2024-10-03T15:04:01Z)
• Asymptotically Unbiased Instance-wise Regularized Partial AUC Optimization: Theory and Algorithm [101.44676036551537]
  One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。 既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。 本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
  論文  参考訳（メタデータ） (2022-10-08T08:26:22Z)
• Lower Bounds on the Worst-Case Complexity of Efficient Global Optimization [11.523746174066702]
  我々は、その対応する再生核ヒルベルト空間(RKHS)における球の計量エントロピーの観点から、効率的な大域最適化の複雑さに対する統一された下界を導出する。 この下界は、一般に使用される2乗指数核とマタン核の非適応探索アルゴリズムによって達成された上界にほぼ一致することを示す。
  論文  参考訳（メタデータ） (2022-09-20T11:57:13Z)
• Large-scale Optimization of Partial AUC in a Range of False Positive Rates [51.12047280149546]
  ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。 近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。 提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
  論文  参考訳（メタデータ） (2022-03-03T03:46:18Z)
• Randomized Exploration for Reinforcement Learning with General Value Function Approximation [122.70803181751135]
  本稿では,ランダム化最小二乗値反復(RLSVI)アルゴリズムに着想を得たモデルレス強化学習アルゴリズムを提案する。 提案アルゴリズムは,スカラーノイズを用いたトレーニングデータを簡易に摂動させることにより,探索を促進する。 我々はこの理論を、既知の困難な探査課題にまたがる実証的な評価で補完する。
  論文  参考訳（メタデータ） (2021-06-15T02:23:07Z)
• An Online Riemannian PCA for Stochastic Canonical Correlation Analysis [37.8212762083567]
  投影行列の再パラメータ化を用いた正準相関解析(CCA)のための効率的なアルゴリズム(RSG+)を提案する。 本論文は,その特性の定式化と技術的解析に主眼を置いているが,本実験により,一般的なデータセットに対する経験的挙動が極めて有望であることが確認された。
  論文  参考訳（メタデータ） (2021-06-08T23:38:29Z)
• Bayesian Optimistic Optimisation with Exponentially Decaying Regret [58.02542541410322]
  現在の実用的なBOアルゴリズムは、$mathcalO(fraclogNsqrtN)$から$mathcalO(e-sqrtN)$まで、$N$は評価の数である。 本稿では,boと木に基づく楽観的楽観化の概念を絡み合うことにより,無音環境における後悔を改善できる可能性について検討する。 次数$mathcal O(N-sqrt)で指数的再帰を達成できる最初の実践的手法であるBOOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T13:07:44Z)
• Online AUC Optimization for Sparse High-Dimensional Datasets [32.77252579365118]
  エリア・アンダー・オブ・ザ・ROC曲線(AUC)は、不均衡な分類のための広く使われている性能指標である。 現在のオンラインAUC最適化アルゴリズムは、イテレーションあたりのコストが$mathcalO(d)$である。 本稿では,新しいアルゴリズムである textscFTRL-AUC を提案する。
  論文  参考訳（メタデータ） (2020-09-23T00:50:01Z)
• Hybrid Stochastic-Deterministic Minibatch Proximal Gradient: Less-Than-Single-Pass Optimization with Nearly Optimal Generalization [83.80460802169999]
  HSDMPGは、学習モデル上で過大なエラーの順序である$mathcalObig(1/sttnbig)$を達成可能であることを示す。 損失係数について、HSDMPGは学習モデル上で過大なエラーの順序である$mathcalObig(1/sttnbig)$を達成できることを示す。
  論文  参考訳（メタデータ） (2020-09-18T02:18:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。