論文の概要: Asymptotically Unbiased Instance-wise Regularized Partial AUC Optimization: Theory and Algorithm

• arxiv url: http://arxiv.org/abs/2210.03967v2
• Date: Tue, 11 Oct 2022 03:19:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 11:20:53.849251
• Title: Asymptotically Unbiased Instance-wise Regularized Partial AUC Optimization: Theory and Algorithm
• Title（参考訳）: Asymptotically unbiased Instance-wise regularized partial AUC Optimization: Theory and Algorithm
• Authors: Huiyang Shao, Qianqian Xu, Zhiyong Yang, Shilong Bao, Qingming Huang
• Abstract要約: One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。 既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。 本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
• 参考スコア（独自算出の注目度）: 101.44676036551537
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Partial Area Under the ROC Curve (PAUC), typically including One-way Partial AUC (OPAUC) and Two-way Partial AUC (TPAUC), measures the average performance of a binary classifier within a specific false positive rate and/or true positive rate interval, which is a widely adopted measure when decision constraints must be considered. Consequently, PAUC optimization has naturally attracted increasing attention in the machine learning community within the last few years. Nonetheless, most of the existing methods could only optimize PAUC approximately, leading to inevitable biases that are not controllable. Fortunately, a recent work presents an unbiased formulation of the PAUC optimization problem via distributional robust optimization. However, it is based on the pair-wise formulation of AUC, which suffers from the limited scalability w.r.t. sample size and a slow convergence rate, especially for TPAUC. To address this issue, we present a simpler reformulation of the problem in an asymptotically unbiased and instance-wise manner. For both OPAUC and TPAUC, we come to a nonconvex strongly concave minimax regularized problem of instance-wise functions. On top of this, we employ an efficient solver enjoys a linear per-iteration computational complexity w.r.t. the sample size and a time-complexity of $O(\epsilon^{-1/3})$ to reach a $\epsilon$ stationary point. Furthermore, we find that the minimax reformulation also facilitates the theoretical analysis of generalization error as a byproduct. Compared with the existing results, we present new error bounds that are much easier to prove and could deal with hypotheses with real-valued outputs. Finally, extensive experiments on several benchmark datasets demonstrate the effectiveness of our method.
• Abstract（参考訳）: ROC曲線下の部分領域(PAUC)は、一方向部分AUC(OPAUC)と二方向部分AUC(TPAUC)を含み、決定制約を考慮しなければならない場合に広く採用されている、特定の偽正のレートおよび/または真正のレート間隔内のバイナリ分類器の平均性能を測定する。 その結果,ここ数年でPAUC最適化が機械学習コミュニティの注目を集めている。 それでも、既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。 幸いなことに、最近の研究は分布的ロバスト最適化によるpauc最適化問題の偏りのない定式化を示している。 しかしながら、これは、特にtpaucのスケーラビリティの制限されたw.r.t.サンプルサイズと収束速度の遅いaucのペアワイズな定式化に基づいている。 この問題に対処するため, 漸近的に偏りのない事例的手法で, 問題を単純化する手法を提案する。 OPAUC と TPAUC の双方に対して、インスタンスワイズ関数の極小正規化問題を非凸的に包含する。 これに加えて、効率的な解法は、サンプルサイズと時間複雑度$O(\epsilon^{-1/3})$の線形パーイテレーション計算複雑性を楽しみ、$\epsilon$定常点に達する。 さらに,ミニマックスの修正は,一般化誤差を副生成物として理論的解析を促進することも見出した。 既存の結果と比較すると、より容易に証明でき、実数値出力の仮説に対処できる新しい誤差境界が提示される。 最後に,いくつかのベンチマークデータセットにおける広範囲な実験を行い,本手法の有効性を実証した。

関連論文リスト

• Versatile Single-Loop Method for Gradient Estimator: First and Second Order Optimality, and its Application to Federated Learning [45.78238792836363]
  本稿では,SLEDGE (Single-Loop-E Gradient Estimator) という単一ループアルゴリズムを提案する。 既存の手法とは異なり、SLEDGEは、(ii)2階最適、(ii)PL領域における、(iii)少ないデータ以下の複雑さの利点を持つ。
  論文  参考訳（メタデータ） (2022-09-01T11:05:26Z)
• Balanced Self-Paced Learning for AUC Maximization [88.53174245457268]
  既存のセルフパッチ方式は、ポイントワイズAUCに限られている。 我々のアルゴリズムは閉形式解に基づいて定常点に収束する。
  論文  参考訳（メタデータ） (2022-07-08T02:09:32Z)
• Large-scale Optimization of Partial AUC in a Range of False Positive Rates [51.12047280149546]
  ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。 近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。 提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
  論文  参考訳（メタデータ） (2022-03-03T03:46:18Z)
• Accelerated and instance-optimal policy evaluation with linear function approximation [17.995515643150657]
  既存のアルゴリズムはこれらの下界の少なくとも1つと一致しない。 我々は,両下界を同時に一致させる高速時間差分アルゴリズムを開発し,インスタンス最適性という強い概念を実現する。
  論文  参考訳（メタデータ） (2021-12-24T17:21:04Z)
• Learning with Multiclass AUC: Theory and Algorithms [141.63211412386283]
  ROC曲線 (AUC) の下の領域は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。 本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。
  論文  参考訳（メタデータ） (2021-07-28T05:18:10Z)
• Distributionally Robust Federated Averaging [19.875176871167966]
  適応サンプリングを用いた堅牢な学習周期平均化のためのコミュニケーション効率の高い分散アルゴリズムを提案する。 我々は、フェデレーション学習環境における理論的結果に関する実験的証拠を裏付ける。
  論文  参考訳（メタデータ） (2021-02-25T03:32:09Z)
• Doubly Robust Off-Policy Actor-Critic: Convergence and Optimality [131.45028999325797]
  ディスカウント型MDPのための2倍堅牢なオフポリチックAC(DR-Off-PAC)を開発した。 DR-Off-PACは、俳優と批評家の両方が一定のステップで同時に更新される単一のタイムスケール構造を採用しています。 有限時間収束速度を研究し, dr-off-pac のサンプル複雑性を特徴とし, $epsilon$-accurate optimal policy を得る。
  論文  参考訳（メタデータ） (2021-02-23T18:56:13Z)
• Approximation Algorithms for Sparse Principal Component Analysis [57.5357874512594]
  主成分分析(PCA)は、機械学習と統計学において広く使われている次元削減手法である。 スパース主成分分析(Sparse principal Component Analysis)と呼ばれる,スパース主成分負荷を求める様々な手法が提案されている。 本研究では,SPCA問題に対するしきい値の精度,時間,近似アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-23T04:25:36Z)
• Unified Analysis of Stochastic Gradient Methods for Composite Convex and Smooth Optimization [15.82816385434718]
  本稿では、滑らかで凸な損失と凸正則化器を最小化するための勾配アルゴリズムの収束解析のための統一定理を提案する。 我々は、Gorbunov, Hanzely & Richt'arik (2020) の統一解析を拡張し、損失関数が強く凸であるという要求を下げる。 我々の統一解析は、近位SGD、分散還元法、量子化、およびいくつかの座標降下型法などの既存のアルゴリズムのホストに適用できる。
  論文  参考訳（メタデータ） (2020-06-20T13:40:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。