論文の概要: When AUC meets DRO: Optimizing Partial AUC for Deep Learning with
Non-Convex Convergence Guarantee
- arxiv url: http://arxiv.org/abs/2203.00176v5
- Date: Mon, 18 Sep 2023 01:57:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-20 02:00:59.726476
- Title: When AUC meets DRO: Optimizing Partial AUC for Deep Learning with
Non-Convex Convergence Guarantee
- Title（参考訳）: 非凸収束保証を用いた深層学習のための部分的AUCの最適化
- Authors: Dixian Zhu, Gang Li, Bokun Wang, Xiaodong Wu, Tianbao Yang
- Abstract要約: 単方向および二方向部分AUC(pAUC)の系統的および効率的な勾配法を提案する。
一方通行と一方通行の pAUC に対して,2つのアルゴリズムを提案し,それぞれ2つの定式化を最適化するための収束性を証明した。
- 参考スコア（独自算出の注目度）: 51.527543027813344
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we propose systematic and efficient gradient-based methods for
both one-way and two-way partial AUC (pAUC) maximization that are applicable to
deep learning. We propose new formulations of pAUC surrogate objectives by
using the distributionally robust optimization (DRO) to define the loss for
each individual positive data. We consider two formulations of DRO, one of
which is based on conditional-value-at-risk (CVaR) that yields a non-smooth but
exact estimator for pAUC, and another one is based on a KL divergence
regularized DRO that yields an inexact but smooth (soft) estimator for pAUC.
For both one-way and two-way pAUC maximization, we propose two algorithms and
prove their convergence for optimizing their two formulations, respectively.
Experiments demonstrate the effectiveness of the proposed algorithms for pAUC
maximization for deep learning on various datasets.
- Abstract（参考訳）: 本稿では,深層学習に適用可能な一方向および二方向部分AUC(pAUC)の最適化のための,系統的かつ効率的な勾配法を提案する。
本稿では,各正値データの損失を定義するために分散ロバスト最適化(DRO)を用いて,pAUCサロゲート目的の新たな定式化を提案する。
我々はDROの2つの定式化について検討し、そのうちの1つは条件値-at-risk(CVaR)に基づいており、pAUCの非滑らかだが正確な推定器を出力し、もう1つは不正確なが滑らかなpAUCの推定器を生成するKL発散正規化DROに基づいている。
1方向と2方向のpauc最大化について,2つのアルゴリズムを提案し,それらの2つの定式化を最適化するための収束性を証明する。
各種データセットの深層学習におけるpAUC最大化のためのアルゴリズムの有効性を示す実験を行った。
関連論文リスト
- Federated Distributionally Robust Optimization with Non-Convex
Objectives: Algorithm and Analysis [24.64654924173679]
Asynchronous Single-looP alternatIve gRadient projEction という非同期分散アルゴリズムを提案する。
新しい不確実性集合、すなわち制約付きD-ノルムの不確実性集合は、以前の分布を利用し、強靭性の度合いを柔軟に制御するために開発される。
実世界のデータセットに関する実証研究は、提案手法が高速収束を達成できるだけでなく、悪意のある攻撃だけでなく、データに対する堅牢性も維持できることを示した。
論文 参考訳（メタデータ） (2023-07-25T01:56:57Z) - Asymptotically Unbiased Instance-wise Regularized Partial AUC
Optimization: Theory and Algorithm [101.44676036551537]
One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。
既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。
本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
論文 参考訳（メタデータ） (2022-10-08T08:26:22Z) - Minimax AUC Fairness: Efficient Algorithm with Provable Convergence [35.045187964671335]
実用性を維持しつつ,グループ内AUCとグループ間AUCの両方を組み込んだミニマックス学習・バイアス軽減フレームワークを提案する。
この枠組みに基づいて,効率的な最適化アルゴリズムを設計し,その最小グループレベルのAUCへの収束性を証明する。
論文 参考訳（メタデータ） (2022-08-22T17:11:45Z) - Scalable Distributional Robustness in a Class of Non Convex Optimization
with Guarantees [7.541571634887807]
分散ロバスト最適化 (DRO) は, サンプルベース問題と同様に, 学習におけるロバスト性を示す。
実世界における課題を解くのに十分ではない混合整数クラスタリングプログラム (MISOCP) を提案する。
論文 参考訳（メタデータ） (2022-05-31T09:07:01Z) - Large-scale Optimization of Partial AUC in a Range of False Positive
Rates [51.12047280149546]
ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。
近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。
提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
論文 参考訳（メタデータ） (2022-03-03T03:46:18Z) - Boosting RANSAC via Dual Principal Component Pursuit [24.942079487458624]
本稿では,強力な理論的支援と効率的なアルゴリズムを備えた頑健な部分空間学習手法としてDual principal Component Pursuit (DPCP)を紹介した。
2次元ホモグラフ、基本行列、基本行列、および3次元ホモグラフテンソルの推定実験は、我々のアプローチが最先端の代替よりも一貫して精度が高いことを示している。
論文 参考訳（メタデータ） (2021-10-06T17:04:45Z) - Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。
我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。
また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文 参考訳（メタデータ） (2021-07-02T16:21:52Z) - Stochastic Optimization of Areas Under Precision-Recall Curves with
Provable Convergence [66.83161885378192]
ROC(AUROC)と精度リコール曲線(AUPRC)の下の領域は、不均衡問題に対する分類性能を評価するための一般的な指標である。
本稿では,深層学習のためのAUPRCの最適化手法を提案する。
論文 参考訳（メタデータ） (2021-04-18T06:22:21Z) - Doubly Robust Off-Policy Actor-Critic: Convergence and Optimality [131.45028999325797]
ディスカウント型MDPのための2倍堅牢なオフポリチックAC(DR-Off-PAC)を開発した。
DR-Off-PACは、俳優と批評家の両方が一定のステップで同時に更新される単一のタイムスケール構造を採用しています。
有限時間収束速度を研究し, dr-off-pac のサンプル複雑性を特徴とし, $epsilon$-accurate optimal policy を得る。
論文 参考訳（メタデータ） (2021-02-23T18:56:13Z) - An Online Method for A Class of Distributionally Robust Optimization
with Non-Convex Objectives [54.29001037565384]
本稿では,オンライン分散ロバスト最適化(DRO)のクラスを解決するための実用的なオンライン手法を提案する。
本研究は,ネットワークの堅牢性向上のための機械学習における重要な応用を実証する。
論文 参考訳（メタデータ） (2020-06-17T20:19:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。