論文の概要: When AUC meets DRO: Optimizing Partial AUC for Deep Learning with
Non-Convex Convergence Guarantee
- arxiv url: http://arxiv.org/abs/2203.00176v5
- Date: Mon, 18 Sep 2023 01:57:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2023-09-20 02:00:59.726476
- Title: When AUC meets DRO: Optimizing Partial AUC for Deep Learning with
Non-Convex Convergence Guarantee
- Title（参考訳）: 非凸収束保証を用いた深層学習のための部分的AUCの最適化
- Authors: Dixian Zhu, Gang Li, Bokun Wang, Xiaodong Wu, Tianbao Yang
- Abstract要約: 単方向および二方向部分AUC(pAUC)の系統的および効率的な勾配法を提案する。
一方通行と一方通行の pAUC に対して,2つのアルゴリズムを提案し,それぞれ2つの定式化を最適化するための収束性を証明した。
- 参考スコア（独自算出の注目度）: 51.527543027813344
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we propose systematic and efficient gradient-based methods for
both one-way and two-way partial AUC (pAUC) maximization that are applicable to
deep learning. We propose new formulations of pAUC surrogate objectives by
using the distributionally robust optimization (DRO) to define the loss for
each individual positive data. We consider two formulations of DRO, one of
which is based on conditional-value-at-risk (CVaR) that yields a non-smooth but
exact estimator for pAUC, and another one is based on a KL divergence
regularized DRO that yields an inexact but smooth (soft) estimator for pAUC.
For both one-way and two-way pAUC maximization, we propose two algorithms and
prove their convergence for optimizing their two formulations, respectively.
Experiments demonstrate the effectiveness of the proposed algorithms for pAUC
maximization for deep learning on various datasets.
- Abstract（参考訳）: 本稿では,深層学習に適用可能な一方向および二方向部分AUC(pAUC)の最適化のための,系統的かつ効率的な勾配法を提案する。
本稿では,各正値データの損失を定義するために分散ロバスト最適化(DRO)を用いて,pAUCサロゲート目的の新たな定式化を提案する。
我々はDROの2つの定式化について検討し、そのうちの1つは条件値-at-risk(CVaR)に基づいており、pAUCの非滑らかだが正確な推定器を出力し、もう1つは不正確なが滑らかなpAUCの推定器を生成するKL発散正規化DROに基づいている。
1方向と2方向のpauc最大化について,2つのアルゴリズムを提案し,それらの2つの定式化を最適化するための収束性を証明する。
各種データセットの深層学習におけるpAUC最大化のためのアルゴリズムの有効性を示す実験を行った。
関連論文リスト
- Distributionally Robust Reinforcement Learning with Human Feedback [13.509499718691016]
大規模言語モデルを微調整するための分散ロバストなRLHFを提案する。
我々のゴールは、プロンプトの分布が著しく異なる場合でも、微調整モデルがその性能を維持することである。
我々は,学習した報酬モデルの精度を平均で向上し,推論などのタスクにおいて顕著に向上することを示す。
論文 参考訳（メタデータ） (2025-03-01T15:43:39Z) - Distributionally and Adversarially Robust Logistic Regression via Intersecting Wasserstein Balls [8.720733751119994]
逆堅牢最適化(Adversarially robust optimization, ARO)は、テスト中に敵の攻撃に対して防御する訓練モデルのデファクトスタンダードとなっている。
その頑丈さにもかかわらず、これらのモデルはしばしば過度なオーバーフィットに悩まされる。
学習における経験的分布を, (i) あいまいさ集合内の最悪のケース分布, (ii) 補助的データセットから派生した経験的分布の混合に置き換える2つの方法を提案する。
論文 参考訳（メタデータ） (2024-07-18T15:59:37Z) - A Primal-Dual Algorithm for Faster Distributionally Robust Optimization [12.311794669976047]
本稿では,Dragoについて述べる。Dragoは,DRO問題に対して,最先端の線形収束率を実現するアルゴリズムである。
分類と回帰の数値的なベンチマークで理論的結果を支持する。
論文 参考訳（メタデータ） (2024-03-16T02:06:14Z) - DRAUC: An Instance-wise Distributionally Robust AUC Optimization
Framework [133.26230331320963]
ROC曲線のエリア(AUC)は、長い尾の分類のシナリオにおいて広く用いられている指標である。
本研究では,分散ロバストAUC(DRAUC)のインスタンスワイドサロゲート損失を提案し,その上に最適化フレームワークを構築した。
論文 参考訳（メタデータ） (2023-11-06T12:15:57Z) - Minimax AUC Fairness: Efficient Algorithm with Provable Convergence [35.045187964671335]
実用性を維持しつつ,グループ内AUCとグループ間AUCの両方を組み込んだミニマックス学習・バイアス軽減フレームワークを提案する。
この枠組みに基づいて,効率的な最適化アルゴリズムを設計し,その最小グループレベルのAUCへの収束性を証明する。
論文 参考訳（メタデータ） (2022-08-22T17:11:45Z) - Scalable Distributional Robustness in a Class of Non Convex Optimization
with Guarantees [7.541571634887807]
分散ロバスト最適化 (DRO) は, サンプルベース問題と同様に, 学習におけるロバスト性を示す。
実世界における課題を解くのに十分ではない混合整数クラスタリングプログラム (MISOCP) を提案する。
論文 参考訳（メタデータ） (2022-05-31T09:07:01Z) - Large-scale Optimization of Partial AUC in a Range of False Positive
Rates [51.12047280149546]
ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。
近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。
提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
論文 参考訳（メタデータ） (2022-03-03T03:46:18Z) - Boosting RANSAC via Dual Principal Component Pursuit [24.942079487458624]
本稿では,強力な理論的支援と効率的なアルゴリズムを備えた頑健な部分空間学習手法としてDual principal Component Pursuit (DPCP)を紹介した。
2次元ホモグラフ、基本行列、基本行列、および3次元ホモグラフテンソルの推定実験は、我々のアプローチが最先端の代替よりも一貫して精度が高いことを示している。
論文 参考訳（メタデータ） (2021-10-06T17:04:45Z) - Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。
我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。
また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文 参考訳（メタデータ） (2021-07-02T16:21:52Z) - Doubly Robust Off-Policy Actor-Critic: Convergence and Optimality [131.45028999325797]
ディスカウント型MDPのための2倍堅牢なオフポリチックAC(DR-Off-PAC)を開発した。
DR-Off-PACは、俳優と批評家の両方が一定のステップで同時に更新される単一のタイムスケール構造を採用しています。
有限時間収束速度を研究し, dr-off-pac のサンプル複雑性を特徴とし, $epsilon$-accurate optimal policy を得る。
論文 参考訳（メタデータ） (2021-02-23T18:56:13Z) - An Online Method for A Class of Distributionally Robust Optimization
with Non-Convex Objectives [54.29001037565384]
本稿では,オンライン分散ロバスト最適化(DRO)のクラスを解決するための実用的なオンライン手法を提案する。
本研究は,ネットワークの堅牢性向上のための機械学習における重要な応用を実証する。
論文 参考訳（メタデータ） (2020-06-17T20:19:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。