論文の概要: Optimizing Two-way Partial AUC with an End-to-end Framework

• arxiv url: http://arxiv.org/abs/2206.11655v1
• Date: Thu, 23 Jun 2022 12:21:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-24 19:01:27.444031
• Title: Optimizing Two-way Partial AUC with an End-to-end Framework
• Title（参考訳）: エンドツーエンドフレームワークによる双方向部分AUCの最適化
• Authors: Zhiyong Yang, Qianqian Xu, Shilong Bao, Yuan He, Xiaochun Cao, Qingming Huang
• Abstract要約: ROC曲線のエリア(AUC)は、機械学習にとって重要な指標である。 最近の研究は、TPAUCが既存のPartial AUCメトリクスと本質的に矛盾していることを示している。 本論文では,この新指標を最適化するための最初の試行について述べる。
• 参考スコア（独自算出の注目度）: 154.47590401735323
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Area Under the ROC Curve (AUC) is a crucial metric for machine learning, which evaluates the average performance over all possible True Positive Rates (TPRs) and False Positive Rates (FPRs). Based on the knowledge that a skillful classifier should simultaneously embrace a high TPR and a low FPR, we turn to study a more general variant called Two-way Partial AUC (TPAUC), where only the region with $\mathsf{TPR} \ge \alpha, \mathsf{FPR} \le \beta$ is included in the area. Moreover, recent work shows that the TPAUC is essentially inconsistent with the existing Partial AUC metrics where only the FPR range is restricted, opening a new problem to seek solutions to leverage high TPAUC. Motivated by this, we present the first trial in this paper to optimize this new metric. The critical challenge along this course lies in the difficulty of performing gradient-based optimization with end-to-end stochastic training, even with a proper choice of surrogate loss. To address this issue, we propose a generic framework to construct surrogate optimization problems, which supports efficient end-to-end training with deep learning. Moreover, our theoretical analyses show that: 1) the objective function of the surrogate problems will achieve an upper bound of the original problem under mild conditions, and 2) optimizing the surrogate problems leads to good generalization performance in terms of TPAUC with a high probability. Finally, empirical studies over several benchmark datasets speak to the efficacy of our framework.
• Abstract（参考訳）: ROC曲線下の領域(AUC)は機械学習にとって重要な指標であり、可能なすべての正の値(TPR)と偽の正の値(FPR)の平均性能を評価する。 熟練な分類器は高いTPRと低いFPRを同時に受け入れるべきであるという知識に基づいて、より一般的なTPAUC (Two-way partial AUC) の研究をし、この領域には$\mathsf{TPR} \ge \alpha, \mathsf{FPR} \le \beta$ がある。 さらに、最近の研究では、TPAUCはFPR範囲のみを制限している既存の部分AUCメトリクスと本質的に矛盾していることが示されており、高いTPAUCを活用するための解決策を求める新たな課題が開けている。 そこで本論文では,この新しい計量を最適化する最初の試みを提案する。 このコースにおける重要な課題は、エンドツーエンドの確率的トレーニングで勾配ベースの最適化を行うことが困難であり、代理損失を適切に選択することさえ困難である。 この問題に対処するために,ディープラーニングを用いた効率的なエンドツーエンドトレーニングを支援するサロゲート最適化問題を構築するための汎用フレームワークを提案する。 さらに、我々の理論分析は次のように示している。 1) サーロゲート問題の目的関数は, 軽度条件下で元の問題の上界に達する。 2)サロゲート問題を最適化すると,高い確率でTPAUCの一般化性能が向上する。 最後に、いくつかのベンチマークデータセットに関する実証研究は、我々のフレームワークの有効性について述べる。

関連論文リスト

• On The Global Convergence Of Online RLHF With Neural Parametrization [36.239015146313136]
  Reinforcement Learning from Human Feedback (RLHF)は、大きな言語モデルと人間の価値を結びつけることを目的としている。 RLHFは、教師付き微調整、報酬学習、政策学習を含む3段階のプロセスである。 本稿では、パラメータ化設定におけるAIアライメントのための2段階の定式化を提案し、この問題を解決するための一階法を提案する。
  論文  参考訳（メタデータ） (2024-10-21T03:13:35Z)
• Lower-Left Partial AUC: An Effective and Efficient Optimization Metric for Recommendation [52.45394284415614]
  我々は,AUCのように計算効率が良く,Top-Kランキングの指標と強く相関する新しい最適化指標であるLLPAUCを提案する。 LLPAUCはローワーレフト角のROC曲線の下の部分領域のみを考慮し、最適化はトップKに焦点をあてる。
  論文  参考訳（メタデータ） (2024-02-29T13:58:33Z)
• PARL: A Unified Framework for Policy Alignment in Reinforcement Learning from Human Feedback [106.63518036538163]
  我々は、強化学習におけるポリシーアライメントの最近強調された重要な問題に対処するために、新しい統合された二段階最適化ベースのフレームワーク、textsfPARLを提案する。 本フレームワークは, 上向きの目標(逆設計)の分布を, 下向きの最適変数で明示的にパラメータ化することにより, これらの問題に対処する。 その結果,提案したtextsfPARL が RL のアライメントの懸念に対処できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-08-03T18:03:44Z)
• Asymptotically Unbiased Instance-wise Regularized Partial AUC Optimization: Theory and Algorithm [101.44676036551537]
  One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。 既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。 本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
  論文  参考訳（メタデータ） (2022-10-08T08:26:22Z)
• Large-scale Optimization of Partial AUC in a Range of False Positive Rates [51.12047280149546]
  ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。 近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。 提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
  論文  参考訳（メタデータ） (2022-03-03T03:46:18Z)
• Learning with Multiclass AUC: Theory and Algorithms [141.63211412386283]
  ROC曲線 (AUC) の下の領域は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。 本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。
  論文  参考訳（メタデータ） (2021-07-28T05:18:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。