論文の概要: Optimizing ROC Curves with a Sort-Based Surrogate Loss Function for Binary Classification and Changepoint Detection

• arxiv url: http://arxiv.org/abs/2107.01285v1
• Date: Fri, 2 Jul 2021 21:21:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-07 12:46:27.090083
• Title: Optimizing ROC Curves with a Sort-Based Surrogate Loss Function for Binary Classification and Changepoint Detection
• Title（参考訳）: 2値分類と変更点検出のためのソルトベースサロゲート損失関数を用いたROC曲線の最適化
• Authors: Jonathan Hillman and Toby Dylan Hocking
• Abstract要約: 我々は、Under Min(FP, FN) の略である AUM と呼ばれる新しい凸損失関数を提案する。 新たなAUM学習により,AUCが向上し,従来のベースラインに匹敵する結果が得られた。
• 参考スコア（独自算出の注目度）: 1.332560004325655
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Receiver Operating Characteristic (ROC) curves are plots of true positive rate versus false positive rate which are useful for evaluating binary classification models, but difficult to use for learning since the Area Under the Curve (AUC) is non-convex. ROC curves can also be used in other problems that have false positive and true positive rates such as changepoint detection. We show that in this more general context, the ROC curve can have loops, points with highly sub-optimal error rates, and AUC greater than one. This observation motivates a new optimization objective: rather than maximizing the AUC, we would like a monotonic ROC curve with AUC=1 that avoids points with large values for Min(FP,FN). We propose a convex relaxation of this objective that results in a new surrogate loss function called the AUM, short for Area Under Min(FP, FN). Whereas previous loss functions are based on summing over all labeled examples or pairs, the AUM requires a sort and a sum over the sequence of points on the ROC curve. We show that AUM directional derivatives can be efficiently computed and used in a gradient descent learning algorithm. In our empirical study of supervised binary classification and changepoint detection problems, we show that our new AUM minimization learning algorithm results in improved AUC and comparable speed relative to previous baselines.
• Abstract（参考訳）: 受信者動作特性(roc)曲線は、バイナリ分類モデルの評価に有用な真正率と偽正率のプロットであるが、曲線(auc)下の領域が凸でないため、学習に使用するのが困難である。 ROC曲線は、変化点検出のような偽陽性と真正の確率を持つ他の問題にも用いられる。 このより一般的な文脈では、ROC曲線はループ、高い準最適誤差率を持つ点、AUCが1より大きい点を持つことが示される。 この観測は、AUCを最大化する代わりに、Min(FP,FN) に対して大きな値を持つ点を避ける AUC=1 の単調ROC曲線を求める。 本研究では,AUMと呼ばれる新しいサロゲート損失関数(AUM, Area Under Min(FP, FN))を導出する凸緩和法を提案する。 以前の損失関数はすべてのラベル付き例やペアの和に基づいているが、AUMはROC曲線上の点列上のソートと和を必要とする。 勾配降下学習アルゴリズムでは,AUM方向微分を効率的に計算し,利用できることを示す。 教師付きバイナリ分類と変更点検出問題に関する実証的研究では、新しいAUM最小化学習アルゴリズムがAUCを改良し、以前のベースラインと同等の速度をもたらすことを示した。

関連論文リスト

• Convex Relaxations of ReLU Neural Networks Approximate Global Optima in Polynomial Time [45.72323731094864]
  本稿では,2層ReLULUネットワーク間における重み減衰と凸緩和の最適性ギャップについて検討する。 私たちの研究は、なぜローカルメソッドがうまく機能するのかを理解することに新たな光を当てています。
  論文  参考訳（メタデータ） (2024-02-06T01:29:35Z)
• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• A Log-linear Gradient Descent Algorithm for Unbalanced Binary Classification using the All Pairs Squared Hinge Loss [0.0]
  本稿では,2乗損失と2乗損失の関数表現を新たに提案し,線形時間あるいは対数線形時間で勾配を計算するアルゴリズムを提案する。 我々の新しいアルゴリズムは、以前のアルゴリズムよりも不均衡なデータセットのAUC値が高く、以前よりも大きなバッチサイズを利用できる。
  論文  参考訳（メタデータ） (2023-02-21T23:35:00Z)
• Asymptotically Unbiased Instance-wise Regularized Partial AUC Optimization: Theory and Algorithm [101.44676036551537]
  One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。 既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。 本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
  論文  参考訳（メタデータ） (2022-10-08T08:26:22Z)
• Large-scale Optimization of Partial AUC in a Range of False Positive Rates [51.12047280149546]
  ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。 近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。 提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
  論文  参考訳（メタデータ） (2022-03-03T03:46:18Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Learning to Optimize Non-Rigid Tracking [54.94145312763044]
  我々は、堅牢性を改善し、解法収束を高速化するために学習可能な最適化を採用する。 まず、CNNを通じてエンドツーエンドに学習された深い特徴にアライメントデータ項を統合することにより、追跡対象をアップグレードする。 次に,プレコンディショニング手法と学習手法のギャップを,プレコンディショナを生成するためにトレーニングされたConditionNetを導入することで埋める。
  論文  参考訳（メタデータ） (2020-03-27T04:40:57Z)
• Resolving learning rates adaptively by locating Stochastic Non-Negative Associated Gradient Projection Points using line searches [0.0]
  ニューラルネットワークトレーニングにおける学習率は現在、高価なマニュアルや自動チューニングを使用したトレーニングの優先事項として決定されている。 本研究では,ニューラルネットワーク学習アルゴリズムの学習率を解くために,勾配のみの線探索を提案する。
  論文  参考訳（メタデータ） (2020-01-15T03:08:07Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。