論文の概要: Benchmarking Deep AUROC Optimization: Loss Functions and Algorithmic Choices

• arxiv url: http://arxiv.org/abs/2203.14177v2
• Date: Tue, 29 Mar 2022 03:39:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-02 23:27:58.908809
• Title: Benchmarking Deep AUROC Optimization: Loss Functions and Algorithmic Choices
• Title（参考訳）: 深いAUROC最適化のベンチマーク: 損失関数とアルゴリズムの選択
• Authors: Dixian Zhu, Xiaodong Wu, Tianbao Yang
• Abstract要約: 我々は、深いAUROC最適化問題に対するアルゴリズム選択の異なる様々な損失関数をベンチマークする。 正のサンプリング率、正規化、正規化/アクティベーション、重みなどの重要な選択を強調した。 以上の結果から,Adam-type法はトレーニングの面では競争力が高いが,テストの面では他よりも優れていないことが示唆された。
• 参考スコア（独自算出の注目度）: 37.559461866831754
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The area under the ROC curve (AUROC) has been vigorously applied for imbalanced classification and moreover combined with deep learning techniques. However, there is no existing work that provides sound information for peers to choose appropriate deep AUROC maximization techniques. In this work, we fill this gap from three aspects. (i) We benchmark a variety of loss functions with different algorithmic choices for deep AUROC optimization problem. We study the loss functions in two categories: pairwise loss and composite loss, which includes a total of 10 loss functions. Interestingly, we find composite loss, as an innovative loss function class, shows more competitive performance than pairwise loss from both training convergence and testing generalization perspectives. Nevertheless, data with more corrupted labels favors a pairwise symmetric loss. (ii) Moreover, we benchmark and highlight the essential algorithmic choices such as positive sampling rate, regularization, normalization/activation, and optimizers. Key findings include: higher positive sampling rate is likely to be beneficial for deep AUROC maximization; different datasets favors different weights of regularizations; appropriate normalization techniques, such as sigmoid and $\ell_2$ score normalization, could improve model performance. (iii) For optimization aspect, we benchmark SGD-type, Momentum-type, and Adam-type optimizers for both pairwise and composite loss. Our findings show that although Adam-type method is more competitive from training perspective, but it does not outperform others from testing perspective.
• Abstract（参考訳）: ROC曲線(AUROC)の下の領域は、不均衡な分類に積極的に適用され、さらに深層学習技術と組み合わせられている。 しかし、ピアが適切な深度AUROCの最大化テクニックを選択するための音情報を提供する作業は存在しない。 この作業では、このギャップを3つの側面から埋めます。 (i)深いAUROC最適化問題に対するアルゴリズム選択の異なる様々な損失関数をベンチマークする。 本研究は, 対損失と複合損失の2つのカテゴリにおいて, 合計10個の損失関数を含む損失関数について検討する。 興味深いことに、複合損失は、革新的損失関数クラスとして、トレーニング収束とテスト一般化の両方の観点から、ペアによる損失よりも高い競争力を示す。 それにもかかわらず、より腐敗したラベルを持つデータは対対称的損失を好む。 さらに,正のサンプリング率,正規化,正規化/アクティベーション,オプティマイザなどのアルゴリズム選択をベンチマークし,強調する。 主な発見は次のとおりである: 高い正のサンプリングレートはAUROCの最大化に有用であり、異なるデータセットは正規化の重みを好み、シグモイドや$\ell_2$スコア正規化のような適切な正規化技術はモデル性能を向上させる。 3)最適化面では,SGD型,Momentum型およびAdam型オプティマイザをペアワイズと複合損失の両面でベンチマークする。 以上の結果から,adam型手法はトレーニングの観点からは競争力が高いが,テストの観点からは他の手法よりも優れていないことが示された。

関連論文リスト

• Stochastic Optimal Control Matching [53.156277491861985]
  最適制御のための新しい反復拡散最適化(IDO)技術である最適制御マッチング(SOCM)を導入する。 この制御は、一致するベクトル場に適合しようとすることで、最小二乗問題を通じて学習される。 実験により,本アルゴリズムは最適制御のための既存のすべての IDO 手法よりも低い誤差を実現する。
  論文  参考訳（メタデータ） (2023-12-04T16:49:43Z)
• Class Anchor Margin Loss for Content-Based Image Retrieval [97.81742911657497]
  距離学習パラダイムに該当する新しいレペラ・トラクタ損失を提案するが、ペアを生成する必要がなく、直接L2メトリックに最適化する。 CBIRタスクにおいて,畳み込みアーキテクチャと変圧器アーキテクチャの両方を用いて,少数ショットおよびフルセットトレーニングの文脈で提案した目的を評価する。
  論文  参考訳（メタデータ） (2023-06-01T12:53:10Z)
• Support Vector Machines with the Hard-Margin Loss: Optimal Training via Combinatorial Benders' Cuts [8.281391209717105]
  我々は、グローバルな最適性のために、ハードマージンのSVMモデルをトレーニングする方法を示す。 本稿では,この問題を解くための反復サンプリングと部分分解アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-15T18:21:51Z)
• Label Distributionally Robust Losses for Multi-class Classification: Consistency, Robustness and Adaptivity [55.29408396918968]
  多クラス分類のためのラベル分布ロバスト(LDR)損失という損失関数群について検討した。 我々の貢献は、多クラス分類のためのLDR損失のトップ$kの一貫性を確立することによって、一貫性と堅牢性の両方を含んでいる。 本稿では,各インスタンスのクラスラベルの雑音度に個別化温度パラメータを自動的に適応させる適応型LDR損失を提案する。
  論文  参考訳（メタデータ） (2021-12-30T00:27:30Z)
• Ensemble of Loss Functions to Improve Generalizability of Deep Metric Learning methods [0.609170287691728]
  本稿では,共有機能抽出器上に構築された異なる損失を結合する新しい手法を提案する。 我々は,従来のゼロショットラーニング(ZSL)設定において,マシンビジョン領域から一般的なデータセットについて評価を行った。
  論文  参考訳（メタデータ） (2021-07-02T15:19:46Z)
• Rethinking and Reweighting the Univariate Losses for Multi-Label Ranking: Consistency and Generalization [44.73295800450414]
  (部分)ランキング損失は、マルチラベル分類の一般的な評価尺度です。 既存の理論と実践の間にはギャップがある -- ペアワイズな損失は有望なパフォーマンスをもたらすが一貫性を欠く可能性がある。
  論文  参考訳（メタデータ） (2021-05-10T09:23:27Z)
• Loss Function Discovery for Object Detection via Convergence-Simulation Driven Search [101.73248560009124]
  本稿では,効率的な収束シミュレーションによる進化的探索アルゴリズムCSE-Autolossを提案する。 一般的な検出器上での損失関数探索の広範囲な評価を行い、探索された損失の優れた一般化能力を検証した。 実験の結果, 2段検出器と1段検出器のmAPでは, 最適損失関数の組み合わせが1.1%と0.8%を上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-02-09T08:34:52Z)
• Adversarially Robust Learning via Entropic Regularization [31.6158163883893]
  我々は、敵対的に堅牢なディープニューラルネットワークを訓練するための新しいアルゴリズムATENTを提案する。 我々の手法は、頑健な分類精度の観点から、競争力(またはより良い)性能を達成する。
  論文  参考訳（メタデータ） (2020-08-27T18:54:43Z)
• Beyond Triplet Loss: Meta Prototypical N-tuple Loss for Person Re-identification [118.72423376789062]
  マルチクラス分類損失(N-tuple loss)を導入し、クエリごとの最適化のために複数の(N)インスタンスを共同で検討する。 マルチクラス分類を組み込んだモデルにより,ベンチマーク対象のReIDデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-06-08T23:34:08Z)
• Circle Loss: A Unified Perspective of Pair Similarity Optimization [42.33948436767691]
  3重項の損失とソフトマックスとクロスエントロピーの損失を含む、ほとんどの損失関数が見つかる。 円の損失はより明確な収束目標に対してより柔軟な最適化アプローチを提供することを示す。
  論文  参考訳（メタデータ） (2020-02-25T13:56:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。