論文の概要: Constrained Optimization for Training Deep Neural Networks Under Class Imbalance

• arxiv url: http://arxiv.org/abs/2102.12894v1
• Date: Sun, 21 Feb 2021 09:49:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-26 14:03:25.270632
• Title: Constrained Optimization for Training Deep Neural Networks Under Class Imbalance
• Title（参考訳）: クラス不均衡下での深部ニューラルネットワーク訓練のための制約付き最適化
• Authors: Sara Sangalli, Ertunc Erdil, Andreas Hoetker, Olivio Donati, Ender Konukoglu
• Abstract要約: ROC曲線の下で最大領域を強制するために、既存の損失関数で使用できる新しい制約を紹介します。 CIFAR10と社内医療画像データセットを用いた画像分類アプリケーションの実験結果を提示する。
• 参考スコア（独自算出の注目度）: 9.557146081524008
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) are notorious for making more mistakes for the classes that have substantially fewer samples than the others during training. Such class imbalance is ubiquitous in clinical applications and very crucial to handle because the classes with fewer samples most often correspond to critical cases (e.g., cancer) where misclassifications can have severe consequences. Not to miss such cases, binary classifiers need to be operated at high True Positive Rates (TPR) by setting a higher threshold but this comes at the cost of very high False Positive Rates (FPR) for problems with class imbalance. Existing methods for learning under class imbalance most often do not take this into account. We argue that prediction accuracy should be improved by emphasizing reducing FPRs at high TPRs for problems where misclassification of the positive samples are associated with higher cost. To this end, we pose the training of a DNN for binary classification as a constrained optimization problem and introduce a novel constraint that can be used with existing loss functions to enforce maximal area under the ROC curve (AUC). We solve the resulting constrained optimization problem using an Augmented Lagrangian method (ALM), where the constraint emphasizes reduction of FPR at high TPR. We present experimental results for image-based classification applications using the CIFAR10 and an in-house medical imaging dataset. Our results demonstrate that the proposed method almost always improves the loss functions it is used with by attaining lower FPR at high TPR and higher or equal AUC.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、トレーニング中に他のものよりもサンプルが大幅に少ないクラスに対してより多くの間違いを犯すことで悪名高い。 このようなクラス不均衡は臨床応用においてユビキタスであり、最も少ないサンプルを持つクラスは、誤った分類が深刻な結果をもたらす重要なケース(例えば、がん)に対応しているため、処理が非常に重要である。 このようなケースを見逃さないように、バイナリ分類器はより高いしきい値を設定することによって高いTrue Positive Rates(TPR)で動作する必要がありますが、クラス不均衡の問題に対して非常に高いFalse Positive Rates(FPR)のコストがかかります。 授業の不均衡下での既存の学習方法は、これを考慮しないことが多い。 正のサンプルの誤分類が高コストに結びついている問題に対して,高いTPRでFPRを減らし,予測精度を向上させるべきである。 この目的のために,制約付き最適化問題として二項分類のためのDNNのトレーニングを行い,既存の損失関数と併用してROC曲線(AUC)の下で最大領域を強制できる新しい制約を導入する。 拡張ラグランジアン法(alm, augmented lagrangian method)を用いて制約付き最適化問題を解く。 CIFAR10と社内医療画像データセットを用いた画像分類アプリケーションの実験結果を提示する。 その結果,提案手法は,高TPR,高AUCで低FPRを達成することにより,使用する損失関数をほぼ常に向上させることが示された。

関連論文リスト

• Minimizing Chebyshev Prototype Risk Magically Mitigates the Perils of Overfitting [1.6574413179773757]
  クラス内特徴相関を低減し,クラス間特徴距離を最大化する多成分損失関数を開発した。 我々は,Chebyshev Prototype Risk (CPR) という用語を明示的なCPR損失関数に限定して実装する。 トレーニングアルゴリズムは、多くの設定において、以前のアプローチの過度な適合を減らし、改善する。
  論文  参考訳（メタデータ） (2024-04-10T15:16:04Z)
• Universal Consistency of Wide and Deep ReLU Neural Networks and Minimax Optimal Convergence Rates for Kolmogorov-Donoho Optimal Function Classes [7.433327915285969]
  我々は,ロジスティック損失に基づいて学習した広帯域および深部ReLUニューラルネットワーク分類器の普遍的整合性を証明する。 また、ニューラルネットワークに基づく分類器が最小収束率を達成できる確率尺度のクラスに対して十分な条件を与える。
  論文  参考訳（メタデータ） (2024-01-08T23:54:46Z)
• Is Last Layer Re-Training Truly Sufficient for Robustness to Spurious Correlations? [2.7985765111086254]
  経験的リスク最小化(ERM)で訓練されたモデルは、刺激的な特徴、すなわち彼らの予測は望ましくない補助的な特徴に基づいている。 最近提案されたDeep Feature Reweighting (DFR) 法は、これらの最悪のグループの精度を向上させる。 本研究では,DFRの医療領域における現実的データへの適用性について検討する。
  論文  参考訳（メタデータ） (2023-08-01T11:54:34Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Test-Time Amendment with a Coarse Classifier for Fine-Grained Classification [10.719054378755981]
  階層的アンサンブル(HiE)と呼ばれるポストホック補正のための新しいアプローチを提案する。 HiEはラベル階層を利用して、粗い粒度予測を用いてテスト時のきめ細かい分類の性能を向上させる。 提案手法は,細粒度クラスにおいてトレーニングデータが減少するにつれて,誤りの重大度が著しく低下する一方で,トップ1の精度において顕著な向上をもたらす。
  論文  参考訳（メタデータ） (2023-02-01T10:55:27Z)
• Optimizing Two-way Partial AUC with an End-to-end Framework [154.47590401735323]
  ROC曲線のエリア(AUC)は、機械学習にとって重要な指標である。 最近の研究は、TPAUCが既存のPartial AUCメトリクスと本質的に矛盾していることを示している。 本論文では,この新指標を最適化するための最初の試行について述べる。
  論文  参考訳（メタデータ） (2022-06-23T12:21:30Z)
• Large-scale Optimization of Partial AUC in a Range of False Positive Rates [51.12047280149546]
  ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。 近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。 提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
  論文  参考訳（メタデータ） (2022-03-03T03:46:18Z)
• Learning with Multiclass AUC: Theory and Algorithms [141.63211412386283]
  ROC曲線 (AUC) の下の領域は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。 本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。
  論文  参考訳（メタデータ） (2021-07-28T05:18:10Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)
• Adaptive Low-Rank Factorization to regularize shallow and deep neural networks [9.607123078804959]
  低ランク行列因子化(LRF)を用いて、学習過程に沿って学習モデルのパラメータをドロップアウトする。 SVHNとCIFAR-10データセットにおけるAdaptiveLRFの最良の結果は98%、94.1%、97.9%、94%の精度である。
  論文  参考訳（メタデータ） (2020-05-05T08:13:30Z)
• TRP: Trained Rank Pruning for Efficient Deep Neural Networks [69.06699632822514]
  低位近似とトレーニングを交互に行うTrated Rank Pruning (TRP)を提案する。 サブ段階降下により最適化された核正則化を利用して、TRPの低位化をさらに促進する。 TRPトレーニングネットワークは本質的に低ランク構造であり、無視可能な性能損失と近似される。
  論文  参考訳（メタデータ） (2020-04-30T03:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。