論文の概要: Procrustean Training for Imbalanced Deep Learning

• arxiv url: http://arxiv.org/abs/2104.01769v1
• Date: Mon, 5 Apr 2021 04:44:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-06 23:21:49.704608
• Title: Procrustean Training for Imbalanced Deep Learning
• Title（参考訳）: 不均衡深層学習のためのプロクラステアントレーニング
• Authors: Han-Jia Ye, De-Chuan Zhan, Wei-Lun Chao
• Abstract要約: ニューラルネットワークは,そのデータの大部分を主要なクラスに分類することで,まずはマイナークラスに不適合になりがちであることを示す。 授業間の学習の進捗を均等化する新しい学習戦略を提案する。
• 参考スコア（独自算出の注目度）: 40.85940706868622
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks trained with class-imbalanced data are known to perform poorly on minor classes of scarce training data. Several recent works attribute this to over-fitting to minor classes. In this paper, we provide a novel explanation of this issue. We found that a neural network tends to first under-fit the minor classes by classifying most of their data into the major classes in early training epochs. To correct these wrong predictions, the neural network then must focus on pushing features of minor class data across the decision boundaries between major and minor classes, leading to much larger gradients for features of minor classes. We argue that such an under-fitting phase over-emphasizes the competition between major and minor classes, hinders the neural network from learning the discriminative knowledge that can be generalized to test data, and eventually results in over-fitting. To address this issue, we propose a novel learning strategy to equalize the training progress across classes. We mix features of the major class data with those of other data in a mini-batch, intentionally weakening their features to prevent a neural network from fitting them first. We show that this strategy can largely balance the training accuracy and feature gradients across classes, effectively mitigating the under-fitting then over-fitting problem for minor class data. On several benchmark datasets, our approach achieves the state-of-the-art accuracy, especially for the challenging step-imbalanced cases.
• Abstract（参考訳）: クラス不均衡なデータでトレーニングされたニューラルネットワークは、少数クラスのトレーニングデータではパフォーマンスが低くなることが知られている。 最近のいくつかの作品は、これを小クラスへの過剰適合に帰している。 本稿では,この問題の新たな説明を行う。 ニューラルネットワークは、初期のトレーニングエポックにおいて、ほとんどのデータを主要なクラスに分類することで、最初はマイナーなクラスに適さない傾向にあることがわかった。 これらの誤った予測を修正するために、ニューラルネットワークは、メジャークラスとマイナークラスの決定境界を越えてマイナークラスのデータの特徴をプッシュすることに集中する必要がある。 このような不適合なフェーズは、メジャークラスとマイナークラスの競争を過度に強調し、データをテストするために一般化される差別的な知識をニューラルネットワークが学習することを妨げる。 この問題に対処するために,クラス間のトレーニングの進捗を等化するための新しい学習戦略を提案する。 私たちは、主要なクラスデータと他のデータとをミニバッチで混ぜて、ニューラルネットワークが最初に適合しないように意図的に機能を弱めます。 この戦略は,クラス間でのトレーニング精度と機能勾配のバランスを保ち,下位フィッティングと過剰フィッティングの問題を効果的に軽減できることを示す。 いくつかのベンチマークデータセットにおいて,本手法は最先端の精度,特に難解なステップ不均衡ケースに対して達成する。

関連論文リスト

• Simplifying Neural Network Training Under Class Imbalance [77.39968702907817]
  実世界のデータセットは、しばしば高いクラス不均衡であり、ディープラーニングモデルのパフォーマンスに悪影響を及ぼす可能性がある。 クラス不均衡下でのニューラルネットワークのトレーニングに関する研究の大部分は、特殊な損失関数、サンプリング技術、または2段階のトレーニング手順に焦点を当てている。 バッチサイズやデータ拡張,ラベルの平滑化といった,標準的なディープラーニングパイプラインの既存のコンポーネントを単にチューニングするだけで,そのような特殊なクラス不均衡な手法を使わずに,最先端のパフォーマンスを達成できることを実証する。
  論文  参考訳（メタデータ） (2023-12-05T05:52:44Z)
• DCLP: Neural Architecture Predictor with Curriculum Contrastive Learning [5.2319020651074215]
  ニューラル予測器(DCLP)のためのカリキュラム誘導型コントラスト学習フレームワークを提案する。 本手法は,新たなカリキュラムを設計し,ラベルのないトレーニングデータ分布の安定性を高めることで,対照的なタスクを単純化する。 我々は既存の予測器と比較してDCLPの精度と効率が優れていることを実験的に実証した。
  論文  参考訳（メタデータ） (2023-02-25T08:16:21Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• Class Impression for Data-free Incremental Learning [20.23329169244367]
  ディープラーニングベースの分類アプローチでは、事前にすべてのクラスからすべてのサンプルを収集し、オフラインでトレーニングする必要がある。 このパラダイムは、新しいデータの追加によって新しいクラスが徐々に導入される現実世界の臨床応用では実用的ではないかもしれない。 本稿では,従来のクラスでトレーニングされたモデルからデータを初めて合成し,本クラスを生成する,新しいデータ自由クラスインクリメンタルラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-26T06:20:17Z)
• Imbalanced Classification via Explicit Gradient Learning From Augmented Data [0.0]
  本稿では、与えられた不均衡なデータセットを新しいマイノリティインスタンスに拡張する、新しい深層メタラーニング手法を提案する。 提案手法の利点は, 種々の不均衡比を持つ合成および実世界のデータセット上で実証される。
  論文  参考訳（メタデータ） (2022-02-21T22:16:50Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• CvS: Classification via Segmentation For Small Datasets [52.821178654631254]
  本稿では,分類ラベルをセグメントマップの予測から導出する小型データセットのコスト効率の高い分類器であるCvSを提案する。 我々は,CvSが従来の手法よりもはるかに高い分類結果が得られることを示す多種多様な問題に対して,本フレームワークの有効性を評価する。
  論文  参考訳（メタデータ） (2021-10-29T18:41:15Z)
• Analyzing Overfitting under Class Imbalance in Neural Networks for Image Segmentation [19.259574003403998]
  画像分割では、ニューラルネットワークは小さな構造物の前景サンプルに過剰に適合する可能性がある。 本研究では,ネットワークの動作を検査することにより,クラス不均衡下でのオーバーフィッティング問題に対する新たな知見を提供する。
  論文  参考訳（メタデータ） (2021-02-20T14:57:58Z)
• Identifying and Compensating for Feature Deviation in Imbalanced Deep Learning [59.65752299209042]
  このようなシナリオ下でのConvNetの学習について検討する。 私たちは、ConvNetがマイナーなクラスにかなり適合していることに気づきました。 クラス依存型温度トレーニング(CDT)のConvNetの導入を提案する。
  論文  参考訳（メタデータ） (2020-01-06T03:52:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。