論文の概要: Identifying and Compensating for Feature Deviation in Imbalanced Deep Learning

• arxiv url: http://arxiv.org/abs/2001.01385v4
• Date: Mon, 11 Jul 2022 01:09:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-14 01:51:30.074877
• Title: Identifying and Compensating for Feature Deviation in Imbalanced Deep Learning
• Title（参考訳）: 不均衡深層学習における特徴偏差の同定と補正
• Authors: Han-Jia Ye, Hong-You Chen, De-Chuan Zhan, Wei-Lun Chao
• Abstract要約: このようなシナリオ下でのConvNetの学習について検討する。 私たちは、ConvNetがマイナーなクラスにかなり適合していることに気づきました。 クラス依存型温度トレーニング(CDT)のConvNetの導入を提案する。
• 参考スコア（独自算出の注目度）: 59.65752299209042
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Classifiers trained with class-imbalanced data are known to perform poorly on test data of the "minor" classes, of which we have insufficient training data. In this paper, we investigate learning a ConvNet classifier under such a scenario. We found that a ConvNet significantly over-fits the minor classes, which is quite opposite to traditional machine learning algorithms that often under-fit minor classes. We conducted a series of analysis and discovered the feature deviation phenomenon -- the learned ConvNet generates deviated features between the training and test data of minor classes -- which explains how over-fitting happens. To compensate for the effect of feature deviation which pushes test data toward low decision value regions, we propose to incorporate class-dependent temperatures (CDT) in training a ConvNet. CDT simulates feature deviation in the training phase, forcing the ConvNet to enlarge the decision values for minor-class data so that it can overcome real feature deviation in the test phase. We validate our approach on benchmark datasets and achieve promising performance. We hope that our insights can inspire new ways of thinking in resolving class-imbalanced deep learning.
• Abstract（参考訳）: クラス不均衡のデータで訓練された分類器は、"マイナー"クラスのテストデータでは不十分であることが知られている。 本稿では,このようなシナリオでconvnet分類器の学習について検討する。 私たちは、ConvNetがマイナークラスにかなり適合していることを発見しました。 一連の分析を行い、学習されたconvnetが、小さなクラスのトレーニングとテストデータの間に、異なる特徴を生成するという、機能偏差現象を発見しました。 テストデータを低判定値領域にプッシュする特徴偏差の影響を補うために,ConvNetのトレーニングにクラス依存温度(CDT)を導入することを提案する。 CDTはトレーニングフェーズにおける機能偏差をシミュレートし、ConvNetはマイナークラスのデータに対する決定値を拡大し、テストフェーズにおける実際の機能偏差を克服する。 ベンチマークデータセットに対するアプローチを検証し、有望なパフォーマンスを実現する。 私たちの洞察が、クラス不均衡なディープラーニングの解決において、新たな考え方を刺激できることを願っています。

関連論文リスト

• Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization [64.36097398869774]
  半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。 既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。 本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-13T04:16:40Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Mutual Information Learned Classifiers: an Information-theoretic Viewpoint of Training Deep Learning Classification Systems [9.660129425150926]
  クロスエントロピー損失は、重度のオーバーフィッティング動作を示すモデルを見つけるのに容易である。 本稿では,既存のDNN分類器のクロスエントロピー損失最小化が,基礎となるデータ分布の条件エントロピーを本質的に学習することを証明する。 ラベルと入力の相互情報を学習することで、DNN分類器を訓練する相互情報学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-03T15:09:19Z)
• Mutual Information Learned Classifiers: an Information-theoretic Viewpoint of Training Deep Learning Classification Systems [9.660129425150926]
  既存のクロスエントロピー損失最小化問題は,基礎となるデータ分布のラベル条件エントロピーを本質的に学習することを示す。 ラベルと入力の相互情報を学習することで、ディープニューラルネットワーク分類器を訓練する相互情報学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-21T01:06:30Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Procrustean Training for Imbalanced Deep Learning [40.85940706868622]
  ニューラルネットワークは,そのデータの大部分を主要なクラスに分類することで,まずはマイナークラスに不適合になりがちであることを示す。 授業間の学習の進捗を均等化する新しい学習戦略を提案する。
  論文  参考訳（メタデータ） (2021-04-05T04:44:01Z)
• Improving Calibration for Long-Tailed Recognition [68.32848696795519]
  このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。 異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。 提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
  論文  参考訳（メタデータ） (2021-04-01T13:55:21Z)
• Fed-Focal Loss for imbalanced data classification in Federated Learning [2.2172881631608456]
  Federated Learningには、デバイスネットワーク上のモデルのトレーニングをコーディネートする中央サーバがある。 課題の1つは、データセットがクラス不均衡である場合の可変トレーニングパフォーマンスである。 焦点損失の線に沿って、適切に分類された例に割り当てられた損失を下げるように、クロスエントロピー損失を変形させることにより、クラス不均衡に対処することを提案する。
  論文  参考訳（メタデータ） (2020-11-12T09:52:14Z)
• Imbalanced Data Learning by Minority Class Augmentation using Capsule Adversarial Networks [31.073558420480964]
  本稿では,2つの同時手法を合体させて,不均衡な画像のバランスを回復する手法を提案する。 我々のモデルでは、生成的および識別的ネットワークは、新しい競争力のあるゲームをする。 カプセルGANの合体は、畳み込みGANと比較して非常に少ないパラメータで重なり合うクラスを認識するのに効果的である。
  論文  参考訳（メタデータ） (2020-04-05T12:36:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。