論文の概要: Understanding CNN Fragility When Learning With Imbalanced Data

• arxiv url: http://arxiv.org/abs/2210.09465v1
• Date: Mon, 17 Oct 2022 22:40:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 13:56:50.629272
• Title: Understanding CNN Fragility When Learning With Imbalanced Data
• Title（参考訳）: 不均衡データによる学習におけるCNNの脆弱性理解
• Authors: Damien Dablain, Kristen N. Jacobson, Colin Bellinger, Mark Roberts and Nitesh Chawla
• Abstract要約: 畳み込みニューラルネットワーク(CNN)は、不均衡な画像データに対して印象的な結果を得たが、それでも少数派に一般化することは困難である。 我々は、不均衡なデータに基づいてCNNの決定をデミスティフィケートする、彼らの潜在機能に焦点を当てる。 ニューラルネットワークがマイノリティクラスに一般化する能力に関する重要な情報は、クラストップKCEとFEに存在することを示す。
• 参考スコア（独自算出の注目度）: 1.1444576186559485
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Convolutional neural networks (CNNs) have achieved impressive results on imbalanced image data, but they still have difficulty generalizing to minority classes and their decisions are difficult to interpret. These problems are related because the method by which CNNs generalize to minority classes, which requires improvement, is wrapped in a blackbox. To demystify CNN decisions on imbalanced data, we focus on their latent features. Although CNNs embed the pattern knowledge learned from a training set in model parameters, the effect of this knowledge is contained in feature and classification embeddings (FE and CE). These embeddings can be extracted from a trained model and their global, class properties (e.g., frequency, magnitude and identity) can be analyzed. We find that important information regarding the ability of a neural network to generalize to minority classes resides in the class top-K CE and FE. We show that a CNN learns a limited number of class top-K CE per category, and that their number and magnitudes vary based on whether the same class is balanced or imbalanced. This calls into question whether a CNN has learned intrinsic class features, or merely frequently occurring ones that happen to exist in the sampled class distribution. We also hypothesize that latent class diversity is as important as the number of class examples, which has important implications for re-sampling and cost-sensitive methods. These methods generally focus on rebalancing model weights, class numbers and margins; instead of diversifying class latent features through augmentation. We also demonstrate that a CNN has difficulty generalizing to test data if the magnitude of its top-K latent features do not match the training set. We use three popular image datasets and two cost-sensitive algorithms commonly employed in imbalanced learning for our experiments.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(cnns)は、不均衡な画像データで印象的な結果を得たが、少数クラスへの一般化は依然として困難であり、その決定は解釈が難しい。 これらの問題はCNNが改善を必要とするマイノリティクラスに一般化する手法がブラックボックスにラップされているため関連している。 不均衡なデータに関するcnnの決定を裏付けるために、私たちは彼らの潜在機能に焦点を当てます。 CNNはモデルパラメータのトレーニングセットから学んだパターン知識を組み込むが、この知識の効果は特徴と分類の埋め込み(FEとCE)に含まれる。 これらの埋め込みは訓練されたモデルから抽出することができ、そのグローバルなクラス特性(例えば、周波数、大きさ、アイデンティティ)を解析することができる。 マイノリティクラスに一般化するニューラルネットワークの能力に関する重要な情報は、クラスtop-k ceとfeに存在する。 cnn はカテゴリーごとのクラス top-k ce の限られた数を学習し、その数と大きさは、同じクラスが均衡しているか不均衡であるかによって変化する。 これは、CNNが固有のクラス機能を学んだのか、あるいは単にサンプリングされたクラス分布に存在することが頻繁に発生するのか、という疑問を呼び起こします。 また、潜在クラスの多様性はクラス例の数と同じくらい重要であると仮定し、再サンプリングとコストに敏感なメソッドにとって重要な意味を持つ。 これらの手法は一般にモデルの重み、クラス番号、マージンを再バランスすることに焦点を当てている。 また、トップKの潜在機能の大きさがトレーニングセットと一致しない場合、CNNがデータをテストするのが困難であることを示す。 実験では3つの画像データセットと2つのコスト感受性アルゴリズムを用いて不均衡学習を行った。

関連論文リスト

• A novel feature-scrambling approach reveals the capacity of convolutional neural networks to learn spatial relations [0.0]
  畳み込みニューラルネットワーク(CNN)は、物体認識を解く最も成功したコンピュータビジョンシステムの一つである。 しかし、CNNが実際にどのように決断を下すのか、内部表現の性質や認識戦略が人間とどのように異なるのかは、いまだに理解されていない。
  論文  参考訳（メタデータ） (2022-12-12T16:40:29Z)
• What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
  カーネルシステムにおける無限大の深層CNNについて検討する。 我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。 我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
  論文  参考訳（メタデータ） (2022-08-01T17:19:32Z)
• How explainable are adversarially-robust CNNs? [7.143109213647008]
  既存の畳み込みニューラルネットワーク(CNN)の3つの重要な基準は、(1)テストセット精度、(2)アウト・オブ・ディストリビューション精度、(3)説明可能性である。 そこで我々は,9つの特徴重要度法と12のイメージネット学習CNNを用いて,3つの基準の関係を大規模に評価する。
  論文  参考訳（メタデータ） (2022-05-25T20:24:19Z)
• Do Deep Networks Transfer Invariances Across Classes? [123.84237389985236]
  ニュアンス変換を学習するための生成的アプローチが、クラス間での不変性の伝達にどのように役立つかを示す。 この結果から,不均衡分布や細長い分布に対して分類器が不規則に一般化する理由が示唆された。
  論文  参考訳（メタデータ） (2022-03-18T04:38:18Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• Procrustean Training for Imbalanced Deep Learning [40.85940706868622]
  ニューラルネットワークは,そのデータの大部分を主要なクラスに分類することで,まずはマイナークラスに不適合になりがちであることを示す。 授業間の学習の進捗を均等化する新しい学習戦略を提案する。
  論文  参考訳（メタデータ） (2021-04-05T04:44:01Z)
• The Mind's Eye: Visualizing Class-Agnostic Features of CNNs [92.39082696657874]
  本稿では,特定のレイヤの最も情報性の高い特徴を表現した対応する画像を作成することにより,画像の集合を視覚的に解釈する手法を提案する。 本手法では, 生成ネットワークを必要とせず, 元のモデルに変更を加えることなく, デュアルオブジェクトのアクティベーションと距離損失を利用する。
  論文  参考訳（メタデータ） (2021-01-29T07:46:39Z)
• A CNN-based Feature Space for Semi-supervised Incremental Learning in Assisted Living Applications [2.1485350418225244]
  トレーニングデータセットから得られた特徴空間を用いて、問題のある画像を自動的にラベル付けする。 その結果、半教師付き漸進的な学習プロセスにより、新しいインスタンスの分類精度を40%向上させることができる。
  論文  参考訳（メタデータ） (2020-11-11T12:31:48Z)
• A Systematic Evaluation: Fine-Grained CNN vs. Traditional CNN Classifiers [54.996358399108566]
  本稿では,大規模分類データセット上でトップノーチ結果を示すランドマーク一般的なCNN分類器の性能について検討する。 最先端のきめ細かい分類器と比較する。 実験において, 粒度の細かい分類器がベースラインを高められるかどうかを判定するために, 6つのデータセットについて広範囲に評価する。
  論文  参考訳（メタデータ） (2020-03-24T23:49:14Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。