論文の概要: All-around Neural Collapse for Imbalanced Classification

• arxiv url: http://arxiv.org/abs/2408.07253v1
• Date: Wed, 14 Aug 2024 02:06:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-15 14:25:40.017443
• Title: All-around Neural Collapse for Imbalanced Classification
• Title（参考訳）: 不均衡分類のための全周神経崩壊
• Authors: Enhao Zhang, Chaohua Li, Chuanxing Geng, Songcan Chen,
• Abstract要約: textbfAll-around textbfNeural textbfCollapse framework (AllNC)は、個々のアクティベーション、クラス平均、分類子ベクトルを含む複数の側面にわたるNeural Collapseを包括的に復元することを目的としている。 我々は、その効果を徹底的に分析し、バランスの取れた設定と不均衡な設定の両方で最先端を達成する複数のベンチマークデータセットで検証する。
• 参考スコア（独自算出の注目度）: 27.467732819969935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Collapse (NC) presents an elegant geometric structure that enables individual activations (features), class means and classifier (weights) vectors to reach \textit{optimal} inter-class separability during the terminal phase of training on a \textit{balanced} dataset. Once shifted to imbalanced classification, such an optimal structure of NC can be readily destroyed by the notorious \textit{minority collapse}, where the classifier vectors corresponding to the minority classes are squeezed. In response, existing works endeavor to recover NC typically by optimizing classifiers. However, we discover that this squeezing phenomenon is not only confined to classifier vectors but also occurs with class means. Consequently, reconstructing NC solely at the classifier aspect may be futile, as the feature means remain compressed, leading to the violation of inherent \textit{self-duality} in NC (\textit{i.e.}, class means and classifier vectors converge mutually) and incidentally, resulting in an unsatisfactory collapse of individual activations towards the corresponding class means. To shake off these dilemmas, we present a unified \textbf{All}-around \textbf{N}eural \textbf{C}ollapse framework (AllNC), aiming to comprehensively restore NC across multiple aspects including individual activations, class means and classifier vectors. We thoroughly analyze its effectiveness and verify on multiple benchmark datasets that it achieves state-of-the-art in both balanced and imbalanced settings.
• Abstract（参考訳）: Neural Collapse (NC) は、個々のアクティベーション(機能)、クラス平均、および分類器(重み)ベクトルが \textit{optimal} のクラス間セパビリティに到達することができるエレガントな幾何学的構造を提供する。 一度不均衡な分類に移行すると、これらのNCの最適構造は悪名高い \textit{minority collapse} によって容易に破壊される。 応答として、既存のワークは、典型的には分類器を最適化することでNCを回復するために努力する。 しかし、このスクイージング現象は分類子ベクトルに限らず、類平均とともに起こることが判明した。 これにより、特徴手段が圧縮されたままであり、NCにおける固有の \textit{self-duality} の違反(つまり、クラス平均と分類器ベクトルは相互に収束する)につながるため、分類器面のみにNCを再構成することは無駄になり、個々のアクティベーションが対応するクラス平均に向かって不満足に崩壊する。 これらのジレンマを揺るがすために、個々のアクティベーション、クラス平均、分類器ベクトルを含む複数の側面にわたるNCを包括的に復元することを目的とした、統一された \textbf{All}-around \textbf{N}eural \textbf{C}ollapse framework (AllNC) を提案する。 我々は、その効果を徹底的に分析し、バランスの取れた設定と不均衡な設定の両方で最先端を達成する複数のベンチマークデータセットで検証する。

関連論文リスト

• Self-Supervised Graph Embedding Clustering [70.36328717683297]
  K-means 1-step dimensionality reduction clustering method は,クラスタリングタスクにおける次元性の呪いに対処する上で,いくつかの進歩をもたらした。 本稿では,K-meansに多様体学習を統合する統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-24T08:59:51Z)
• Neural Collapse for Cross-entropy Class-Imbalanced Learning with Unconstrained ReLU Feature Model [25.61363481391964]
  トレーニングデータセットがクラス不均衡である場合、いくつかのNeural Collapse(NC)プロパティはもはや真実ではない。 本稿では,制約のないReLU特徴量モデルの下で,NCを不均衡状態に一般化し,クロスエントロピー損失の低減を図る。 重みは,各クラスのトレーニングサンプル数によって異なるが,重みはスケールおよび集中型クラス平均値に一致していることがわかった。
  論文  参考訳（メタデータ） (2024-01-04T04:53:31Z)
• Which Features are Learnt by Contrastive Learning? On the Role of Simplicity Bias in Class Collapse and Feature Suppression [59.97965005675144]
  コントラスト学習(CL)は,ラベル管理の有無に関わらず,表現学習の強力な技術として登場した。 CLによって学習される特徴を判定する,理論的に厳密な最初の統合フレームワークを提供する。 本稿では,2つの理論的動機付けされた解として,埋め込み次元の増大とデータ拡張の質の向上について述べる。
  論文  参考訳（メタデータ） (2023-05-25T23:37:22Z)
• Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class Incremental Learning [120.53458753007851]
  FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。 我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。 我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-06T18:39:40Z)
• Understanding Imbalanced Semantic Segmentation Through Neural Collapse [81.89121711426951]
  セマンティックセグメンテーションは自然に文脈的相関とクラス間の不均衡分布をもたらすことを示す。 機能中心にレギュレータを導入し、ネットワークが魅力ある構造に近い機能を学ぶことを奨励する。 我々の手法は、ScanNet200テストリーダーボードで1位にランクインし、新しい記録を樹立する。
  論文  参考訳（メタデータ） (2023-01-03T13:51:51Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• Prevalence of Neural Collapse during the terminal phase of deep learning training [7.031848258307718]
  終末訓練(TPT)によるDeepnets分類訓練の現代的実践 TPT中、トレーニングエラーは事実上ゼロであり、トレーニング損失はゼロにプッシュされる。 TPTによって誘導される対称的かつ非常に単純な幾何学は、より良い性能、より良い一般化、より良い解釈可能性を含む重要な利益をもたらす。
  論文  参考訳（メタデータ） (2020-08-18T23:12:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。