論文の概要: Neural Collapse on Imbalanced Datasets and Open-Set Scenario

• arxiv url: http://arxiv.org/abs/2611.07753v1
• Date: Thu, 05 Nov 2026 10:00:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.64713
• Title: Neural Collapse on Imbalanced Datasets and Open-Set Scenario
• Title（参考訳）: 不均衡データセットとオープンセットシナリオの神経崩壊
• Abstract要約: 不均衡なデータセットとオープンセット設定でニューラル・コラプス(NC)を再構成する。 我々は、標準NCがバランスの取れたデータセットや不均衡なデータセットで達成されていることを証明した。 また,ソフトマックスおよびシグモイドを用いた逆サンプル周波数によるコントラスト損失の再バランスの解析を行った。
• 参考スコア（独自算出の注目度）: 46.17808463800562
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural collapse (NC) describes the elegant geometric structure that sample features and classifier vectors exhibit when a classification model's loss reaches its minimum. Class imbalance, however, generally distorts standard NC. In this paper, we theoretically reformulate NC on imbalanced datasets and in open-set settings. Our analysis is based on an optimization problem over class-wise averaged losses, rather than the global averaged losses used in prior NC studies. We prove that when class-wise averaged losses attain their minima, standard NC is achieved on balanced or imbalanced datasets, for both cross-entropy (CE) and binary cross-entropy (BCE) losses. We further extend the analysis to an open-set-inspired scenario, where some classes contain no training samples yet are still assigned classifier vectors in the losses. We find that in this scenario, when class-wise averaged losses reach their minima, standard NC still emerges on the known classes with training samples, while the classifier vectors of unknown classes without training samples overlap with each other and become orthogonal to those of the known classes. Finally, we analyze Softmax- and Sigmoid-based contrastive losses re-balanced by inverse sample frequency, proving that at their minima on balanced or imbalanced datasets, sample features of different classes likewise form standard NC.
• Abstract（参考訳）: ニューラルネットワーク崩壊(NC)は、分類モデルの損失が最小値に達すると、サンプル特徴と分類器ベクトルが示すエレガントな幾何学的構造を記述する。 しかし、クラス不均衡は一般的に標準NCを歪ませる。 本稿では,不均衡なデータセットとオープンセット設定でNCを理論的に再構成する。 本分析は,従来のNC研究で用いられるグローバル平均損失よりも,クラス平均損失に対する最適化問題に基づく。 クラス平均化損失が最小値に達すると、標準NCはバランスの取れたデータセットや不均衡なデータセット上で達成され、クロスエントロピー(CE)とバイナリクロスエントロピー(BCE)の両方が失われる。 さらに、この分析をオープンセットにインスパイアされたシナリオにまで拡張し、いくつかのクラスはトレーニングサンプルを含まないが、損失には依然として割り当てられた分類子ベクトルが割り当てられている。 このシナリオでは、クラス平均損失がミニマに達すると、標準NCはトレーニングサンプルを持つ既知のクラスに現れ、トレーニングサンプルを持たない未知クラスの分類ベクトルは互いに重なり合い、既知のクラスと直交する。 最後に,ソフトマックスおよびシグモイドをベースとした逆サンプル周波数によるコントラスト損失を解析し,バランスの取れたデータセットや不均衡なデータセット上のミニマにおいて,異なるクラスのサンプル特徴が標準NCとなることを示す。

関連論文リスト

• Meta-GCN: A Dynamically Weighted Loss Minimization Method for Dealing with the Data Imbalance in Graph Neural Networks [5.285761906707429]
  そこで我々は,メタGCNというメタ学習アルゴリズムを提案し,サンプル重み付けを適応的に学習する。 我々は,Meta-GCNが最先端フレームワークや他のベースラインを精度で上回ることを示した。
  論文  参考訳（メタデータ） (2024-06-24T18:59:24Z)
• Neural Collapse for Cross-entropy Class-Imbalanced Learning with Unconstrained ReLU Feature Model [25.61363481391964]
  トレーニングデータセットがクラス不均衡である場合、いくつかのNeural Collapse(NC)プロパティはもはや真実ではない。 本稿では,制約のないReLU特徴量モデルの下で,NCを不均衡状態に一般化し,クロスエントロピー損失の低減を図る。 重みは,各クラスのトレーニングサンプル数によって異なるが,重みはスケールおよび集中型クラス平均値に一致していることがわかった。
  論文  参考訳（メタデータ） (2024-01-04T04:53:31Z)
• Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class Incremental Learning [120.53458753007851]
  FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。 我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。 我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-06T18:39:40Z)
• Neural Collapse in Deep Linear Networks: From Balanced to Imbalanced Data [12.225207401994737]
  大量のパラメータを持つ複雑な系は、収束するまでのトレーニングで同じ構造を持つことを示す。 特に、最終層の特徴がクラス平均に崩壊することが観察されている。 本結果は,最終層の特徴と分類器をベクトルからなる幾何学へ収束させることを示す。
  論文  参考訳（メタデータ） (2023-01-01T16:29:56Z)
• Learning to Re-weight Examples with Optimal Transport for Imbalanced Classification [74.62203971625173]
  不均衡データは、ディープラーニングに基づく分類モデルに課題をもたらす。 不均衡なデータを扱うための最も広く使われているアプローチの1つは、再重み付けである。 本稿では,分布の観点からの最適輸送(OT)に基づく新しい再重み付け手法を提案する。
  論文  参考訳（メタデータ） (2022-08-05T01:23:54Z)
• Neural Collapse Inspired Attraction-Repulsion-Balanced Loss for Imbalanced Learning [97.81549071978789]
  勾配の異なる成分のバランスをとるために,Attraction-Repulsion-Balanced Loss (ARB-Loss)を提案する。 大規模分類とセグメンテーションデータセットの実験を行い、ARB-Lossは最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-04-19T08:23:23Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• Identifying and Compensating for Feature Deviation in Imbalanced Deep Learning [59.65752299209042]
  このようなシナリオ下でのConvNetの学習について検討する。 私たちは、ConvNetがマイナーなクラスにかなり適合していることに気づきました。 クラス依存型温度トレーニング(CDT)のConvNetの導入を提案する。
  論文  参考訳（メタデータ） (2020-01-06T03:52:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。