論文の概要: Neural Collapse by Design: Learning Class Prototypes on the Hypersphere

• arxiv url: http://arxiv.org/abs/2605.20302v2
• Date: Thu, 21 May 2026 07:20:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 16:35:41.903269
• Title: Neural Collapse by Design: Learning Class Prototypes on the Hypersphere
• Title（参考訳）: デザインによる神経崩壊:ハイパースフィアにおけるクラスプロトタイプの学習
• Authors: Panagiotis Koromilas, Theodoros Giannakopoulos, Mihalis A. Nicolaou, Yannis Panagakis,
• Abstract要約: クロスエントロピー(CE)は自由度を非拘束にして縮退幾何学に収束させる一方、教師付きコントラスト学習(SCL)は事前訓練中にNCに向けて特徴を駆動するが、ポストホック線形探索フェーズでこの構造を捨てる。 両パラダイムが,ユニットハイパースフィアのプロトタイプと対比する同じ手法の外観に異なっており,そのギャップを埋めるにはそれぞれの障害点を固定する必要があることを示す。 我々の研究は、NCが設計によって到達したハイパースフィアのプロトタイプ学習として教師付き学習を再放送する。
• 参考スコア（独自算出の注目度）: 19.046486593203323
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Supervised classification has a theoretical optimum, Neural Collapse (NC), yet neither of its two dominant paradigms reaches it in practice. Cross entropy (CE) leaves radial degrees of freedom unconstrained and converges to a degenerate geometry, while supervised contrastive learning (SCL) drives features toward NC during pretraining but discards this structure in a post hoc linear probing phase. We show that both paradigms are different appearances of the same method that contrasts prototypes on the unit hypersphere, and that closing the gap requires fixing each at its point of failure. From the CE side, we propose NTCE and NONL, two normalized losses that import contrastive optimization's missing ingredients into classifier learning: a large effective negative set and decoupled alignment and uniformity terms. From the SCL side, we prove that SCL's objective already optimizes throughout training for a principled classifier whose weights are the class mean embeddings, making linear probing both redundant and harmful. Empirically, on four benchmarks including ImageNet-1K, NTCE and NONL surpass CE accuracy, closely approximate NC ($\geq 95\%$), and match CE's converged NC on 4/5 metrics in under $7.5\%$ of its iterations, while SCL with fixed prototypes matches linear probing without the hours-long classifier training phase. The learned geometry yields $+5.5\%$ mean relative improvement in transfer learning, up to $+8.7\%$ under severe class imbalance, and improved robustness to corruptions on ImageNet-C. Our work recasts supervised learning as prototype learning on the hypersphere, with NC reached by design.
• Abstract（参考訳）: スーパーバイザード分類は、理論的に最適であるニューラル・コラプス(NC)を持っているが、2つの支配的なパラダイムのどちらも実際にそれに到達することはない。 クロスエントロピー(CE)は自由度を非拘束にして縮退幾何学に収束させる一方、教師付きコントラスト学習(SCL)は事前訓練中にNCに向けて特徴を駆動するが、ポストホック線形探索フェーズでこの構造を捨てる。 両パラダイムが,ユニットハイパースフィアのプロトタイプと対比する同じ手法の外観に異なっており,そのギャップを埋めるにはそれぞれの障害点を固定する必要があることを示す。 CE 側からNTCE と NONL の2つの正規化損失を提案する。 SCL 側から、SCL の目的が、重みがクラス平均埋め込みである原理的分類器のトレーニング全体を通して既に最適化されていることを証明し、冗長かつ有害な線形探索を実現する。 ImageNet-1K, NTCE, NONLの4つのベンチマークでは、CEの精度をはるかに上回り、NC($\geq 95\%$)とCEの収束したNCと4/5のメトリクスを7.5\%以下で一致させた。 学習された幾何学は、転送学習の相対的な改善を$+5.5\%、厳しいクラス不均衡の下で$+8.7\%、ImageNet-Cの汚職に対する堅牢性を改善する。 我々の研究は、NCが設計によって到達したハイパースフィアのプロトタイプ学習として教師付き学習を再放送する。

関連論文リスト

• Self-Supervised Contrastive Learning is Approximately Supervised Contrastive Learning [48.11265601808718]
  標準的な自己指導型コントラスト学習目標が暗黙的に教師付き変種を近似することを示し,我々は負のみ教師付きコントラスト学習損失(NSCL)と呼ぶ。 ラベルに依存しない,アーキテクチャに依存しない境界の下で,意味クラスの数が増えるにつれて,CLとNSCLの損失のギャップが消滅することを証明する。
  論文  参考訳（メタデータ） (2025-06-04T19:43:36Z)
• Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization [64.36097398869774]
  半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。 既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。 本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-13T04:16:40Z)
• Neural Collapse for Cross-entropy Class-Imbalanced Learning with Unconstrained ReLU Feature Model [25.61363481391964]
  トレーニングデータセットがクラス不均衡である場合、いくつかのNeural Collapse(NC)プロパティはもはや真実ではない。 本稿では,制約のないReLU特徴量モデルの下で,NCを不均衡状態に一般化し,クロスエントロピー損失の低減を図る。 重みは,各クラスのトレーニングサンプル数によって異なるが,重みはスケールおよび集中型クラス平均値に一致していることがわかった。
  論文  参考訳（メタデータ） (2024-01-04T04:53:31Z)
• Symmetric Neural-Collapse Representations with Supervised Contrastive Loss: The Impact of ReLU and Batching [26.994954303270575]
  スーパーバイザード・コントラスト・ロス(SCL)は、分類におけるクロスエントロピー・ロスの代わりとして、競争力があり、しばしば優れた選択肢である。 従来の研究では、両方の損失がバランスデータの下で対称的なトレーニング表現をもたらすことが示されているが、この対称性はクラス不均衡の下で破れる。 最終層におけるReLU活性化の導入は,SCL学習表現の対称性を効果的に回復させる。
  論文  参考訳（メタデータ） (2023-06-13T17:55:39Z)
• Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class Incremental Learning [120.53458753007851]
  FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。 我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。 我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-06T18:39:40Z)
• Orthogonal SVD Covariance Conditioning and Latent Disentanglement [65.67315418971688]
  SVDメタ層をニューラルネットワークに挿入すると、共分散が不調和になる。 我々は最寄り直交勾配(NOG)と最適学習率(OLR)を提案する。 視覚認識実験は,共分散条件と一般化を同時に改善できることを実証した。
  論文  参考訳（メタデータ） (2022-12-11T20:31:31Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
  SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。 ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。 SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
  論文  参考訳（メタデータ） (2021-05-16T09:13:56Z)
• Prevalence of Neural Collapse during the terminal phase of deep learning training [7.031848258307718]
  終末訓練(TPT)によるDeepnets分類訓練の現代的実践 TPT中、トレーニングエラーは事実上ゼロであり、トレーニング損失はゼロにプッシュされる。 TPTによって誘導される対称的かつ非常に単純な幾何学は、より良い性能、より良い一般化、より良い解釈可能性を含む重要な利益をもたらす。
  論文  参考訳（メタデータ） (2020-08-18T23:12:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。