論文の概要: Do We Really Need a Learnable Classifier at the End of Deep Neural Network?

• arxiv url: http://arxiv.org/abs/2203.09081v1
• Date: Thu, 17 Mar 2022 04:34:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-18 13:44:25.447312
• Title: Do We Really Need a Learnable Classifier at the End of Deep Neural Network?
• Title（参考訳）: ディープニューラルネットワークの最後に学習可能な分類器が必要なのでしょうか?
• Authors: Yibo Yang, Liang Xie, Shixiang Chen, Xiangtai Li, Zhouchen Lin, Dacheng Tao
• Abstract要約: 本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
• 参考スコア（独自算出の注目度）: 118.18554882199676
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern deep neural networks for classification usually jointly learn a backbone for representation and a linear classifier to output the logit of each class. A recent study has shown a phenomenon called neural collapse that the within-class means of features and the classifier vectors converge to the vertices of a simplex equiangular tight frame (ETF) at the terminal phase of training on a balanced dataset. Since the ETF geometric structure maximally separates the pair-wise angles of all classes in the classifier, it is natural to raise the question, why do we spend an effort to learn a classifier when we know its optimal geometric structure? In this paper, we study the potential of learning a neural network for classification with the classifier randomly initialized as an ETF and fixed during training. Our analytical work based on the layer-peeled model indicates that the feature learning with a fixed ETF classifier naturally leads to the neural collapse state even when the dataset is imbalanced among classes. We further show that in this case the cross entropy (CE) loss is not necessary and can be replaced by a simple squared loss that shares the same global optimality but enjoys a more accurate gradient and better convergence property. Our experimental results show that our method is able to achieve similar performances on image classification for balanced datasets, and bring significant improvements in the long-tailed and fine-grained classification tasks.
• Abstract（参考訳）: 分類のための現代のディープニューラルネットワークは通常、表現のためのバックボーンと、各クラスのロジットを出力する線形分類器を共同で学習する。 最近の研究では、特徴のクラス内平均と分類器ベクトルが、バランスの取れたデータセットのトレーニングの終端フェーズにおいて、単純な等角的タイトフレーム(ETF)の頂点に収束する、神経崩壊と呼ばれる現象が示されている。 ETF幾何学構造は、分類器内のすべてのクラスの対角を極大に分離するので、疑問を提起するのは自然である。 本稿では,ETFとしてランダムに初期化され,訓練中に固定された分類器を用いてニューラルネットワークを学習する可能性について検討する。 階層化モデルに基づく解析研究は,固定ETF分類器を用いた特徴学習が,データセットがクラス間で不均衡である場合でも,自然に神経崩壊状態につながることを示す。 さらに、この場合、クロスエントロピー(CE)損失は不要であり、同じ大域的最適性を共有するがより正確な勾配とより良い収束性を持つ単純な2乗損失に置き換えることができることを示す。 実験結果から,本手法はバランスの取れたデータセットのイメージ分類において類似した性能を達成でき,長期的・きめ細かな分類タスクにおいて大きな改善をもたらすことが示された。

関連論文リスト

• Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization [64.36097398869774]
  半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。 既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。 本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-13T04:16:40Z)
• Neural Collapse for Cross-entropy Class-Imbalanced Learning with Unconstrained ReLU Feature Model [25.61363481391964]
  トレーニングデータセットがクラス不均衡である場合、いくつかのNeural Collapse(NC)プロパティはもはや真実ではない。 本稿では,制約のないReLU特徴量モデルの下で,NCを不均衡状態に一般化し,クロスエントロピー損失の低減を図る。 重みは,各クラスのトレーニングサンプル数によって異なるが,重みはスケールおよび集中型クラス平均値に一致していることがわかった。
  論文  参考訳（メタデータ） (2024-01-04T04:53:31Z)
• No Fear of Classifier Biases: Neural Collapse Inspired Federated Learning with Synthetic and Fixed Classifier [10.491645205483051]
  本稿では、FLの分類器バイアス問題に対して、学習中に合成・固定されたETF分類器を用いて解を提案する。 FLにおけるETF構造をよりよく適応するために,高一般化とパーソナライズの両方を実現するために,いくつかの効果的なモジュールを考案した。 本手法は,CIFAR-10,CIFAR-100,Tiny-ImageNet上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-03-17T15:38:39Z)
• Inducing Neural Collapse to a Fixed Hierarchy-Aware Frame for Reducing Mistake Severity [0.0]
  深層ニューラルネットワークの線形分類器を階層認識フレーム(HAFrame)に固定することを提案する。 提案手法は,複数のデータセット上でトップ1の精度を維持しながら,モデルの予測ミスの深刻度を低減する。
  論文  参考訳（メタデータ） (2023-03-10T03:44:01Z)
• Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class Incremental Learning [120.53458753007851]
  FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。 我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。 我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-06T18:39:40Z)
• Understanding Imbalanced Semantic Segmentation Through Neural Collapse [81.89121711426951]
  セマンティックセグメンテーションは自然に文脈的相関とクラス間の不均衡分布をもたらすことを示す。 機能中心にレギュレータを導入し、ネットワークが魅力ある構造に近い機能を学ぶことを奨励する。 我々の手法は、ScanNet200テストリーダーボードで1位にランクインし、新しい記録を樹立する。
  論文  参考訳（メタデータ） (2023-01-03T13:51:51Z)
• Rethinking Nearest Neighbors for Visual Classification [56.00783095670361]
  k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。 我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。 本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
  論文  参考訳（メタデータ） (2021-12-15T20:15:01Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)
• A Geometric Analysis of Neural Collapse with Unconstrained Features [40.66585948844492]
  Neural;Collapse$の最初のグローバル最適化ランドスケープ分析を提供します。 この現象は、トレーニングの終末期におけるニューラルネットワークのラスト層分類器と特徴に現れる。
  論文  参考訳（メタデータ） (2021-05-06T00:00:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。