Fugu-MT 論文翻訳(概要): Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class Incremental Learning

論文の概要: Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class Incremental Learning

arxiv url: http://arxiv.org/abs/2302.03004v1
Date: Mon, 6 Feb 2023 18:39:40 GMT
ステータス: 処理完了
システム内更新日: 2023-02-07 15:25:08.577947
Title: Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class Incremental Learning
Title（参考訳）: ニューラル崩壊に触発された機能分類器アライメントによるマイラルショットクラスインクリメンタル学習
Authors: Yibo Yang, Haobo Yuan, Xiangtai Li, Zhouchen Lin, Philip Torr, Dacheng Tao
Abstract要約: FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
参考スコア（独自算出の注目度）: 120.53458753007851
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Few-shot class-incremental learning (FSCIL) has been a challenging problem as only a few training samples are accessible for each novel class in the new sessions. Finetuning the backbone or adjusting the classifier prototypes trained in the prior sessions would inevitably cause a misalignment between the feature and classifier of old classes, which explains the well-known catastrophic forgetting problem. In this paper, we deal with this misalignment dilemma in FSCIL inspired by the recently discovered phenomenon named neural collapse, which reveals that the last-layer features of the same class will collapse into a vertex, and the vertices of all classes are aligned with the classifier prototypes, which are formed as a simplex equiangular tight frame (ETF). It corresponds to an optimal geometric structure for classification due to the maximized Fisher Discriminant Ratio. We propose a neural collapse inspired framework for FSCIL. A group of classifier prototypes are pre-assigned as a simplex ETF for the whole label space, including the base session and all the incremental sessions. During training, the classifier prototypes are not learnable, and we adopt a novel loss function that drives the features into their corresponding prototypes. Theoretical analysis shows that our method holds the neural collapse optimality and does not break the feature-classifier alignment in an incremental fashion. Experiments on the miniImageNet, CUB-200, and CIFAR-100 datasets demonstrate that our proposed framework outperforms the state-of-the-art performances. Code address: https://github.com/NeuralCollapseApplications/FSCIL
Abstract（参考訳）: FSCIL(Few-shot class-incremental Learning)は、新しいセッションで新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。バックボーンの微調整や、以前のセッションでトレーニングされた分類器のプロトタイプの調整は、必然的に古いクラスの特徴と分類器の不一致を引き起こします。本稿では,最近発見されたneural collapseという現象に触発されたfscilのこの不一致ジレンマに対処し,同一クラスの最終層の特徴が頂点に崩壊し,すべてのクラスの頂点が,simplex equiangular tight frame (etf) として形成される分類子プロトタイプと一致していることを明らかにした。これは最大化フィッシャー判別比による分類のための最適な幾何学的構造に対応する。本稿では、FSCILのための神経崩壊誘発フレームワークを提案する。分類器のプロトタイプのグループは、ベースセッションとインクリメンタルセッションを含むラベル空間全体の単純なETFとして事前に割り当てられている。トレーニング中、分類器のプロトタイプは学習不能であり、我々は、機能を対応するプロトタイプにプッシュする新しい損失関数を採用する。理論的解析により,本手法は神経崩壊最適性を保持し,特徴分類器のアライメントを漸進的に破壊しないことが示された。 miniImageNet, CUB-200, CIFAR-100データセットに対する実験により, 提案したフレームワークが最先端の性能より優れていることが示された。コードアドレス:https://github.com/NeuralCollapseApplications/FSCIL

関連論文リスト

Inductive Graph Few-shot Class Incremental Learning [34.19083477893245]
本稿では,新しいノードを持つ新しいクラスを継続的に学習するインダクティブGFSCILを提案する。トランスダクティブGFSCILと比較して、インダクティブ設定は、アクセス不能な先行データにより破滅的忘れを悪化させる。そこで我々はTopology-based class Augmentation and Prototype calibrationと呼ばれる新しい手法を提案する。
論文参考訳（メタデータ） (2024-11-11T00:06:20Z)
Neural Collapse for Cross-entropy Class-Imbalanced Learning with Unconstrained ReLU Feature Model [25.61363481391964]
トレーニングデータセットがクラス不均衡である場合、いくつかのNeural Collapse(NC)プロパティはもはや真実ではない。本稿では,制約のないReLU特徴量モデルの下で,NCを不均衡状態に一般化し,クロスエントロピー損失の低減を図る。重みは,各クラスのトレーニングサンプル数によって異なるが,重みはスケールおよび集中型クラス平均値に一致していることがわかった。
論文参考訳（メタデータ） (2024-01-04T04:53:31Z)
Few-Shot Class-Incremental Learning via Training-Free Prototype Calibration [67.69532794049445]
既存のメソッドでは、新しいクラスのサンプルをベースクラスに誤分類する傾向があり、新しいクラスのパフォーマンスが低下する。我々は,新しいクラスの識別性を高めるため,簡易かつ効果的なトレーニング-フレア・カロブラシアン (TEEN) 戦略を提案する。
論文参考訳（メタデータ） (2023-12-08T18:24:08Z)
No Fear of Classifier Biases: Neural Collapse Inspired Federated Learning with Synthetic and Fixed Classifier [10.491645205483051]
本稿では、FLの分類器バイアス問題に対して、学習中に合成・固定されたETF分類器を用いて解を提案する。 FLにおけるETF構造をよりよく適応するために,高一般化とパーソナライズの両方を実現するために,いくつかの効果的なモジュールを考案した。本手法は,CIFAR-10,CIFAR-100,Tiny-ImageNet上での最先端性能を実現する。
論文参考訳（メタデータ） (2023-03-17T15:38:39Z)
Inducing Neural Collapse to a Fixed Hierarchy-Aware Frame for Reducing Mistake Severity [0.0]
深層ニューラルネットワークの線形分類器を階層認識フレーム(HAFrame)に固定することを提案する。提案手法は,複数のデータセット上でトップ1の精度を維持しながら,モデルの予測ミスの深刻度を低減する。
論文参考訳（メタデータ） (2023-03-10T03:44:01Z)
Understanding Imbalanced Semantic Segmentation Through Neural Collapse [81.89121711426951]
セマンティックセグメンテーションは自然に文脈的相関とクラス間の不均衡分布をもたらすことを示す。機能中心にレギュレータを導入し、ネットワークが魅力ある構造に近い機能を学ぶことを奨励する。我々の手法は、ScanNet200テストリーダーボードで1位にランクインし、新しい記録を樹立する。
論文参考訳（メタデータ） (2023-01-03T13:51:51Z)
Prediction Calibration for Generalized Few-shot Semantic Segmentation [101.69940565204816]
汎用Few-shot Semantic (GFSS) は、各画像ピクセルを、豊富なトレーニング例を持つベースクラスか、クラスごとにわずかに(例: 1-5)のトレーニングイメージを持つ新しいクラスのいずれかに分割することを目的としている。我々は、融合したマルチレベル機能を用いて、分類器の最終予測をガイドするクロスアテンションモジュールを構築する。私たちのPCNは、最先端の代替品よりも大きなマージンで優れています。
論文参考訳（メタデータ） (2022-10-15T13:30:12Z)
Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
論文参考訳（メタデータ） (2022-03-17T04:34:28Z)
Self-Supervised Class Incremental Learning [51.62542103481908]
既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
論文参考訳（メタデータ） (2021-11-18T06:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。