論文の概要: On the Role of Neural Collapse in Meta Learning Models for Few-shot Learning

• arxiv url: http://arxiv.org/abs/2310.00451v1
• Date: Sat, 30 Sep 2023 18:02:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 04:09:29.113282
• Title: On the Role of Neural Collapse in Meta Learning Models for Few-shot Learning
• Title（参考訳）: ファウショット学習におけるメタ学習モデルにおける神経崩壊の役割について
• Authors: Saaketh Medepalli and Naren Doraiswamy
• Abstract要約: この研究は、数ショット学習のためのメタラーニングフレームワークにおける神経崩壊の性質を初めて探求し、理解したものである。 我々は,オムニグロットデータセットを数ショット設定で研究し,神経崩壊現象を研究する。
• 参考スコア（独自算出の注目度）: 0.9729803206187322
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Meta-learning frameworks for few-shot learning aims to learn models that can learn new skills or adapt to new environments rapidly with a few training examples. This has led to the generalizability of the developed model towards new classes with just a few labelled samples. However these networks are seen as black-box models and understanding the representations learnt under different learning scenarios is crucial. Neural collapse ($\mathcal{NC}$) is a recently discovered phenomenon which showcases unique properties at the network proceeds towards zero loss. The input features collapse to their respective class means, the class means form a Simplex equiangular tight frame (ETF) where the class means are maximally distant and linearly separable, and the classifier acts as a simple nearest neighbor classifier. While these phenomena have been observed in simple classification networks, this study is the first to explore and understand the properties of neural collapse in meta learning frameworks for few-shot learning. We perform studies on the Omniglot dataset in the few-shot setting and study the neural collapse phenomenon. We observe that the learnt features indeed have the trend of neural collapse, especially as model size grows, but to do not necessarily showcase the complete collapse as measured by the $\mathcal{NC}$ properties.
• Abstract（参考訳）: 数少ない学習のためのメタ学習フレームワークは、新しいスキルを学習したり、いくつかのトレーニング例で新しい環境に素早く適応できるモデルを学ぶことを目的としている。 このことが、少数のラベル付きサンプルを持つ新しいクラスに対する開発モデルの一般化につながった。 しかし、これらのネットワークはブラックボックスモデルと見なされ、異なる学習シナリオで学習される表現を理解することは重要である。 神経崩壊(neural collapse) (\mathcal{nc}$)は、ネットワークの損失ゼロに向けたユニークな特性を示す、最近発見された現象である。 入力特徴は各クラス手段に崩壊し、クラス手段は、クラス手段が最大距離で直線的に分離可能な簡易等角的タイトフレーム(ETF)を形成し、その分類器は、単純な近接した隣接分類器として機能する。 これらの現象は、単純な分類ネットワークで観察されているが、この研究は、少数の学習のためのメタ学習フレームワークにおける神経崩壊の性質を探求し理解する最初の方法である。 我々は,オムニグロットデータセットを数ショット設定で研究し,神経崩壊現象を研究する。 学習した特徴は、特にモデルのサイズが大きくなるにつれて神経崩壊の傾向を持つが、$\mathcal{NC}$プロパティによって測定されるような完全な崩壊を示すとは限らない。

関連論文リスト

• Neural Metamorphosis [72.88137795439407]
  本稿では,ニューラル・メタモルファス(NeuMeta)と呼ばれる,自己変形可能なニューラルネットワークの構築を目的とした新たな学習パラダイムを提案する。 NeuMetaはニューラルネットワークの連続重み多様体を直接学習する。 75%の圧縮速度でもフルサイズの性能を維持する。
  論文  参考訳（メタデータ） (2024-10-10T14:49:58Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Few-Shot Class-Incremental Learning via Training-Free Prototype Calibration [67.69532794049445]
  既存のメソッドでは、新しいクラスのサンプルをベースクラスに誤分類する傾向があり、新しいクラスのパフォーマンスが低下する。 我々は,新しいクラスの識別性を高めるため,簡易かつ効果的なトレーニング-フレア・カロブラシアン (TEEN) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-08T18:24:08Z)
• Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class Incremental Learning [120.53458753007851]
  FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。 我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。 我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-06T18:39:40Z)
• Neural Collapse: A Review on Modelling Principles and Generalization [0.0]
  神経崩壊は基本的に、最終隠蔽層出力のクラス内変動が無限小である状態を表す。 この状態の単純さにもかかわらず、それに到達するための力学と意味はまだ完全には理解されていない。
  論文  参考訳（メタデータ） (2022-06-08T17:55:28Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• On the Role of Neural Collapse in Transfer Learning [29.972063833424215]
  近年,多くのクラスにまたがる単一分類器で学習した表現は,数発の学習問題において競合することが示された。 神経崩壊は、トレーニングクラスからの新しいサンプルに一般化され、さらに重要なことは、新しいクラスにも一般化されます。
  論文  参考訳（メタデータ） (2021-12-30T16:36:26Z)
• Exploring Deep Neural Networks via Layer-Peeled Model: Minority Collapse in Imbalanced Training [39.137793683411424]
  解析的に抽出できない最適化プログラムである textitLayer-Peeled Model を導入する。 このモデルでは,よく訓練されたネットワークの特徴の多くを継承し,ディープラーニング学習の一般的な経験的パターンを説明・予測するための効果的なツールを提供する。 特に,本モデルでは,テキストマイノリティ崩壊(textitMinority Collapse)という,マイノリティクラスにおけるディープラーニングモデルの性能を根本的に制限する未知の現象が明らかにされている。
  論文  参考訳（メタデータ） (2021-01-29T17:37:17Z)
• Looking back to lower-level information in few-shot learning [4.873362301533825]
  本稿では,隠れたニューラルネットワーク層の特徴埋め込みを低レベル支援情報として活用し,分類精度を向上させることを提案する。 筆者らは,MiniImageNet と tieredImageNet という2つの人気の数点学習データセットを用いた実験を行い,この手法がネットワークの低レベル情報を利用して最先端の分類性能を向上できることを示した。
  論文  参考訳（メタデータ） (2020-05-27T20:32:13Z)
• Few-Shot Class-Incremental Learning [68.75462849428196]
  本稿では,FSCIL問題に焦点をあてる。 FSCIL は CNN モデルに対して,学習済みのクラスを忘れることなく,ラベル付きサンプルのごく少数から新たなクラスを漸進的に学習することを求めている。 我々は,異なるクラスで形成される特徴多様体のトポロジーを学習し,保存するニューラルネットワーク(NG)ネットワークを用いて,知識を表現する。
  論文  参考訳（メタデータ） (2020-04-23T03:38:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。