論文の概要: On the Role of Neural Collapse in Transfer Learning

• arxiv url: http://arxiv.org/abs/2112.15121v1
• Date: Thu, 30 Dec 2021 16:36:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-04 00:56:47.600224
• Title: On the Role of Neural Collapse in Transfer Learning
• Title（参考訳）: 転帰学習における神経崩壊の役割について
• Authors: Tomer Galanti, Andr\'as Gy\"orgy, Marcus Hutter
• Abstract要約: 近年,多くのクラスにまたがる単一分類器で学習した表現は,数発の学習問題において競合することが示された。 神経崩壊は、トレーニングクラスからの新しいサンプルに一般化され、さらに重要なことは、新しいクラスにも一般化されます。
• 参考スコア（独自算出の注目度）: 29.972063833424215
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the ability of foundation models to learn representations for classification that are transferable to new, unseen classes. Recent results in the literature show that representations learned by a single classifier over many classes are competitive on few-shot learning problems with representations learned by special-purpose algorithms designed for such problems. In this paper we provide an explanation for this behavior based on the recently observed phenomenon that the features learned by overparameterized classification networks show an interesting clustering property, called neural collapse. We demonstrate both theoretically and empirically that neural collapse generalizes to new samples from the training classes, and -- more importantly -- to new classes as well, allowing foundation models to provide feature maps that work well in transfer learning and, specifically, in the few-shot setting.
• Abstract（参考訳）: 本研究では,新しいクラスに移動可能な分類の表現を基礎モデルで学習する能力について検討する。 論文の最近の結果は、多くのクラスで単一の分類子によって学習される表現は、そのような問題のために設計された特別な目的のアルゴリズムによって学習される表現を持つ、少数の学習問題と競合していることを示している。 本稿では,過パラメータ化分類ネットワークによって得られた特徴が,神経崩壊と呼ばれる興味深いクラスタリング特性を示す,最近観測された現象に基づいて,この挙動を説明する。 我々は、神経崩壊がトレーニングクラスから新しいサンプルに一般化し、さらに重要なこととして、新しいクラスにも一般化できることを理論的にも経験的にも示し、基礎モデルがトランスファー学習や特にマイナショット設定においてうまく機能する機能マップを提供することを可能にした。

関連論文リスト

• Few-Shot Class-Incremental Learning via Training-Free Prototype Calibration [67.69532794049445]
  既存のメソッドでは、新しいクラスのサンプルをベースクラスに誤分類する傾向があり、新しいクラスのパフォーマンスが低下する。 我々は,新しいクラスの識別性を高めるため,簡易かつ効果的なトレーニング-フレア・カロブラシアン (TEEN) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-08T18:24:08Z)
• Generalized Neural Collapse for a Large Number of Classes [33.46269920297418]
  本研究では,実用的な深層ニューラルネットワークにおける一般化された神経崩壊の発生を実証するための実証的研究を行う。 球面制約のある非拘束特徴モデルの下で、一般化された神経崩壊が確実に発生することを示す理論的研究を行う。
  論文  参考訳（メタデータ） (2023-10-09T02:27:04Z)
• On the Role of Neural Collapse in Meta Learning Models for Few-shot Learning [0.9729803206187322]
  この研究は、数ショット学習のためのメタラーニングフレームワークにおける神経崩壊の性質を初めて探求し、理解したものである。 我々は,オムニグロットデータセットを数ショット設定で研究し,神経崩壊現象を研究する。
  論文  参考訳（メタデータ） (2023-09-30T18:02:51Z)
• Generalization Bounds for Few-Shot Transfer Learning with Pretrained Classifiers [26.844410679685424]
  本研究では,新しいクラスに移動可能な分類の表現を基礎モデルで学習する能力について検討する。 クラス-機能-変数の崩壊の場合,新しいクラスで学習した特徴マップのわずかな誤差が小さいことを示す。
  論文  参考訳（メタデータ） (2022-12-23T18:46:05Z)
• Continual Learning with Bayesian Model based on a Fixed Pre-trained Feature Extractor [55.9023096444383]
  現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を破滅的に忘れることによって特徴づけられる。 人間の脳における新しい知識の学習プロセスに着想を得て,連続学習のためのベイズ生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-04-28T08:41:51Z)
• Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
  セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。 各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。 提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
  論文  参考訳（メタデータ） (2021-10-31T16:15:09Z)
• Adversarially-Trained Deep Nets Transfer Better: Illustration on Image Classification [53.735029033681435]
  トランスファーラーニングは、訓練済みのディープニューラルネットワークを画像認識タスクに新しいドメインに適用するための強力な方法論である。 本研究では,非逆学習モデルよりも逆学習モデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-11T22:48:42Z)
• Looking back to lower-level information in few-shot learning [4.873362301533825]
  本稿では,隠れたニューラルネットワーク層の特徴埋め込みを低レベル支援情報として活用し,分類精度を向上させることを提案する。 筆者らは,MiniImageNet と tieredImageNet という2つの人気の数点学習データセットを用いた実験を行い,この手法がネットワークの低レベル情報を利用して最先端の分類性能を向上できることを示した。
  論文  参考訳（メタデータ） (2020-05-27T20:32:13Z)
• Few-Shot Class-Incremental Learning [68.75462849428196]
  本稿では,FSCIL問題に焦点をあてる。 FSCIL は CNN モデルに対して,学習済みのクラスを忘れることなく,ラベル付きサンプルのごく少数から新たなクラスを漸進的に学習することを求めている。 我々は,異なるクラスで形成される特徴多様体のトポロジーを学習し,保存するニューラルネットワーク(NG)ネットワークを用いて,知識を表現する。
  論文  参考訳（メタデータ） (2020-04-23T03:38:33Z)
• Aggregated Learning: A Vector-Quantization Approach to Learning Neural Network Classifiers [48.11796810425477]
  IB学習は、実際、量子化問題の特別なクラスと等価であることを示す。 ニューラルネットワークモデルを用いた分類のための新しい学習フレームワーク"集約学習"を提案する。 本フレームワークの有効性は,標準画像認識およびテキスト分類タスクに関する広範な実験を通じて検証される。
  論文  参考訳（メタデータ） (2020-01-12T16:22:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。