論文の概要: Constrained Few-shot Class-incremental Learning

• arxiv url: http://arxiv.org/abs/2203.16588v1
• Date: Wed, 30 Mar 2022 18:19:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-02 12:15:21.261755
• Title: Constrained Few-shot Class-incremental Learning
• Title（参考訳）: 制約付きクラスインクリメンタルラーニング
• Authors: Michael Hersche, Geethan Karunaratne, Giovanni Cherubini, Luca Benini, Abu Sebastian, Abbas Rahimi
• Abstract要約: 古いクラスの知識を忘れずに新しいデータから新しいクラスを継続的に学習することは、非常に難しい研究課題である。 本稿では,C-FSCILを提案する。C-FSCILは,凍結したメタ学習特徴抽出器,トレーニング可能な固定サイズ全接続層,動的に成長するメモリから構成される。 C-FSCILは3つの更新モードを提供し、新しいクラスを学習する際の正確性と計算メモリコストのトレードオフを提供する。
• 参考スコア（独自算出の注目度）: 14.646083882851928
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continually learning new classes from fresh data without forgetting previous knowledge of old classes is a very challenging research problem. Moreover, it is imperative that such learning must respect certain memory and computational constraints such as (i) training samples are limited to only a few per class, (ii) the computational cost of learning a novel class remains constant, and (iii) the memory footprint of the model grows at most linearly with the number of classes observed. To meet the above constraints, we propose C-FSCIL, which is architecturally composed of a frozen meta-learned feature extractor, a trainable fixed-size fully connected layer, and a rewritable dynamically growing memory that stores as many vectors as the number of encountered classes. C-FSCIL provides three update modes that offer a trade-off between accuracy and compute-memory cost of learning novel classes. C-FSCIL exploits hyperdimensional embedding that allows to continually express many more classes than the fixed dimensions in the vector space, with minimal interference. The quality of class vector representations is further improved by aligning them quasi-orthogonally to each other by means of novel loss functions. Experiments on the CIFAR100, miniImageNet, and Omniglot datasets show that C-FSCIL outperforms the baselines with remarkable accuracy and compression. It also scales up to the largest problem size ever tried in this few-shot setting by learning 423 novel classes on top of 1200 base classes with less than 1.6% accuracy drop. Our code is available at https://github.com/IBM/constrained-FSCIL.
• Abstract（参考訳）: 古いクラスの知識を忘れずに新しいデータから新しいクラスを継続的に学習することは、非常に難しい研究課題である。 さらに、そのような学習は特定の記憶と計算上の制約を尊重しなければならない。 (i)トレーニングサンプルはクラスごとに数個に制限されている。 (ii)新しいクラスを学習する計算コストは一定であり、 (iii)モデルのメモリフットプリントは、観察されるクラス数とともに最も線形に増加する。 以上の制約を満たすため,C-FSCILを提案する。C-FSCILは,凍結したメタ学習型特徴抽出器,トレーニング可能な固定サイズ完全連結層,および,遭遇するクラス数と同じくらい多くのベクトルを格納する動的に増大するメモリである。 c-fscilは3つの更新モードを提供し、新しいクラスを学習する精度と計算メモリコストのトレードオフを提供する。 C-FSCILは超次元埋め込みを利用して、最小の干渉でベクトル空間の固定次元よりも多くのクラスを連続的に表現することができる。 クラスベクトル表現の品質は、新しい損失関数を用いて準直交的に互いに整列することでさらに向上する。 CIFAR100、miniImageNet、Omniglotデータセットの実験では、C-FSCILは驚くほど精度と圧縮でベースラインを上回っている。 また、1200のベースクラス上の423の新規クラスを1.6%未満の精度で学習することで、この数ショット環境で試みられた最大の問題サイズまでスケールアップする。 私たちのコードはhttps://github.com/IBM/constrained-FSCILで利用可能です。

関連論文リスト

• 12 mJ per Class On-Device Online Few-Shot Class-Incremental Learning [12.768324871562891]
  FSCIL(Few-Shot Class-Incremental Learning)は、いくつかのラベル付き例を使用して、機械学習システムが推論能力を新しいクラスに拡張することを可能にする。 O-FSCILは、FSCIL CIFAR100ベンチマークで68.62%の平均精度を取得し、最先端の結果を得た。 超低消費電力プラットフォーム向けに設計され、60mW GAP9マイクロコントローラにO-FSCILを実装し、新しいクラスあたり12mJ以内のオンライン学習能力を実証した。
  論文  参考訳（メタデータ） (2024-03-12T17:43:20Z)
• CEAT: Continual Expansion and Absorption Transformer for Non-Exemplar Class-Incremental Learning [34.59310641291726]
  現実のアプリケーションでは、動的シナリオは、古い知識を忘れずに新しいタスクを継続的に学習する能力を持つ必要がある。 連続膨張吸収変圧器(CEAT)という新しいアーキテクチャを提案する。 このモデルは、凍結した前のパラメータと平行に拡散層を拡張することで、新しい知識を学ぶことができる。 モデルの学習能力を向上させるために,特徴空間における古クラスと新クラスの重複を低減するために,新しいプロトタイプを設計した。
  論文  参考訳（メタデータ） (2024-03-11T12:40:12Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• Class-Incremental Learning: A Survey [84.30083092434938]
  CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れることを可能にする。 CILは、前者の特徴を壊滅的に忘れる傾向にあり、その性能は劇的に低下する。 ベンチマーク画像分類タスクにおける17の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
  論文  参考訳（メタデータ） (2023-02-07T17:59:05Z)
• Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class Incremental Learning [120.53458753007851]
  FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。 我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。 我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-06T18:39:40Z)
• Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
  モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。 古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。 我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-03-31T13:46:41Z)
• Self-Supervised Class Incremental Learning [51.62542103481908]
  既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。 新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。 本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
  論文  参考訳（メタデータ） (2021-11-18T06:58:19Z)
• Improving Calibration for Long-Tailed Recognition [68.32848696795519]
  このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。 異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。 提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
  論文  参考訳（メタデータ） (2021-04-01T13:55:21Z)
• Learning Adaptive Embedding Considering Incremental Class [55.21855842960139]
  CIL(Class-Incremental Learning)は,未知のクラスを逐次生成するストリーミングデータを用いて,信頼性の高いモデルをトレーニングすることを目的としている。 従来のクローズドセット学習とは異なり、CILには2つの大きな課題がある。 新たなクラスが検出された後、以前のデータ全体を使用して再トレーニングすることなく、モデルを更新する必要がある。
  論文  参考訳（メタデータ） (2020-08-31T04:11:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。