論文の概要: 12 mJ per Class On-Device Online Few-Shot Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2403.07851v1
• Date: Tue, 12 Mar 2024 17:43:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 19:47:05.223366
• Title: 12 mJ per Class On-Device Online Few-Shot Class-Incremental Learning
• Title（参考訳）: オンラインFew-Shotクラスインクリメンタルラーニング
• Authors: Yoga Esa Wibowo, Cristian Cioflan, Thorir Mar Ingolfsson, Michael Hersche, Leo Zhao, Abbas Rahimi, Luca Benini
• Abstract要約: FSCIL(Few-Shot Class-Incremental Learning)は、いくつかのラベル付き例を使用して、機械学習システムが推論能力を新しいクラスに拡張することを可能にする。 O-FSCILは、FSCIL CIFAR100ベンチマークで68.62%の平均精度を取得し、最先端の結果を得た。 超低消費電力プラットフォーム向けに設計され、60mW GAP9マイクロコントローラにO-FSCILを実装し、新しいクラスあたり12mJ以内のオンライン学習能力を実証した。
• 参考スコア（独自算出の注目度）: 12.768324871562891
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-Shot Class-Incremental Learning (FSCIL) enables machine learning systems to expand their inference capabilities to new classes using only a few labeled examples, without forgetting the previously learned classes. Classical backpropagation-based learning and its variants are often unsuitable for battery-powered, memory-constrained systems at the extreme edge. In this work, we introduce Online Few-Shot Class-Incremental Learning (O-FSCIL), based on a lightweight model consisting of a pretrained and metalearned feature extractor and an expandable explicit memory storing the class prototypes. The architecture is pretrained with a novel feature orthogonality regularization and metalearned with a multi-margin loss. For learning a new class, our approach extends the explicit memory with novel class prototypes, while the remaining architecture is kept frozen. This allows learning previously unseen classes based on only a few examples with one single pass (hence online). O-FSCIL obtains an average accuracy of 68.62% on the FSCIL CIFAR100 benchmark, achieving state-of-the-art results. Tailored for ultra-low-power platforms, we implement O-FSCIL on the 60 mW GAP9 microcontroller, demonstrating online learning capabilities within just 12 mJ per new class.
• Abstract（参考訳）: FSCIL(Few-Shot Class-Incremental Learning)は、学習済みのクラスを忘れることなく、ラベル付きサンプルのみを使用して、機械学習システムが推論能力を新しいクラスに拡張することを可能にする。 古典的なバックプロパゲーションベースの学習とその変種は、バッテリー駆動のメモリ制約のある極端のシステムにはよく適さない。 本稿では,事前学習された特徴抽出器と,クラスプロトタイプを記憶する拡張可能な明示的メモリからなる軽量モデルに基づいて,オンライン・マイナショット・クラスインクリメンタル・ラーニング(o-fscil)を導入する。 アーキテクチャは、新規な直交正則化で事前訓練され、マルチマージン損失で金属化された。 新しいクラスを学ぶために、我々のアプローチは明示的なメモリを新しいクラスのプロトタイプで拡張し、残りのアーキテクチャは凍結されます。 これにより、単一のパス(オンライン)を持つ少数の例に基づいて、これまで見つからなかったクラスを学ぶことができる。 O-FSCIL は FSCIL CIFAR100 ベンチマークで平均68.62% の精度を得る。 超低消費電力プラットフォーム向けに設計され、60mW GAP9マイクロコントローラにO-FSCILを実装し、新しいクラスにつきわずか12mJでオンライン学習能力を示す。

関連論文リスト

• Towards Non-Exemplar Semi-Supervised Class-Incremental Learning [33.560003528712414]
  クラス増分学習は、古いクラスの識別性を保ちながら、新しいクラスを徐々に認識することを目的としている。 コントラスト学習と半教師付きインクリメンタルプロトタイプ分類器(Semi-IPC)を用いた非経験的半教師付きCILフレームワークを提案する。 Semi-IPCは教師なしの正規化で各クラスのプロトタイプを学習し、部分的にラベル付けされた新しいデータからモデルを漸進的に学習することを可能にする。
  論文  参考訳（メタデータ） (2024-03-27T06:28:19Z)
• Learning Prompt with Distribution-Based Feature Replay for Few-Shot Class-Incremental Learning [56.29097276129473]
  分散型特徴再現(LP-DiF)を用いた学習プロンプト(Learning Prompt)という,シンプルで効果的なフレームワークを提案する。 新しいセッションでは,学習可能なプロンプトが古い知識を忘れないようにするため,擬似機能的リプレイ手法を提案する。 新しいセッションに進むと、古いクラスのディストリビューションと現在のセッションのトレーニングイメージを組み合わせて擬似フィーチャーをサンプリングして、プロンプトを最適化する。
  論文  参考訳（メタデータ） (2024-01-03T07:59:17Z)
• Few-Shot Class-Incremental Learning via Training-Free Prototype Calibration [67.69532794049445]
  既存のメソッドでは、新しいクラスのサンプルをベースクラスに誤分類する傾向があり、新しいクラスのパフォーマンスが低下する。 我々は,新しいクラスの識別性を高めるため,簡易かつ効果的なトレーニング-フレア・カロブラシアン (TEEN) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-08T18:24:08Z)
• Class Incremental Learning with Self-Supervised Pre-Training and Prototype Learning [21.901331484173944]
  授業の段階的学習における破滅的忘れの原因を分析した。 固定エンコーダと漸進的に更新されたプロトタイプ分類器を備えた2段階学習フレームワークを提案する。 本手法は古いクラスを保存したサンプルに頼らず,非例ベースのCIL法である。
  論文  参考訳（メタデータ） (2023-08-04T14:20:42Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Class-Incremental Learning: A Survey [84.30083092434938]
  CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れることを可能にする。 CILは、前者の特徴を壊滅的に忘れる傾向にあり、その性能は劇的に低下する。 ベンチマーク画像分類タスクにおける17の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
  論文  参考訳（メタデータ） (2023-02-07T17:59:05Z)
• Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
  モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。 古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。 我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-03-31T13:46:41Z)
• Constrained Few-shot Class-incremental Learning [14.646083882851928]
  古いクラスの知識を忘れずに新しいデータから新しいクラスを継続的に学習することは、非常に難しい研究課題である。 本稿では,C-FSCILを提案する。C-FSCILは,凍結したメタ学習特徴抽出器,トレーニング可能な固定サイズ全接続層,動的に成長するメモリから構成される。 C-FSCILは3つの更新モードを提供し、新しいクラスを学習する際の正確性と計算メモリコストのトレードオフを提供する。
  論文  参考訳（メタデータ） (2022-03-30T18:19:36Z)
• Self-Supervised Class Incremental Learning [51.62542103481908]
  既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。 新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。 本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
  論文  参考訳（メタデータ） (2021-11-18T06:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。