Fugu-MT 論文翻訳(概要): Subspace Regularizers for Few-Shot Class Incremental Learning

論文の概要: Subspace Regularizers for Few-Shot Class Incremental Learning

arxiv url: http://arxiv.org/abs/2110.07059v1
Date: Wed, 13 Oct 2021 22:19:53 GMT
ステータス: 処理完了
システム内更新日: 2021-10-15 13:27:57.425332
Title: Subspace Regularizers for Few-Shot Class Incremental Learning
Title（参考訳）: 数ショットクラスインクリメンタル学習のための部分空間正規化器
Authors: Afra Feyza Aky\"urek, Ekin Aky\"urek, Derry Wijaya, Jacob Andreas
Abstract要約: 既存のクラスの重みに代表される部分空間に近づき、新しいクラスに対する重みベクトルを奨励する、新しい部分空間正規化スキームの族を示す。この結果から,クラス表現の幾何学的正則化は連続学習に有効なツールであることが示唆された。
参考スコア（独自算出の注目度）: 26.372024890126408
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Few-shot class incremental learning -- the problem of updating a trained classifier to discriminate among an expanded set of classes with limited labeled data -- is a key challenge for machine learning systems deployed in non-stationary environments. Existing approaches to the problem rely on complex model architectures and training procedures that are difficult to tune and re-use. In this paper, we present an extremely simple approach that enables the use of ordinary logistic regression classifiers for few-shot incremental learning. The key to this approach is a new family of subspace regularization schemes that encourage weight vectors for new classes to lie close to the subspace spanned by the weights of existing classes. When combined with pretrained convolutional feature extractors, logistic regression models trained with subspace regularization outperform specialized, state-of-the-art approaches to few-shot incremental image classification by up to 22% on the miniImageNet dataset. Because of its simplicity, subspace regularization can be straightforwardly extended to incorporate additional background information about the new classes (including class names and descriptions specified in natural language); these further improve accuracy by up to 2%. Our results show that simple geometric regularization of class representations offers an effective tool for continual learning.
Abstract（参考訳）: 限定されたラベル付きデータを持つ拡張されたクラス群を識別するために訓練された分類器を更新するという問題は、非定常環境にデプロイされる機械学習システムにとって重要な課題である。既存のアプローチでは、チューニングや再利用が難しい複雑なモデルアーキテクチャとトレーニング手順に依存しています。本稿では,ごく少量のインクリメンタル学習に通常のロジスティック回帰分類器を使用できる,極めて単純な手法を提案する。このアプローチの鍵となるのは、既存のクラスの重みにまたがる部分空間の近くに新しいクラスの重みベクトルを配置する、新しい部分空間正規化スキームの族である。事前訓練された畳み込み特徴抽出器と組み合わせると、サブスペース正規化で訓練されたロジスティック回帰モデルは、miniimagenetデータセット上で最大22%の最小ショットインクリメンタルな画像分類に対する特別な最先端のアプローチよりも優れている。その単純さのため、サブスペースの正規化は、新しいクラス(自然言語で指定されたクラス名や記述を含む)に関する追加のバックグラウンド情報を組み込むように簡単に拡張できる。その結果,クラス表現の単純幾何正規化は連続学習に有効なツールであることがわかった。

関連論文リスト

Covariance-based Space Regularization for Few-shot Class Incremental Learning [25.435192867105552]
FSCIL(Few-shot Class Incremental Learning)では,ラベル付きデータに制限のあるクラスを継続的に学習する必要がある。インクリメンタルセッションにおける限られたデータのため、モデルは新しいクラスを過度に適合させ、ベースクラスの破滅的な忘れを苦しむ傾向にある。最近の進歩は、基本クラス分布を制約し、新しいクラスの識別的表現を学習するプロトタイプベースのアプローチに頼っている。
論文参考訳（メタデータ） (2024-11-02T08:03:04Z)
Expandable Subspace Ensemble for Pre-Trained Model-Based Class-Incremental Learning [65.57123249246358]
PTMベースのCILのためのExpAndable Subspace Ensemble (EASE)を提案する。タスク固有のサブスペースを作成することを目的として、新しいタスクごとに異なる軽量アダプタモジュールをトレーニングする。我々のプロトタイプ補完戦略は、古いクラスのインスタンスを使わずに、古いクラスの新機能を合成します。
論文参考訳（メタデータ） (2024-03-18T17:58:13Z)
Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文参考訳（メタデータ） (2024-03-01T03:27:08Z)
Few-Shot Class-Incremental Learning via Training-Free Prototype Calibration [67.69532794049445]
既存のメソッドでは、新しいクラスのサンプルをベースクラスに誤分類する傾向があり、新しいクラスのパフォーマンスが低下する。我々は,新しいクラスの識別性を高めるため,簡易かつ効果的なトレーニング-フレア・カロブラシアン (TEEN) 戦略を提案する。
論文参考訳（メタデータ） (2023-12-08T18:24:08Z)
Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文参考訳（メタデータ） (2023-06-21T01:43:25Z)
Multi-Granularity Regularized Re-Balancing for Class Incremental Learning [32.52884416761171]
ディープラーニングモデルは、新しいタスクを学ぶときに破滅的な忘れに苦しむ。古いクラスと新しいクラスのデータの不均衡は、モデルのパフォーマンスが低下する鍵となる問題である。この問題を解決するために,仮定に依存しないマルチグラニュラリティ正規化再バランシング法を提案する。
論文参考訳（メタデータ） (2022-06-30T11:04:51Z)
Class-Incremental Learning with Strong Pre-trained Models [97.84755144148535]
CIL(Class-incremental Learning)は、少数のクラス(ベースクラス)から始まる設定で広く研究されている。我々は、多数のベースクラスで事前訓練された強力なモデルから始まるCILの実証済み実世界の設定について検討する。提案手法は、解析されたCIL設定すべてに頑健で一般化されている。
論文参考訳（メタデータ） (2022-04-07T17:58:07Z)
Incremental Few-Shot Learning via Implanting and Compressing [13.122771115838523]
増分的なFew-Shot Learningは、いくつかの例から新しいクラスを継続的に学習するモデルを必要とする。我々はtextbfImplanting と textbfCompressing と呼ばれる2段階の学習戦略を提案する。具体的には、textbfImplantingのステップにおいて、新しいクラスのデータ分布をデータ・アサンダント・ベース・セットの助けを借りて模倣することを提案する。 textbfのステップでは、特徴抽出器を各新規クラスを正確に表現し、クラス内コンパクト性を高める。
論文参考訳（メタデータ） (2022-03-19T11:04:43Z)
Self-Supervised Class Incremental Learning [51.62542103481908]
既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
論文参考訳（メタデータ） (2021-11-18T06:58:19Z)
Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
論文参考訳（メタデータ） (2021-04-07T10:54:51Z)
Fine-grained Angular Contrastive Learning with Coarse Labels [72.80126601230447]
教師付きおよび自己監督型コントラスト前訓練を効果的に組み合わせることができる新しい「Angularの正規化」モジュールを紹介します。この研究は、C2FS分類のこの新しい、挑戦的で、非常に実用的なトピックに関する将来の研究の道を開くのに役立ちます。
論文参考訳（メタデータ） (2020-12-07T08:09:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。