論文の概要: Few-Shot Lifelong Learning
- arxiv url: http://arxiv.org/abs/2103.00991v1
- Date: Mon, 1 Mar 2021 13:26:57 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-03 16:33:36.340615
- Title: Few-Shot Lifelong Learning
- Title(参考訳): Few-Shot Lifelong Learning
- Authors: Pratik Mazumder, Pravendra Singh, Piyush Rai
- Abstract要約: Few-Shot Lifelong Learningにより、深層学習モデルが短距離/連続学習を実行できます。
提案手法では,モデルからごく少数のパラメータを選択して,モデル全体をトレーニングする代わりに,新しいクラスのセットをトレーニングする。
提案手法は, miniImageNet, CIFAR-100, CUB-200データセットにおいて, 既存の手法よりも優れていることを示す。
- 参考スコア(独自算出の注目度): 35.05196800623617
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many real-world classification problems often have classes with very few
labeled training samples. Moreover, all possible classes may not be initially
available for training, and may be given incrementally. Deep learning models
need to deal with this two-fold problem in order to perform well in real-life
situations. In this paper, we propose a novel Few-Shot Lifelong Learning (FSLL)
method that enables deep learning models to perform lifelong/continual learning
on few-shot data. Our method selects very few parameters from the model for
training every new set of classes instead of training the full model. This
helps in preventing overfitting. We choose the few parameters from the model in
such a way that only the currently unimportant parameters get selected. By
keeping the important parameters in the model intact, our approach minimizes
catastrophic forgetting. Furthermore, we minimize the cosine similarity between
the new and the old class prototypes in order to maximize their separation,
thereby improving the classification performance. We also show that integrating
our method with self-supervision improves the model performance significantly.
We experimentally show that our method significantly outperforms existing
methods on the miniImageNet, CIFAR-100, and CUB-200 datasets. Specifically, we
outperform the state-of-the-art method by an absolute margin of 19.27% for the
CUB dataset.
- Abstract(参考訳): 多くの現実世界の分類問題には、ラベル付きトレーニングサンプルがほとんどないクラスがしばしば存在する。
さらに、すべての可能なクラスは、最初はトレーニングに利用できず、段階的に与えられることがあります。
ディープラーニングモデルは、現実の状況でうまく機能するために、この2つの問題に対処する必要がある。
本論文では,深層学習モデルが短距離/連続学習を行うことを可能にするFew-Shot Lifelong Learning (FSLL)法を提案する。
提案手法では,モデルからごく少数のパラメータを選択して,モデル全体をトレーニングする代わりに,新しいクラスのセットをトレーニングする。
これは過剰フィットを防ぐのに役立つ。
現在重要でないパラメータのみが選択されるように、モデルからいくつかのパラメータを選択します。
モデル内の重要なパラメータをそのまま保持することで、破滅的な忘れを最小化します。
さらに,その分離を最大化するために,新しいプロトタイプと古いプロトタイプのコサイン類似性を最小化し,分類性能を向上する。
また,本手法を自己スーパービジョンと統合することで,モデル性能が大幅に向上することを示す。
提案手法は, miniImageNet, CIFAR-100, CUB-200データセットにおいて, 既存の手法よりも優れていることを示す。
具体的には、CUBデータセットの絶対マージン19.27%で最先端の手法を上回ります。
関連論文リスト
- Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳(メタデータ) (2023-12-07T07:17:24Z) - FD-Align: Feature Discrimination Alignment for Fine-tuning Pre-Trained
Models in Few-Shot Learning [21.693779973263172]
本稿では,特徴識別アライメント(FD-Align)と呼ばれる微調整手法を提案する。
本手法は,突発的特徴の一貫性を保ち,モデルの一般化可能性を高めることを目的としている。
一度微調整すると、モデルは既存のメソッドとシームレスに統合され、パフォーマンスが向上する。
論文 参考訳(メタデータ) (2023-10-23T17:12:01Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳(メタデータ) (2023-07-05T12:49:02Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳(メタデータ) (2022-12-19T20:46:43Z) - Zero-Shot Learners for Natural Language Understanding via a Unified
Multiple Choice Perspective [26.41585967095811]
ゼロショット学習は、与えられたタスクでモデルをトレーニングすることを目的としており、追加のトレーニングなしで新しい学習タスクに対処できる。
提案手法は、ゼロショット学習を複数選択タスクに変換し、FLANなどの大規模生成モデルで一般的に使用される問題を回避する。
提案手法は,いくつかのベンチマークにおいて最先端の性能を示し,自然言語推論やテキスト分類といったタスクに対して良好な結果をもたらす。
論文 参考訳(メタデータ) (2022-10-16T17:24:06Z) - FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。
本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文 参考訳(メタデータ) (2022-04-10T11:38:33Z) - Class-Incremental Learning with Strong Pre-trained Models [97.84755144148535]
CIL(Class-incremental Learning)は、少数のクラス(ベースクラス)から始まる設定で広く研究されている。
我々は、多数のベースクラスで事前訓練された強力なモデルから始まるCILの実証済み実世界の設定について検討する。
提案手法は、解析されたCIL設定すべてに頑健で一般化されている。
論文 参考訳(メタデータ) (2022-04-07T17:58:07Z) - Overcoming Catastrophic Forgetting in Incremental Few-Shot Learning by
Finding Flat Minima [23.97486216731355]
本稿では,いくつかの例で新たなカテゴリを継続的に認識するモデルを必要とする,漸進的な数ショット学習について考察する。
我々の研究は、既存の手法が、漸進学習においてよく知られた、破滅的な忘れ込みにひどく悩まされていることを示唆している。
そこで本研究では,基礎訓練対象関数の平坦な局所最小値の探索を行い,新しいタスクに基づいて平坦な領域内のモデルパラメータを微調整する。
論文 参考訳(メタデータ) (2021-10-30T14:00:40Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳(メタデータ) (2021-08-26T04:42:24Z) - A Primal-Dual Subgradient Approachfor Fair Meta Learning [23.65344558042896]
ショットのメタ学習は、その高速適応能力と、未知のタスクへの精度の一般化で有名である。
そこで本研究では,ごく少数の例を用いて,公正な機械学習モデルのトレーニングを学習するPrimal-Dual Meta-learningフレームワーク,すなわちPDFMを提案する。
論文 参考訳(メタデータ) (2020-09-26T19:47:38Z) - Novelty-Prepared Few-Shot Classification [24.42397780877619]
本稿では,自己補足型ソフトマックス・ロス(SSL)と呼ばれる新規な補足型損失関数を,数ショットの分類に使用することを提案する。
CUB-200-2011とmini-ImageNetデータセットの実験では、SSLが最先端の性能を大幅に向上させることを示した。
論文 参考訳(メタデータ) (2020-03-01T14:44:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。