Fugu-MT 論文翻訳(概要): Few-Shot Lifelong Learning

論文の概要: Few-Shot Lifelong Learning

arxiv url: http://arxiv.org/abs/2103.00991v1
Date: Mon, 1 Mar 2021 13:26:57 GMT
ステータス: 処理完了
システム内更新日: 2021-03-03 16:33:36.340615
Title: Few-Shot Lifelong Learning
Title（参考訳）: Few-Shot Lifelong Learning
Authors: Pratik Mazumder, Pravendra Singh, Piyush Rai
Abstract要約: Few-Shot Lifelong Learningにより、深層学習モデルが短距離/連続学習を実行できます。提案手法では,モデルからごく少数のパラメータを選択して,モデル全体をトレーニングする代わりに,新しいクラスのセットをトレーニングする。提案手法は, miniImageNet, CIFAR-100, CUB-200データセットにおいて, 既存の手法よりも優れていることを示す。
参考スコア（独自算出の注目度）: 35.05196800623617
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Many real-world classification problems often have classes with very few labeled training samples. Moreover, all possible classes may not be initially available for training, and may be given incrementally. Deep learning models need to deal with this two-fold problem in order to perform well in real-life situations. In this paper, we propose a novel Few-Shot Lifelong Learning (FSLL) method that enables deep learning models to perform lifelong/continual learning on few-shot data. Our method selects very few parameters from the model for training every new set of classes instead of training the full model. This helps in preventing overfitting. We choose the few parameters from the model in such a way that only the currently unimportant parameters get selected. By keeping the important parameters in the model intact, our approach minimizes catastrophic forgetting. Furthermore, we minimize the cosine similarity between the new and the old class prototypes in order to maximize their separation, thereby improving the classification performance. We also show that integrating our method with self-supervision improves the model performance significantly. We experimentally show that our method significantly outperforms existing methods on the miniImageNet, CIFAR-100, and CUB-200 datasets. Specifically, we outperform the state-of-the-art method by an absolute margin of 19.27% for the CUB dataset.
Abstract（参考訳）: 多くの現実世界の分類問題には、ラベル付きトレーニングサンプルがほとんどないクラスがしばしば存在する。さらに、すべての可能なクラスは、最初はトレーニングに利用できず、段階的に与えられることがあります。ディープラーニングモデルは、現実の状況でうまく機能するために、この2つの問題に対処する必要がある。本論文では,深層学習モデルが短距離/連続学習を行うことを可能にするFew-Shot Lifelong Learning (FSLL)法を提案する。提案手法では,モデルからごく少数のパラメータを選択して,モデル全体をトレーニングする代わりに,新しいクラスのセットをトレーニングする。これは過剰フィットを防ぐのに役立つ。現在重要でないパラメータのみが選択されるように、モデルからいくつかのパラメータを選択します。モデル内の重要なパラメータをそのまま保持することで、破滅的な忘れを最小化します。さらに,その分離を最大化するために,新しいプロトタイプと古いプロトタイプのコサイン類似性を最小化し,分類性能を向上する。また,本手法を自己スーパービジョンと統合することで,モデル性能が大幅に向上することを示す。提案手法は, miniImageNet, CIFAR-100, CUB-200データセットにおいて, 既存の手法よりも優れていることを示す。具体的には、CUBデータセットの絶対マージン19.27%で最先端の手法を上回ります。

関連論文リスト

LoRA Unlearns More and Retains More (Student Abstract) [0.0]
PruneLoRAは、モデルに低ランクの更新を適用することで、大規模なパラメータ更新の必要性を減らす。そこで我々はLoRAを利用してプルーンドモデルのパラメータのサブセットを選択的に修正し、計算コスト、メモリ要件を低減し、残りのクラスの性能を維持するモデルの能力を向上させる。
論文参考訳（メタデータ） (2024-11-16T16:47:57Z)
Machine Unlearning on Pre-trained Models by Residual Feature Alignment Using LoRA [15.542668474378633]
本稿では,事前学習モデルを用いた新しい機械学習手法を提案する。 LoRAを利用して、モデルの中間機能を事前訓練された特徴と残像に分解する。本手法は,保持集合上のゼロ残差を学習し,未学習集合上でシフト残差を学習することを目的としている。
論文参考訳（メタデータ） (2024-11-13T08:56:35Z)
Truncated Consistency Models [57.50243901368328]
トレーニング一貫性モデルは、PF ODE 軌道に沿ったすべての中間点を対応するエンドポイントにマッピングする学習を必要とする。このトレーニングパラダイムが一貫性モデルの1ステップ生成性能を制限することを実証的に見出した。整合性関数の新しいパラメータ化と2段階の訓練手順を提案し,時間外学習が崩壊することを防ぐ。
論文参考訳（メタデータ） (2024-10-18T22:38:08Z)
Class-Incremental Learning with CLIP: Adaptive Representation Adjustment and Parameter Fusion [10.322832012497722]
クラス増分学習(class-incremental learning)は難しい問題であり、目標は、時間とともに増加するクラスからデータを分類できるモデルをトレーニングすることである。 CLIPのような視覚言語で事前訓練されたモデルの進歩により、彼らは優れた一般化能力を示した。しかし、単にモデルを微調整することで、下流タスクへのさらなる適応は、ひどく忘れてしまう。事前訓練されたモデルを用いた既存の研究の多くは、モデルが新しい知識を得るとき、古いクラスを忘れることは一様であると仮定している。
論文参考訳（メタデータ） (2024-07-19T09:20:33Z)
FD-Align: Feature Discrimination Alignment for Fine-tuning Pre-Trained Models in Few-Shot Learning [21.693779973263172]
本稿では,特徴識別アライメント(FD-Align)と呼ばれる微調整手法を提案する。本手法は,突発的特徴の一貫性を保ち,モデルの一般化可能性を高めることを目的としている。一度微調整すると、モデルは既存のメソッドとシームレスに統合され、パフォーマンスが向上する。
論文参考訳（メタデータ） (2023-10-23T17:12:01Z)
RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文参考訳（メタデータ） (2023-07-05T12:49:02Z)
Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文参考訳（メタデータ） (2022-12-19T20:46:43Z)
FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文参考訳（メタデータ） (2022-04-10T11:38:33Z)
Class-Incremental Learning with Strong Pre-trained Models [97.84755144148535]
CIL(Class-incremental Learning)は、少数のクラス(ベースクラス)から始まる設定で広く研究されている。我々は、多数のベースクラスで事前訓練された強力なモデルから始まるCILの実証済み実世界の設定について検討する。提案手法は、解析されたCIL設定すべてに頑健で一般化されている。
論文参考訳（メタデータ） (2022-04-07T17:58:07Z)
Overcoming Catastrophic Forgetting in Incremental Few-Shot Learning by Finding Flat Minima [23.97486216731355]
本稿では,いくつかの例で新たなカテゴリを継続的に認識するモデルを必要とする,漸進的な数ショット学習について考察する。我々の研究は、既存の手法が、漸進学習においてよく知られた、破滅的な忘れ込みにひどく悩まされていることを示唆している。そこで本研究では,基礎訓練対象関数の平坦な局所最小値の探索を行い,新しいタスクに基づいて平坦な領域内のモデルパラメータを微調整する。
論文参考訳（メタデータ） (2021-10-30T14:00:40Z)
Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文参考訳（メタデータ） (2021-08-26T04:42:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。