論文の概要: Pre-trained Vision and Language Transformers Are Few-Shot Incremental Learners
- arxiv url: http://arxiv.org/abs/2404.02117v1
- Date: Tue, 2 Apr 2024 17:23:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 15:30:03.128394
- Title: Pre-trained Vision and Language Transformers Are Few-Shot Incremental Learners
- Title（参考訳）: 事前学習された視覚と言語変換者は、インクリメンタル学習者が少ない
- Authors: Keon-Hee Park, Kyungwoo Song, Gyeong-Moon Park,
- Abstract要約: FSCIL(Few-Shot Class Incremental Learning)は、クラスごとにいくつかのサンプルしか与えられていないことを忘れずに、新しいクラスを漸進的に学習するモデルを必要とするタスクである。
FSCILは2つの大きな課題に直面している。
大規模なデータセットで事前訓練された視覚や言語変換器のような大規模モデルは、数発のインクリメンタル学習者には優れていると我々は主張する。
- 参考スコア（独自算出の注目度）: 19.579098962615795
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Few-Shot Class Incremental Learning (FSCIL) is a task that requires a model to learn new classes incrementally without forgetting when only a few samples for each class are given. FSCIL encounters two significant challenges: catastrophic forgetting and overfitting, and these challenges have driven prior studies to primarily rely on shallow models, such as ResNet-18. Even though their limited capacity can mitigate both forgetting and overfitting issues, it leads to inadequate knowledge transfer during few-shot incremental sessions. In this paper, we argue that large models such as vision and language transformers pre-trained on large datasets can be excellent few-shot incremental learners. To this end, we propose a novel FSCIL framework called PriViLege, Pre-trained Vision and Language transformers with prompting functions and knowledge distillation. Our framework effectively addresses the challenges of catastrophic forgetting and overfitting in large models through new pre-trained knowledge tuning (PKT) and two losses: entropy-based divergence loss and semantic knowledge distillation loss. Experimental results show that the proposed PriViLege significantly outperforms the existing state-of-the-art methods with a large margin, e.g., +9.38% in CUB200, +20.58% in CIFAR-100, and +13.36% in miniImageNet. Our implementation code is available at https://github.com/KHU-AGI/PriViLege.
- Abstract（参考訳）: FSCIL(Few-Shot Class Incremental Learning)は、クラスごとにいくつかのサンプルしか与えられていないことを忘れずに、新しいクラスを漸進的に学習するモデルを必要とするタスクである。
FSCILは、破滅的な忘れと過度な適合という2つの大きな課題に直面しており、これらの課題は、ResNet-18のような浅いモデルに主に依存するように先行研究を駆り立てている。
制限された能力は、問題を忘れたり、過度に適合させたりすることを軽減しますが、数ショットのインクリメンタルセッションでは、知識の伝達が不十分になります。
本稿では,大規模データセット上で事前学習した視覚や言語変換器などの大規模モデルは,数発のインクリメンタル学習に優れていると論じる。
そこで本研究では,機能や知識の蒸留を促進できるPriViLege,Pre-trained Vision,Language Transformerという新しいFSCILフレームワークを提案する。
本フレームワークは,新たな事前学習知識チューニング(PKT)と2つの損失 – エントロピーに基づく分散損失と意味的知識の蒸留損失 – を通じて,大規模モデルの破滅的な忘れと過剰適合の課題を効果的に解決する。
実験の結果,提案したPriViLegeは既存の最先端手法,例えばCUB200では+9.38%,CIFAR-100では+20.58%,miniImageNetでは+13.36%で大幅に優れていた。
私たちの実装コードはhttps://github.com/KHU-AGI/PriViLege.comで公開されています。
関連論文リスト
- Calibrating Higher-Order Statistics for Few-Shot Class-Incremental Learning with Pre-trained Vision Transformers [12.590571371294729]
FSCIL(Few-shot class-incremental Learning)は、学習済みのクラスを忘れずに、非常に少ないデータ(5つのサンプル)から新しいクラスにモデルを適応することを目的としている。
マルチショットCIL(MSCIL)の最近の研究は、事前訓練されたモデルを利用して、忘れを減らし、より優れた可塑性を実現する。
私たちは、大規模なデータセットで事前トレーニングされたViTモデルを数ショット設定で使用しています。
論文 参考訳（メタデータ） (2024-04-09T21:12:31Z) - The Emergence of Essential Sparsity in Large Pre-trained Models: The
Weights that Matter [113.35761858962522]
本稿では,複数の大きな事前学習された視覚と言語変換器のスパースパターンを誘導する。
本稿では,性能がはるかに速く低下する急激な落差点で定義される本質的疎度の存在を提案する。
また、N:Mのスパーシティパターンと近代的な大規模言語モデルに有効であることを示す。
論文 参考訳（メタデータ） (2023-06-06T15:49:09Z) - Strong Baselines for Parameter Efficient Few-Shot Fine-tuning [50.83426196335385]
FSC (Few-shot Classification) は、事前訓練(メタトレーニング)フェーズの後にクラス毎にいくつかの例を与えられた新しいクラスを学習する。
近年の研究では、新しいテストクラスで事前訓練された視覚変換器(ViT)を微調整することが、FSCにとって強力なアプローチであることが示されている。
しかし、微調整のViTは、時間、計算、ストレージに費用がかかる。
これにより、Transformerのパラメータのごく一部だけを微調整するPEFT法が考案された。
論文 参考訳（メタデータ） (2023-04-04T16:14:39Z) - Continual Learning with Transformers for Image Classification [12.028617058465333]
コンピュータビジョンでは、ニューラルネットワークモデルは、過去に何を学んだかを忘れずに、新しい概念を継続的に学習する。
本研究では,適応型適応器の蒸留法 (ADA) を開発した。
本手法は,モデルを再学習することなく,優れた予測性能を維持することを実証的に示す。
論文 参考訳（メタデータ） (2022-06-28T15:30:10Z) - PLATON: Pruning Large Transformer Models with Upper Confidence Bound of
Weight Importance [114.1541203743303]
本稿では,重要度推定の上位信頼度境界(UCB)による重要度スコアの不確かさを捉えるPLATONを提案する。
我々は、自然言語理解、質問応答、画像分類に関するトランスフォーマーモデルを用いて、広範囲にわたる実験を行った。
論文 参考訳（メタデータ） (2022-06-25T05:38:39Z) - Pushing the Limits of Simple Pipelines for Few-Shot Learning: External
Data and Fine-Tuning Make a Difference [74.80730361332711]
コンピュータビジョンにおいて、ほとんどショット学習は重要かつトピック的な問題である。
単純なトランスフォーマーベースのパイプラインは、標準ベンチマークで驚くほど優れたパフォーマンスが得られることを示す。
論文 参考訳（メタデータ） (2022-04-15T02:55:58Z) - In Defense of the Learning Without Forgetting for Task Incremental
Learning [91.3755431537592]
破滅的な忘れは、継続的な学習システムへの道のりにおける大きな課題の1つだ。
本稿では, タスクインクリメンタルシナリオにおいて, 正しいアーキテクチャと標準的な拡張セットを併用して, LwF が得られた結果が最新のアルゴリズムを上回り, タスクインクリメンタルシナリオが実現されたことを示す。
論文 参考訳（メタデータ） (2021-07-26T16:23:13Z) - Class-incremental Learning with Rectified Feature-Graph Preservation [24.098892115785066]
本論文の中心的なテーマは,逐次的な段階を経る新しいクラスを学習することである。
旧知識保存のための重み付きユークリッド正規化を提案する。
新しいクラスを効果的に学習するために、クラス分離を増やすためにバイナリクロスエントロピーでどのように機能するかを示す。
論文 参考訳（メタデータ） (2020-12-15T07:26:04Z) - Few-Shot Class-Incremental Learning [68.75462849428196]
本稿では,FSCIL問題に焦点をあてる。
FSCIL は CNN モデルに対して,学習済みのクラスを忘れることなく,ラベル付きサンプルのごく少数から新たなクラスを漸進的に学習することを求めている。
我々は,異なるクラスで形成される特徴多様体のトポロジーを学習し,保存するニューラルネットワーク(NG)ネットワークを用いて,知識を表現する。
論文 参考訳（メタデータ） (2020-04-23T03:38:33Z) - Novelty-Prepared Few-Shot Classification [24.42397780877619]
本稿では,自己補足型ソフトマックス・ロス(SSL)と呼ばれる新規な補足型損失関数を,数ショットの分類に使用することを提案する。
CUB-200-2011とmini-ImageNetデータセットの実験では、SSLが最先端の性能を大幅に向上させることを示した。
論文 参考訳（メタデータ） (2020-03-01T14:44:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。