論文の概要: Memory-Based Label-Text Tuning for Few-Shot Class-Incremental Learning
- arxiv url: http://arxiv.org/abs/2207.01036v1
- Date: Sun, 3 Jul 2022 13:15:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-06 09:40:41.178293
- Title: Memory-Based Label-Text Tuning for Few-Shot Class-Incremental Learning
- Title（参考訳）: Few-Shot Class-Incremental Learningのためのメモリベースラベルテキストチューニング
- Authors: Jinze Li, Yan Bai, Yihang Lou, Xiongkun Linghu, Jianzhong He, Shaoyun
Xu, Tao Bai
- Abstract要約: メモリプロンプトを用いてラベルテキスト情報を活用することを提案する。
メモリプロンプトは、新しいデータをシーケンシャルに学習し、一方、前の知識を記憶する。
実験の結果,提案手法は従来の最先端手法よりも優れていた。
- 参考スコア（独自算出の注目度）: 20.87638654650383
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Few-shot class-incremental learning(FSCIL) focuses on designing learning
algorithms that can continually learn a sequence of new tasks from a few
samples without forgetting old ones. The difficulties are that training on a
sequence of limited data from new tasks leads to severe overfitting issues and
causes the well-known catastrophic forgetting problem. Existing researches
mainly utilize the image information, such as storing the image knowledge of
previous tasks or limiting classifiers updating. However, they ignore analyzing
the informative and less noisy text information of class labels. In this work,
we propose leveraging the label-text information by adopting the memory prompt.
The memory prompt can learn new data sequentially, and meanwhile store the
previous knowledge. Furthermore, to optimize the memory prompt without
undermining the stored knowledge, we propose a stimulation-based training
strategy. It optimizes the memory prompt depending on the image embedding
stimulation, which is the distribution of the image embedding elements.
Experiments show that our proposed method outperforms all prior
state-of-the-art approaches, significantly mitigating the catastrophic
forgetting and overfitting problems.
- Abstract（参考訳）: FSCIL(Few-shot class-incremental Learning)は、古いタスクを忘れずに、少数のサンプルから新しいタスクのシーケンスを継続的に学習できる学習アルゴリズムを設計することに焦点を当てている。
困難は、新しいタスクから限られたデータ列のトレーニングが深刻な過剰フィッティング問題を引き起こし、よく知られた破滅的な忘れる問題を引き起こすことである。
既存の研究は主に、前のタスクの画像知識の保存や分類器更新の制限といった画像情報を利用する。
しかし、クラスラベルの情報やノイズの少ないテキスト情報の解析は無視している。
本稿では,メモリプロンプトを用いてラベルテキスト情報を活用することを提案する。
メモリプロンプトは、新しいデータをシーケンシャルに学習し、一方、前の知識を記憶する。
さらに,記憶された知識を損なうことなく記憶プロンプトを最適化するために,刺激に基づく学習戦略を提案する。
画像埋め込み要素の分布である画像埋め込み刺激に応じてメモリプロンプトを最適化する。
実験により,提案手法が先行手法のすべてに勝ることを示し,破滅的な放棄と過剰適合の問題を著しく軽減した。
関連論文リスト
- Reducing Catastrophic Forgetting in Online Class Incremental Learning Using Self-Distillation [3.8506666685467343]
連続学習では、モデルが新しいタスクを学ぶと、以前の知識は忘れられる。
本稿では, 自己蒸留による伝達可能な知識の獲得により, この問題の解決を試みた。
提案手法は,CIFAR10,CIFAR100,MinimageNetデータセットを用いた実験により従来の手法よりも優れていた。
論文 参考訳（メタデータ） (2024-09-17T16:26:33Z) - Lifelong Event Detection with Embedding Space Separation and Compaction [30.05158209938146]
既存のイベント検出方法は、通常、メモリモジュールを保持し、新しいタスクの学習中に記憶されたメモリデータを再生する。
メモリデータと新しいタスクサンプルの単純な組み合わせは、以前取得した知識をかなり忘れてしまう可能性がある。
本稿では,空間分離とコンパクト化に基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2024-04-03T06:51:49Z) - Few-Shot Class Incremental Learning with Attention-Aware Self-Adaptive Prompt [58.880105981772324]
ASP(Attention-Aware Self-Adaptive Prompt)という新しいフレームワークを提案する。
ASP.NETはタスク不変のプロンプトを奨励し、注意点から特定の情報を減らすことで共有知識をキャプチャする。
要約すると、ASPはベースタスクの過度な適合を防ぎ、数秒のインクリメンタルタスクで膨大なデータを必要としない。
論文 参考訳（メタデータ） (2024-03-14T20:34:53Z) - Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class
Incremental Learning [64.14254712331116]
非典型的なクラスインクリメンタル学習は、過去のトレーニングデータにアクセスすることなく、新しいタスクと古いタスクの両方を学ぶことを目的としている。
本稿では, きめ細かい知識選択と復元のための新しい枠組みを提案する。
論文 参考訳（メタデータ） (2023-12-20T02:34:11Z) - Improving Image Recognition by Retrieving from Web-Scale Image-Text Data [68.63453336523318]
本稿では,メモリから抽出した各サンプルの重要性を学習するアテンションベースのメモリモジュールを提案する。
既存の手法と比較して,提案手法は無関係な検索例の影響を排除し,入力クエリに有益であるものを保持する。
我々は、ImageNet-LT、Places-LT、Webvisionのデータセットで最先端の精度を実現していることを示す。
論文 参考訳（メタデータ） (2023-04-11T12:12:05Z) - Saliency-Augmented Memory Completion for Continual Learning [8.243137410556495]
忘れる方法は、継続的な学習に対処しなければならない問題である。
本稿では,連続学習のための新たなサリエンシ強化メモリ補完フレームワークを提案する。
論文 参考訳（メタデータ） (2022-12-26T18:06:39Z) - A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。
素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。
これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文 参考訳（メタデータ） (2022-10-10T08:27:28Z) - Representation Memorization for Fast Learning New Knowledge without
Forgetting [36.55736909586313]
新しい知識を素早く学習する能力は、人間レベルの知性への大きな一歩だ。
新しいクラスやデータ配布を迅速かつ漸進的に学ぶ必要があるシナリオを考えます。
本稿では,2つの課題に対処するため,メモリベースのヘビアン適応を提案する。
論文 参考訳（メタデータ） (2021-08-28T07:54:53Z) - Learning to Rehearse in Long Sequence Memorization [107.14601197043308]
既存の推論タスクは、しばしば、推論中に入力内容が常にアクセス可能であるという重要な仮定を持つ。
メモリ拡張ニューラルネットワークは、人間のような書き込み読み取りメモリを導入し、1回のパスで長い入力シーケンスを圧縮し記憶する。
しかし、2つの重大な欠点がある: 1) メモリを現在の情報から継続的に更新し、必然的に初期の内容を忘れる; 2) 重要な情報を区別せず、全てのコンテンツを平等に扱う。
本稿では,履歴サンプリング装置を用いた自己教師型リハーサルによる長期記憶向上のためのリハーサルメモリを提案する。
論文 参考訳（メタデータ） (2021-06-02T11:58:30Z) - Continual Learning via Bit-Level Information Preserving [88.32450740325005]
我々は情報理論のレンズを通して連続学習過程を研究する。
モデルパラメータの情報利得を維持するビットレベル情報保存(BLIP)を提案する。
BLIPは、連続的な学習を通してメモリオーバーヘッドを一定に保ちながら、ほとんど忘れることができない。
論文 参考訳（メタデータ） (2021-05-10T15:09:01Z) - ZS-IL: Looking Back on Learned ExperiencesFor Zero-Shot Incremental
Learning [9.530976792843495]
データストリームで新しいクラスが発生するたびに過去の体験を提供するオンコール転送セットを提案します。
ZS-ILは、よく知られたデータセット(CIFAR-10、Tiny-ImageNet)において、Task-ILとClass-ILの両方で大幅にパフォーマンスが向上している。
論文 参考訳（メタデータ） (2021-03-22T22:43:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。