論文の概要: ZS-IL: Looking Back on Learned ExperiencesFor Zero-Shot Incremental
Learning
- arxiv url: http://arxiv.org/abs/2103.12216v1
- Date: Mon, 22 Mar 2021 22:43:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-24 13:56:46.886022
- Title: ZS-IL: Looking Back on Learned ExperiencesFor Zero-Shot Incremental
Learning
- Title(参考訳): ZS-IL:ゼロショットインクリメンタル学習の学習経験を振り返る
- Authors: Mozhgan PourKeshavarz, Mohammad Sabokrou
- Abstract要約: データストリームで新しいクラスが発生するたびに過去の体験を提供するオンコール転送セットを提案します。
ZS-ILは、よく知られたデータセット(CIFAR-10、Tiny-ImageNet)において、Task-ILとClass-ILの両方で大幅にパフォーマンスが向上している。
- 参考スコア(独自算出の注目度): 9.530976792843495
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Classical deep neural networks are limited in their ability to learn from
emerging streams of training data. When trained sequentially on new or evolving
tasks, their performance degrades sharply, making them inappropriate in
real-world use cases. Existing methods tackle it by either storing old data
samples or only updating a parameter set of DNNs, which, however, demands a
large memory budget or spoils the flexibility of models to learn the
incremented class distribution. In this paper, we shed light on an on-call
transfer set to provide past experiences whenever a new class arises in the
data stream. In particular, we propose a Zero-Shot Incremental Learning not
only to replay past experiences the model has learned but also to perform this
in a zero-shot manner. Towards this end, we introduced a memory recovery
paradigm in which we query the network to synthesize past exemplars whenever a
new task (class) emerges. Thus, our method needs no fixed-sized memory, besides
calls the proposed memory recovery paradigm to provide past exemplars, named a
transfer set in order to mitigate catastrophically forgetting the former
classes. Moreover, in contrast with recently proposed methods, the suggested
paradigm does not desire a parallel architecture since it only relies on the
learner network. Compared to the state-of-the-art data techniques without
buffering past data samples, ZS-IL demonstrates significantly better
performance on the well-known datasets (CIFAR-10, Tiny-ImageNet) in both
Task-IL and Class-IL settings.
- Abstract(参考訳): 古典的なディープニューラルネットワークは、トレーニングデータの新たなストリームから学ぶ能力に制限がある。
新しいタスクや進化するタスクを逐次トレーニングすると、パフォーマンスが急激に低下し、現実のユースケースでは不適切になる。
既存のメソッドでは、古いデータサンプルを格納するか、パラメータセットのdnnだけを更新するかのいずれかで対処しているが、これは大きなメモリ予算を必要とするか、増分されたクラス分布を学ぶためのモデルの柔軟性を損なう。
本稿では,データストリームに新しいクラスが出現するたびに過去の体験を提供するために,オンコール転送セットに光を当てる。
特に,ゼロショットインクリメンタル学習は,モデルが学習した過去の経験を再現するだけでなく,ゼロショットでこれを行うためのものである。
この目的に向けて,新しいタスク(クラス)が出現するたびに,過去の例を合成するためにネットワークに問い合わせるメモリリカバリパラダイムを導入した。
したがって、本手法ではメモリサイズの固定化を必要とせず、過去のメモリ回復パラダイムを呼び出し、過去のクラスを壊滅的に忘れないよう転送セットを命名する。
さらに,最近提案された手法とは対照的に,提案手法は学習者ネットワークにのみ依存するため,並列アーキテクチャを望まない。
過去のデータサンプルをバッファリングしない最先端のデータテクニックと比較して、ZS-ILは、タスク-ILとクラス-ILの両方の設定でよく知られたデータセット(CIFAR-10、Tiny-ImageNet)において、はるかに優れたパフォーマンスを示している。
関連論文リスト
- CEAT: Continual Expansion and Absorption Transformer for Non-Exemplar
Class-Incremental Learning [34.59310641291726]
現実のアプリケーションでは、動的シナリオは、古い知識を忘れずに新しいタスクを継続的に学習する能力を持つ必要がある。
連続膨張吸収変圧器(CEAT)という新しいアーキテクチャを提案する。
このモデルは、凍結した前のパラメータと平行に拡散層を拡張することで、新しい知識を学ぶことができる。
モデルの学習能力を向上させるために,特徴空間における古クラスと新クラスの重複を低減するために,新しいプロトタイプを設計した。
論文 参考訳(メタデータ) (2024-03-11T12:40:12Z) - Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳(メタデータ) (2024-01-12T12:51:12Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳(メタデータ) (2023-06-21T01:43:25Z) - Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。
注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。
検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
論文 参考訳(メタデータ) (2023-06-12T15:52:02Z) - A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。
素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。
これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文 参考訳(メタデータ) (2022-10-10T08:27:28Z) - New Insights on Reducing Abrupt Representation Change in Online
Continual Learning [69.05515249097208]
我々は、以前に観測されていないクラスが入ってくるデータストリームに現れるときに発生する観測データの表現の変化に焦点を当てる。
Experience Replayを適用すると、新たに追加されたクラスの表現が以前のクラスと大幅に重複することを示します。
本稿では,新しいクラスに対応するために,学習した表現を劇的な適応から保護することで,この問題を緩和する手法を提案する。
論文 参考訳(メタデータ) (2022-03-08T01:37:00Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳(メタデータ) (2022-02-21T13:25:03Z) - Representation Memorization for Fast Learning New Knowledge without
Forgetting [36.55736909586313]
新しい知識を素早く学習する能力は、人間レベルの知性への大きな一歩だ。
新しいクラスやデータ配布を迅速かつ漸進的に学ぶ必要があるシナリオを考えます。
本稿では,2つの課題に対処するため,メモリベースのヘビアン適応を提案する。
論文 参考訳(メタデータ) (2021-08-28T07:54:53Z) - Continual Learning via Bit-Level Information Preserving [88.32450740325005]
我々は情報理論のレンズを通して連続学習過程を研究する。
モデルパラメータの情報利得を維持するビットレベル情報保存(BLIP)を提案する。
BLIPは、連続的な学習を通してメモリオーバーヘッドを一定に保ちながら、ほとんど忘れることができない。
論文 参考訳(メタデータ) (2021-05-10T15:09:01Z) - ClaRe: Practical Class Incremental Learning By Remembering Previous
Class Representations [9.530976792843495]
クラスインクリメンタル学習(cil)は、新しい概念を完全に学習する傾向があるが、古いデータのパフォーマンスと正確性を犠牲にしない。
ClaReは、各インクリメントで学んだクラスの表現を覚えておくことで、CILの効率的なソリューションです。
ClaReは、以前に学習したクラスの分布から多様なインスタンスを生成するため、従来の方法よりも優れた一般化がある。
論文 参考訳(メタデータ) (2021-03-29T10:39:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。