論文の概要: Gated Class-Attention with Cascaded Feature Drift Compensation for
Exemplar-free Continual Learning of Vision Transformers
- arxiv url: http://arxiv.org/abs/2211.12292v1
- Date: Tue, 22 Nov 2022 14:13:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-23 18:18:33.090218
- Title: Gated Class-Attention with Cascaded Feature Drift Compensation for
Exemplar-free Continual Learning of Vision Transformers
- Title(参考訳): 視覚変換器の非定型連続学習のためのカスケード特徴量補償付きゲーテッドクラスアテンション
- Authors: Marco Cotogni, Fei Yang, Claudio Cusano, Andrew D. Bagdanov, Joost van
de Weijer
- Abstract要約: 本稿では,ViTsの非正規クラスインクリメンタルトレーニングのための新しい手法を提案する。
本手法は,過去のタスクの代表例を格納することなく,既存の最先端メソッドよりも優れた性能を発揮する。
- 参考スコア(独自算出の注目度): 38.40290722515599
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In this paper we propose a new method for exemplar-free class incremental
training of ViTs. The main challenge of exemplar-free continual learning is
maintaining plasticity of the learner without causing catastrophic forgetting
of previously learned tasks. This is often achieved via exemplar replay which
can help recalibrate previous task classifiers to the feature drift which
occurs when learning new tasks. Exemplar replay, however, comes at the cost of
retaining samples from previous tasks which for some applications may not be
possible. To address the problem of continual ViT training, we first propose
gated class-attention to minimize the drift in the final ViT transformer block.
This mask-based gating is applied to class-attention mechanism of the last
transformer block and strongly regulates the weights crucial for previous
tasks. Secondly, we propose a new method of feature drift compensation that
accommodates feature drift in the backbone when learning new tasks. The
combination of gated class-attention and cascaded feature drift compensation
allows for plasticity towards new tasks while limiting forgetting of previous
ones. Extensive experiments performed on CIFAR-100, Tiny-ImageNet and
ImageNet100 demonstrate that our method outperforms existing exemplar-free
state-of-the-art methods without the need to store any representative exemplars
of past tasks.
- Abstract(参考訳): 本稿では,ViTの非正規クラスインクリメンタルトレーニングのための新しい手法を提案する。
exemplar-free 連続学習の主な課題は、学習者の可塑性を維持することである。
これはしばしば、以前のタスク分類器を新しいタスクを学ぶときに発生するフィーチャードリフトに再分類するのに役立ちます。
しかし、Exemplar Replayは、一部のアプリケーションでは不可能な、以前のタスクからのサンプルを保持するコストがかかる。
連続vit訓練の問題に対処するために,まず,最終vit変圧器ブロックのドリフトを最小化するゲート付きクラスアテンションを提案する。
このマスクベースのゲーティングは、最後の変圧器ブロックのクラスアテンション機構に適用され、以前のタスクに不可欠な重みを強く制御する。
次に,新しいタスクを学習する際にバックボーン内の特徴ドリフトに対応する新しい特徴ドリフト補償法を提案する。
ゲート型クラスアテンションとカスケード型機能ドリフト補償の組み合わせにより、以前のタスクの忘れを制限しながら、新しいタスクに対する可塑性を実現することができる。
CIFAR-100, Tiny-ImageNet, ImageNet100で行った大規模な実験により, 過去のタスクの代表例を格納することなく, 既存の最先端のメソッドよりも優れていたことが実証された。
関連論文リスト
- Elastic Feature Consolidation for Cold Start Exemplar-free Incremental
Learning [19.113777309056022]
本稿では,従来の課題に強く関連する方向のドリフトを規則化し,特徴表現を統一する,シンプルで効果的な手法を提案する。
EFC(Elastic Feature Consolidation)と呼ばれる我々の手法は、経験的特徴行列(EFM)に基づく2次特徴ドリフトの抽出可能な近似を利用する。
CIFAR-100、Tiny-ImageNet、ImageNet-Subset、ImageNet-1Kの実験結果から、弾性的特徴統合は、モデルの可塑性を維持し、最先端技術を大幅に上回ることによって、新しいタスクを学習できることを示した。
論文 参考訳(メタデータ) (2024-02-06T11:35:02Z) - Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳(メタデータ) (2024-01-12T12:51:12Z) - Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class
Incremental Learning [64.14254712331116]
非典型的なクラスインクリメンタル学習は、過去のトレーニングデータにアクセスすることなく、新しいタスクと古いタスクの両方を学ぶことを目的としている。
本稿では, きめ細かい知識選択と復元のための新しい枠組みを提案する。
論文 参考訳(メタデータ) (2023-12-20T02:34:11Z) - Exemplar-Free Continual Transformer with Convolutions [12.207329575724772]
本稿では,ConTraCon と呼ばれるクラス/タスクの漸進学習のための,新しい例のないアプローチを提案する。
推論中にタスクIDを明示的に表示する必要はなく、以前のトレーニングインスタンスを保存する必要もない。
4つのベンチマークデータセットの実験では、提案手法がいくつかの競合的アプローチより優れていることが示されている。
論文 参考訳(メタデータ) (2023-08-22T11:17:51Z) - Density Map Distillation for Incremental Object Counting [37.982124268097]
インクリメンタルなオブジェクトカウントに対するナイーブなアプローチは、破滅的な忘れ込みに悩まされ、以前のタスクに対する劇的なパフォーマンス低下に悩まされる。
密度マップ蒸留法 (DMD) と呼ばれる, 先例のない関数正規化手法を提案する。
トレーニング中,各タスクに新しいカウンタヘッドを導入し,従来のタスクを忘れないように蒸留損失を導入する。
論文 参考訳(メタデータ) (2023-04-11T14:46:21Z) - Continual Few-Shot Learning Using HyperTransformers [14.412066456583917]
我々は,複数のタスクが連続して到着するのを忘れずに,学習の課題に焦点をあてる。
我々は最近発表されたHyperTransformer (HT) を用いてこの問題にアプローチする。これはTransformerベースのハイパーネットワークで、サポートセットから直接タスク固有のCNN重みを生成する。
このようにして生成されたCNNウェイトは、以前に学習したタスクの表現として機能し、HTは、過去のタスクを忘れずに新しいタスクを学習できるように、これらの重みを更新するように訓練される。
論文 参考訳(メタデータ) (2023-01-11T17:27:47Z) - Exploring Efficient Few-shot Adaptation for Vision Transformers [70.91692521825405]
そこで本稿では,Few-shot LearningタスクにおけるVTの微調整を容易にするトランスフォーマーチューニング(eTT)手法を提案する。
新しく発表されたAttentive Prefix Tuning(APT)とDomain Residual Adapter(DRA)の主な新機能
我々は,我々のモデルの有効性を示す広範囲な実験を行った。
論文 参考訳(メタデータ) (2023-01-06T08:42:05Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳(メタデータ) (2022-02-21T13:25:03Z) - In Defense of the Learning Without Forgetting for Task Incremental
Learning [91.3755431537592]
破滅的な忘れは、継続的な学習システムへの道のりにおける大きな課題の1つだ。
本稿では, タスクインクリメンタルシナリオにおいて, 正しいアーキテクチャと標準的な拡張セットを併用して, LwF が得られた結果が最新のアルゴリズムを上回り, タスクインクリメンタルシナリオが実現されたことを示す。
論文 参考訳(メタデータ) (2021-07-26T16:23:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。