論文の概要: $\textrm{D}^3\textrm{Former}$: Debiased Dual Distilled Transformer for
Incremental Learning
- arxiv url: http://arxiv.org/abs/2208.00777v1
- Date: Mon, 25 Jul 2022 08:54:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-07 14:16:07.373385
- Title: $\textrm{D}^3\textrm{Former}$: Debiased Dual Distilled Transformer for
Incremental Learning
- Title(参考訳): $\textrm{d}^3\textrm{former}$:増分学習のための脱バイアス二重蒸留変圧器
- Authors: Abdelrahman Mohamed, Rushali Grandhe, KJ Joseph, Salman Khan, Fahad
Khan
- Abstract要約: クラスインクリメンタルラーニング(CIL)は、学習フェーズ毎に新しいクラスのグループに遭遇する分類モデルを学ぶことを伴う。
我々は、$textrmD3textrmFormer$というCIL用のデバイアスドデュアル蒸留トランスを開発した。
- 参考スコア(独自算出の注目度): 25.65032941918354
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Class incremental learning (CIL) involves learning a classification model
where groups of new classes are encountered in every learning phase. The goal
is to learn a unified model performant on all the classes observed so far.
Given the recent popularity of Vision Transformers (ViTs) in conventional
classification settings, an interesting question is to study their continual
learning behaviour. In this work, we develop a Debiased Dual Distilled
Transformer for CIL dubbed $\textrm{D}^3\textrm{Former}$. The proposed model
leverages a hybrid nested ViT design to ensure data efficiency and scalability
to small as well as large datasets. In contrast to a recent ViT based CIL
approach, our $\textrm{D}^3\textrm{Former}$ does not dynamically expand its
architecture when new tasks are learned and remains suitable for a large number
of incremental tasks. The improved CIL behaviour of
$\textrm{D}^3\textrm{Former}$ owes to two fundamental changes to the ViT
design. First, we treat the incremental learning as a long-tail classification
problem where the majority samples from new classes vastly outnumber the
limited exemplars available for old classes. To avoid biasness against the
minority old classes, we propose to dynamically adjust logits to emphasize on
retaining the representations relevant to old tasks. Second, we propose to
preserve the configuration of spatial attention maps as the learning progresses
across tasks. This helps in reducing catastrophic forgetting via constraining
the model to retain the attention on the most discriminative regions.
$\textrm{D}^3\textrm{Former}$ obtains favorable results on incremental versions
of CIFAR-100, MNIST, SVHN, and ImageNet datasets.
- Abstract(参考訳): クラスインクリメンタル学習(cil)は、学習段階ごとに新しいクラスのグループが遭遇する分類モデルを学ぶことを伴う。
目標は、今まで観察されたすべてのクラスで統一モデルパフォーマンスを学習することである。
従来の分類環境における視覚変換器(ViT)の近年の人気を考えると,その継続的な学習行動を研究することが興味深い。
本研究では,Debiased Dual Distilled Transformer for CIL, $\textrm{D}^3\textrm{Former}$を開発した。
提案モデルでは,データ効率と拡張性を確保するために,ハイブリッドネスト型ViT設計を採用している。
最近の ViT ベースの CIL アプローチとは対照的に,我々の $\textrm{D}^3\textrm{Former}$ は,新しいタスクが学習されると動的にアーキテクチャを拡張せず,多数のインクリメンタルタスクに適している。
改善されたCILの振る舞いは、$\textrm{D}^3\textrm{Former}$の2つの基本的変更によるものである。
まず,段階的な学習を,新しいクラスからの大多数のサンプルが,古いクラスで利用可能な限られた例をはるかに上回っている,長期的分類問題として扱う。
マイノリティな古いクラスに対する偏見を避けるため、ロジットを動的に調整し、古いタスクに関連する表現を維持することを強調することを提案する。
第2に,タスク間の学習が進むにつれて空間的注意マップの構成を維持することを提案する。
これは、最も差別的な領域への注意を維持するためにモデルを制約することで、破滅的な忘れを減らせるのに役立つ。
$\textrm{D}^3\textrm{Former}$は、CIFAR-100、MNIST、SVHN、ImageNetデータセットのインクリメンタルバージョンで好ましい結果を得る。
関連論文リスト
- CEAT: Continual Expansion and Absorption Transformer for Non-Exemplar
Class-Incremental Learning [34.59310641291726]
現実のアプリケーションでは、動的シナリオは、古い知識を忘れずに新しいタスクを継続的に学習する能力を持つ必要がある。
連続膨張吸収変圧器(CEAT)という新しいアーキテクチャを提案する。
このモデルは、凍結した前のパラメータと平行に拡散層を拡張することで、新しい知識を学ぶことができる。
モデルの学習能力を向上させるために,特徴空間における古クラスと新クラスの重複を低減するために,新しいプロトタイプを設計した。
論文 参考訳(メタデータ) (2024-03-11T12:40:12Z) - TaE: Task-aware Expandable Representation for Long Tail Class
Incremental Learning [40.099293186301225]
クラスインクリメンタルラーニング(CIL)は、古いクラスを忘れずに新しいクラスを学ぶ分類器を訓練することを目的としている。
本稿では,タスク固有のトレーニング可能なパラメータを動的に割り当て,更新する,タスク対応拡張可能(TaE)フレームワークを提案する。
我々はCentroid-Enhanced (CEd) 法を開発し、これらのタスク認識パラメータの更新をガイドする。
論文 参考訳(メタデータ) (2024-02-08T16:37:04Z) - Cross-Modal Adapter for Text-Video Retrieval [91.9575196703281]
我々はパラメータ効率の良い微調整のための新しい$textbfCross-Modal Adapterを提示する。
アダプタベースの手法にインスパイアされ、いくつかのパラメータ化レイヤで事前訓練されたモデルを調整します。
MSR-VTT、MSVD、VATEX、ActivityNet、DiDeMoデータセットで完全に微調整されたメソッドと比較して、優れた、あるいは同等のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2022-11-17T16:15:30Z) - Rethinking Hierarchicies in Pre-trained Plain Vision Transformer [76.35955924137986]
マスク付き画像モデリング(MIM)による自己教師付き事前学習型視覚変換器(ViT)は非常に効果的であることが証明されている。
カスタマイズされたアルゴリズムは、平易なViTのためにバニラと単純なMAEを使用する代わりに、例えばGreenMIMのような階層的なViTのために慎重に設計されるべきである。
本稿では,自己指導型事前学習から階層型アーキテクチャ設計を遠ざける新しいアイデアを提案する。
論文 参考訳(メタデータ) (2022-11-03T13:19:23Z) - SSMTL++: Revisiting Self-Supervised Multi-Task Learning for Video
Anomaly Detection [108.57862846523858]
自己教師型マルチタスク学習フレームワークを再考し、元の手法にいくつかのアップデートを提案する。
マルチヘッド・セルフアテンション・モジュールを導入することで3次元畳み込みバックボーンを近代化する。
モデルをさらに改良するために,セグメントマップの予測などの自己指導型学習タスクについて検討した。
論文 参考訳(メタデータ) (2022-07-16T19:25:41Z) - Not All Models Are Equal: Predicting Model Transferability in a
Self-challenging Fisher Space [51.62131362670815]
本稿では、トレーニング済みのディープニューラルネットワークのランク付けと、下流タスクにおける最も転送可能なニューラルネットワークのスクリーニングの問題に対処する。
textbfSelf-challenging textbfFisher textbfDiscriminant textbfAnalysis (textbfSFDA)と呼ばれる新しい転送可能性指標を提案する。
論文 参考訳(メタデータ) (2022-07-07T01:33:25Z) - Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。
古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。
我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2022-03-31T13:46:41Z) - Shared and Private VAEs with Generative Replay for Continual Learning [1.90365714903665]
継続的学習は、学習済みのタスクを忘れずに新しいタスクを学習しようとする。
既存のartificial neural network (ann)モデルのほとんどは失敗するが、人間は生涯にわたって過去の作品を思い出して同じことをする。
我々は,MNIST,Permuted MNIST(QMNIST),CIFAR100,MiniImageNetデータセットなどの視覚的連続学習ベンチマークにおいて,このハイブリッドモデルの有効性を示す。
論文 参考訳(メタデータ) (2021-05-17T06:18:36Z) - Improving Calibration for Long-Tailed Recognition [68.32848696795519]
このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。
異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。
提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
論文 参考訳(メタデータ) (2021-04-01T13:55:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。