論文の概要: D3Former: Debiased Dual Distilled Transformer for Incremental Learning
- arxiv url: http://arxiv.org/abs/2208.00777v3
- Date: Sat, 3 Jun 2023 11:48:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 04:54:04.834719
- Title: D3Former: Debiased Dual Distilled Transformer for Incremental Learning
- Title（参考訳）: D3Former: インクリメンタルラーニングのための脱バイアスデュアル蒸留変圧器
- Authors: Abdelrahman Mohamed, Rushali Grandhe, K J Joseph, Salman Khan, Fahad
Khan
- Abstract要約: クラスインクリメンタルラーニング(CIL)設定では、各学習フェーズのモデルにクラスのグループを導入します。
目標は、今まで観察されたすべてのクラスで統一されたモデルパフォーマンスを学習することである。
我々は、$textrmD3textrmFormer$というCIL用のデバイアスドデュアル蒸留トランスを開発した。
- 参考スコア（独自算出の注目度）: 25.65032941918354
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In class incremental learning (CIL) setting, groups of classes are introduced
to a model in each learning phase. The goal is to learn a unified model
performant on all the classes observed so far. Given the recent popularity of
Vision Transformers (ViTs) in conventional classification settings, an
interesting question is to study their continual learning behaviour. In this
work, we develop a Debiased Dual Distilled Transformer for CIL dubbed
$\textrm{D}^3\textrm{Former}$. The proposed model leverages a hybrid nested ViT
design to ensure data efficiency and scalability to small as well as large
datasets. In contrast to a recent ViT based CIL approach, our
$\textrm{D}^3\textrm{Former}$ does not dynamically expand its architecture when
new tasks are learned and remains suitable for a large number of incremental
tasks. The improved CIL behaviour of $\textrm{D}^3\textrm{Former}$ owes to two
fundamental changes to the ViT design. First, we treat the incremental learning
as a long-tail classification problem where the majority samples from new
classes vastly outnumber the limited exemplars available for old classes. To
avoid the bias against the minority old classes, we propose to dynamically
adjust logits to emphasize on retaining the representations relevant to old
tasks. Second, we propose to preserve the configuration of spatial attention
maps as the learning progresses across tasks. This helps in reducing
catastrophic forgetting by constraining the model to retain the attention on
the most discriminative regions. $\textrm{D}^3\textrm{Former}$ obtains
favorable results on incremental versions of CIFAR-100, MNIST, SVHN, and
ImageNet datasets. Code is available at https://tinyurl.com/d3former
- Abstract（参考訳）: クラスインクリメンタル学習(cil)の設定では、各学習段階において、クラスのグループがモデルに導入されます。
目標は、今まで観察されたすべてのクラスで統一モデルパフォーマンスを学習することである。
従来の分類環境における視覚変換器(ViT)の近年の人気を考えると,その継続的な学習行動を研究することが興味深い。
本研究では,Debiased Dual Distilled Transformer for CIL, $\textrm{D}^3\textrm{Former}$を開発した。
提案モデルでは,データ効率と拡張性を確保するために,ハイブリッドネスト型ViT設計を採用している。
最近の ViT ベースの CIL アプローチとは対照的に,我々の $\textrm{D}^3\textrm{Former}$ は,新しいタスクが学習されると動的にアーキテクチャを拡張せず,多数のインクリメンタルタスクに適している。
改善されたCILの振る舞いは、$\textrm{D}^3\textrm{Former}$の2つの基本的変更によるものである。
まず,段階的な学習を,新しいクラスからの大多数のサンプルが,古いクラスで利用可能な限られた例をはるかに上回っている,長期的分類問題として扱う。
マイノリティな古いクラスに対するバイアスを避けるため,ロジットを動的に調整し,古いタスクに関連する表現を維持することを強調することを提案する。
第2に,タスク間の学習が進むにつれて空間的注意マップの構成を維持することを提案する。
このことは、モデルを最も差別的な領域への注意を維持するよう制約することで、破滅的な忘れを減少させるのに役立つ。
$\textrm{D}^3\textrm{Former}$は、CIFAR-100、MNIST、SVHN、ImageNetデータセットのインクリメンタルバージョンで好ましい結果を得る。
コードはhttps://tinyurl.com/d3formerで入手できる。
関連論文リスト
- Class-Incremental Learning with CLIP: Adaptive Representation Adjustment and Parameter Fusion [10.322832012497722]
クラス増分学習(class-incremental learning)は難しい問題であり、目標は、時間とともに増加するクラスからデータを分類できるモデルをトレーニングすることである。
CLIPのような視覚言語で事前訓練されたモデルの進歩により、彼らは優れた一般化能力を示した。
しかし、単にモデルを微調整することで、下流タスクへのさらなる適応は、ひどく忘れてしまう。
事前訓練されたモデルを用いた既存の研究の多くは、モデルが新しい知識を得るとき、古いクラスを忘れることは一様であると仮定している。
論文 参考訳（メタデータ） (2024-07-19T09:20:33Z) - Inheritune: Training Smaller Yet More Attentive Language Models [61.363259848264725]
Inherituneは、より小型で高性能な言語モデルを開発するための、シンプルで効果的なトレーニングレシピである。
Inheritune は OpenWebText-9B や FineWeb_edu のようなデータセット上で GPT-2 モデルのさまざまなサイズのトレーニングを可能にする。
論文 参考訳（メタデータ） (2024-04-12T17:53:34Z) - Generative Multi-modal Models are Good Class-Incremental Learners [51.5648732517187]
クラス増分学習のための新しい生成型マルチモーダルモデル(GMM)フレームワークを提案する。
提案手法は適応生成モデルを用いて画像のラベルを直接生成する。
Few-shot CIL設定では、現在の最先端のすべてのメソッドに対して少なくとも14%精度が向上し、忘れてはならない。
論文 参考訳（メタデータ） (2024-03-27T09:21:07Z) - Expandable Subspace Ensemble for Pre-Trained Model-Based Class-Incremental Learning [65.57123249246358]
PTMベースのCILのためのExpAndable Subspace Ensemble (EASE)を提案する。
タスク固有のサブスペースを作成することを目的として、新しいタスクごとに異なる軽量アダプタモジュールをトレーニングする。
我々のプロトタイプ補完戦略は、古いクラスのインスタンスを使わずに、古いクラスの新機能を合成します。
論文 参考訳（メタデータ） (2024-03-18T17:58:13Z) - CEAT: Continual Expansion and Absorption Transformer for Non-Exemplar
Class-Incremental Learning [34.59310641291726]
現実のアプリケーションでは、動的シナリオは、古い知識を忘れずに新しいタスクを継続的に学習する能力を持つ必要がある。
連続膨張吸収変圧器(CEAT)という新しいアーキテクチャを提案する。
このモデルは、凍結した前のパラメータと平行に拡散層を拡張することで、新しい知識を学ぶことができる。
モデルの学習能力を向上させるために,特徴空間における古クラスと新クラスの重複を低減するために,新しいプロトタイプを設計した。
論文 参考訳（メタデータ） (2024-03-11T12:40:12Z) - Cross-Modal Adapter for Text-Video Retrieval [91.9575196703281]
我々はパラメータ効率の良い微調整のための新しい$textbfCross-Modal Adapterを提示する。
アダプタベースの手法にインスパイアされ、いくつかのパラメータ化レイヤで事前訓練されたモデルを調整します。
MSR-VTT、MSVD、VATEX、ActivityNet、DiDeMoデータセットで完全に微調整されたメソッドと比較して、優れた、あるいは同等のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2022-11-17T16:15:30Z) - Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。
古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。
我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2022-03-31T13:46:41Z) - Shared and Private VAEs with Generative Replay for Continual Learning [1.90365714903665]
継続的学習は、学習済みのタスクを忘れずに新しいタスクを学習しようとする。
既存のartificial neural network (ann)モデルのほとんどは失敗するが、人間は生涯にわたって過去の作品を思い出して同じことをする。
我々は,MNIST,Permuted MNIST(QMNIST),CIFAR100,MiniImageNetデータセットなどの視覚的連続学習ベンチマークにおいて,このハイブリッドモデルの有効性を示す。
論文 参考訳（メタデータ） (2021-05-17T06:18:36Z) - Improving Calibration for Long-Tailed Recognition [68.32848696795519]
このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。
異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。
提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
論文 参考訳（メタデータ） (2021-04-01T13:55:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。