論文の概要: Exemplar-Free Continual Transformer with Convolutions
- arxiv url: http://arxiv.org/abs/2308.11357v1
- Date: Tue, 22 Aug 2023 11:17:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-23 18:20:52.434923
- Title: Exemplar-Free Continual Transformer with Convolutions
- Title（参考訳）: コンボリューション付き外部フリー連続変圧器
- Authors: Anurag Roy, Vinay Kumar Verma, Sravan Voonna, Kripabandhu Ghosh,
Saptarshi Ghosh, Abir Das
- Abstract要約: 本稿では,ConTraCon と呼ばれるクラス/タスクの漸進学習のための,新しい例のないアプローチを提案する。
推論中にタスクIDを明示的に表示する必要はなく、以前のトレーニングインスタンスを保存する必要もない。
4つのベンチマークデータセットの実験では、提案手法がいくつかの競合的アプローチより優れていることが示されている。
- 参考スコア（独自算出の注目度）: 12.207329575724772
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continual Learning (CL) involves training a machine learning model in a
sequential manner to learn new information while retaining previously learned
tasks without the presence of previous training data. Although there has been
significant interest in CL, most recent CL approaches in computer vision have
focused on convolutional architectures only. However, with the recent success
of vision transformers, there is a need to explore their potential for CL.
Although there have been some recent CL approaches for vision transformers,
they either store training instances of previous tasks or require a task
identifier during test time, which can be limiting. This paper proposes a new
exemplar-free approach for class/task incremental learning called ConTraCon,
which does not require task-id to be explicitly present during inference and
avoids the need for storing previous training instances. The proposed approach
leverages the transformer architecture and involves re-weighting the key,
query, and value weights of the multi-head self-attention layers of a
transformer trained on a similar task. The re-weighting is done using
convolution, which enables the approach to maintain low parameter requirements
per task. Additionally, an image augmentation-based entropic task
identification approach is used to predict tasks without requiring task-ids
during inference. Experiments on four benchmark datasets demonstrate that the
proposed approach outperforms several competitive approaches while requiring
fewer parameters.
- Abstract（参考訳）: 継続学習(CL)は、機械学習モデルを逐次的にトレーニングして新しい情報を学ぶとともに、以前のトレーニングデータなしで学習したタスクを保持する。
CLには大きな関心があるが、コンピュータビジョンにおける最近のCLアプローチは畳み込みアーキテクチャのみに焦点を当てている。
しかし、近年のビジョントランスフォーマーの成功により、CLの可能性を探る必要がある。
ビジョントランスフォーマーの最近のCLアプローチはいくつかあるが、以前のタスクのトレーニングインスタンスを格納するか、テスト時にタスク識別子を必要とする。
本稿では,ConTraConと呼ばれる,クラス/タスクの漸進学習のための新しい例のないアプローチを提案する。
提案手法は、トランスアーキテクチャを活用し、同様のタスクでトレーニングされたトランスのマルチヘッド自己保持層のキー、クエリ、値重みを再重み付けする。
再重み付けは畳み込みを使って行われ、このアプローチはタスク毎の低パラメータ要求を維持することができる。
さらに、画像拡張に基づくエントロピー的タスク識別手法を用いて、推論中にタスクIDを必要とせずにタスクを予測する。
4つのベンチマークデータセットにおける実験は、提案手法がいくつかの競合アプローチを上回り、パラメータを少なくすることを示している。
関連論文リスト
- Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。
学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。
本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
論文 参考訳（メタデータ） (2024-07-09T15:45:04Z) - Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。
アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。
ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
論文 参考訳（メタデータ） (2024-05-23T08:43:09Z) - Dynamic Transformer Architecture for Continual Learning of Multimodal
Tasks [27.59758964060561]
トランスフォーマーニューラルネットワークは、さまざまなデータモダリティの幅広いアプリケーションにおいて、以前のアーキテクチャを置き換える傾向にある。
連続学習(CL)は、自律学習エージェントに順次到着するタスク間で知識の伝達を容易にすることで、ソリューションとして現れる。
本稿では,視覚と言語の両方に関わる学習タスクに着目したトランスフォーマーベースのCLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-27T03:03:30Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - Task Residual for Tuning Vision-Language Models [69.22958802711017]
タスク残差調整(TaskRes)と呼ばれる視覚言語モデル(VLM)のための新しい効率的なチューニング手法を提案する。
TaskResは、トレーニング済みモデルの事前知識とターゲットタスクに関する新たな知識を明示的に分離する。
提案されたTaskResは単純だが有効であり、11のベンチマークデータセットで以前のメソッドよりも大幅に上回っている。
論文 参考訳（メタデータ） (2022-11-18T15:09:03Z) - Effective Adaptation in Multi-Task Co-Training for Unified Autonomous
Driving [103.745551954983]
本稿では,3つの下流タスクにおけるMoCoやSimCLRなど,多種多様な自己監督手法の転送性能について検討する。
彼らのパフォーマンスは、サブ最適か、あるいはシングルタスクベースラインよりもはるかに遅れていることに気付きました。
汎用マルチタスクトレーニングのための,単純かつ効果的な事前訓練-適応-ファインチューンパラダイムを提案する。
論文 参考訳（メタデータ） (2022-09-19T12:15:31Z) - Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。
古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。
我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2022-03-31T13:46:41Z) - Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。
私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。
提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
論文 参考訳（メタデータ） (2020-09-24T15:40:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。