論文の概要: Dense Network Expansion for Class Incremental Learning
- arxiv url: http://arxiv.org/abs/2303.12696v1
- Date: Wed, 22 Mar 2023 16:42:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-23 13:40:49.587673
- Title: Dense Network Expansion for Class Incremental Learning
- Title(参考訳): 授業増分学習のためのDense Network Expansion
- Authors: Zhiyuan Hu, Yunsheng Li, Jiancheng Lyu, Dashan Gao, Nuno Vasconcelos
- Abstract要約: 最先端のアプローチでは、ネットワーク拡張(NE)に基づいた動的アーキテクチャを使用し、タスクごとにタスクエキスパートを追加する。
精度とモデル複雑性のトレードオフを改善するために,新しい NE 手法である高密度ネットワーク拡張 (DNE) を提案する。
従来のSOTA法では、類似またはより小さなモデルスケールで、精度の点で4%のマージンで性能が向上した。
- 参考スコア(独自算出の注目度): 61.00081795200547
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The problem of class incremental learning (CIL) is considered.
State-of-the-art approaches use a dynamic architecture based on network
expansion (NE), in which a task expert is added per task. While effective from
a computational standpoint, these methods lead to models that grow quickly with
the number of tasks. A new NE method, dense network expansion (DNE), is
proposed to achieve a better trade-off between accuracy and model complexity.
This is accomplished by the introduction of dense connections between the
intermediate layers of the task expert networks, that enable the transfer of
knowledge from old to new tasks via feature sharing and reusing. This sharing
is implemented with a cross-task attention mechanism, based on a new task
attention block (TAB), that fuses information across tasks. Unlike traditional
attention mechanisms, TAB operates at the level of the feature mixing and is
decoupled with spatial attentions. This is shown more effective than a joint
spatial-and-task attention for CIL. The proposed DNE approach can strictly
maintain the feature space of old classes while growing the network and feature
scale at a much slower rate than previous methods. In result, it outperforms
the previous SOTA methods by a margin of 4\% in terms of accuracy, with similar
or even smaller model scale.
- Abstract(参考訳): クラスインクリメンタルラーニング(CIL)の問題点を考察する。
最先端のアプローチでは、ネットワーク拡張(ne)に基づいた動的アーキテクチャを使用し、タスクエキスパートをタスク毎に追加する。
計算の観点からは有効であるが、これらの手法はタスクの数に応じて急速に成長するモデルにつながる。
精度とモデル複雑性のトレードオフを改善するために,新しい NE 手法である高密度ネットワーク拡張 (DNE) を提案する。
これは、機能共有と再利用を通じて、古いタスクから新しいタスクへの知識の転送を可能にするタスクエキスパートネットワークの中間層間の密接な接続の導入によって実現される。
この共有は、タスク間で情報を融合する新しいタスクアテンションブロック(TAB)に基づいて、タスク間のアテンションメカニズムによって実装される。
従来の注意機構とは異なり、TABは特徴混合のレベルで動作し、空間的注意と分離される。
これはCILにおける共同空間・タスクの注意よりも効果的である。
提案したDNEアプローチは,従来の手法よりもはるかに遅い速度でネットワークと機能スケールを拡大しながら,古いクラスの機能空間を厳密に維持することができる。
その結果,従来のSOTA法よりも精度が4倍に向上し,モデルスケールも小さくなった。
関連論文リスト
- TaE: Task-aware Expandable Representation for Long Tail Class
Incremental Learning [40.099293186301225]
クラスインクリメンタルラーニング(CIL)は、古いクラスを忘れずに新しいクラスを学ぶ分類器を訓練することを目的としている。
本稿では,タスク固有のトレーニング可能なパラメータを動的に割り当て,更新する,タスク対応拡張可能(TaE)フレームワークを提案する。
我々はCentroid-Enhanced (CEd) 法を開発し、これらのタスク認識パラメータの更新をガイドする。
論文 参考訳(メタデータ) (2024-02-08T16:37:04Z) - Contextual Squeeze-and-Excitation for Efficient Few-Shot Image
Classification [57.36281142038042]
本稿では,事前学習したニューラルネットワークを新しいタスクで調整し,性能を大幅に向上させる,Contextual Squeeze-and-Excitation (CaSE) という適応ブロックを提案する。
また、メタトレーニングされたCaSEブロックと微調整ルーチンを利用して効率よく適応する、アッパーCaSEと呼ばれるコーディネートダイスに基づく新しいトレーニングプロトコルを提案する。
論文 参考訳(メタデータ) (2022-06-20T15:25:08Z) - TRGP: Trust Region Gradient Projection for Continual Learning [39.99577526417276]
破滅的な忘れは継続的な学習における大きな課題の1つだ。
本稿では,フォワード・ナレッジ・トランスファーを容易にするため,信頼領域のグラディエント・プロジェクションを提案する。
提案手法は,最先端手法よりも大幅に改善されている。
論文 参考訳(メタデータ) (2022-02-07T04:21:54Z) - GROWN: GRow Only When Necessary for Continual Learning [39.56829374809613]
ディープニューラルネットワーク(Deep Neural Networks, DNN)は、新しいタスクを学ぶ際に、以前のタスクに関する知識を忘れてしまう。
この問題に対処するために、新しいタスクを逐次学習し、忘れずに古いタスクから新しいタスクへの知識伝達を行う連続学習が開発された。
GROWNは、必要な時にのみモデルを動的に成長させる、新しいエンドツーエンドの継続的学習フレームワークである。
論文 参考訳(メタデータ) (2021-10-03T02:31:04Z) - Efficient Feature Transformations for Discriminative and Generative
Continual Learning [98.10425163678082]
継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。
これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。
本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
論文 参考訳(メタデータ) (2021-03-25T01:48:14Z) - Context Decoupling Augmentation for Weakly Supervised Semantic
Segmentation [53.49821324597837]
微調整されたセマンティックセグメンテーションは、近年深く研究されている困難な問題です。
本稿では、オブジェクトが現れる固有のコンテキストを変更する Context Decoupling Augmentation (CDA) メソッドを紹介します。
提案手法の有効性を検証するため, PASCAL VOC 2012データセットにいくつかの代替ネットワークアーキテクチャを用いた広範な実験を行い, CDAが様々なWSSS手法を新たな最先端技術に拡張できることを実証した。
論文 参考訳(メタデータ) (2021-03-02T15:05:09Z) - Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。
ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。
さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文 参考訳(メタデータ) (2020-12-31T08:21:37Z) - Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。
私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。
提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
論文 参考訳(メタデータ) (2020-09-24T15:40:55Z) - SpaceNet: Make Free Space For Continual Learning [15.914199054779438]
本研究では,クラスインクリメンタル学習シナリオのための新しいアーキテクチャベースのSpaceNetを提案する。
SpaceNetは、複数のニューロンで各タスクのスパース接続を圧縮する適応的な方法で、スクラッチから深層ニューラルネットワークを訓練する。
実験により,従来のタスクを忘れることに対する提案手法のロバストさと,モデルが利用可能な容量を利用する場合のSpaceNetの効率性を示す。
論文 参考訳(メタデータ) (2020-07-15T11:21:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。