論文の概要: Dense Network Expansion for Class Incremental Learning

• arxiv url: http://arxiv.org/abs/2303.12696v1
• Date: Wed, 22 Mar 2023 16:42:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-23 13:40:49.587673
• Title: Dense Network Expansion for Class Incremental Learning
• Title（参考訳）: 授業増分学習のためのDense Network Expansion
• Authors: Zhiyuan Hu, Yunsheng Li, Jiancheng Lyu, Dashan Gao, Nuno Vasconcelos
• Abstract要約: 最先端のアプローチでは、ネットワーク拡張(NE)に基づいた動的アーキテクチャを使用し、タスクごとにタスクエキスパートを追加する。 精度とモデル複雑性のトレードオフを改善するために,新しい NE 手法である高密度ネットワーク拡張 (DNE) を提案する。 従来のSOTA法では、類似またはより小さなモデルスケールで、精度の点で4%のマージンで性能が向上した。
• 参考スコア（独自算出の注目度）: 61.00081795200547
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The problem of class incremental learning (CIL) is considered. State-of-the-art approaches use a dynamic architecture based on network expansion (NE), in which a task expert is added per task. While effective from a computational standpoint, these methods lead to models that grow quickly with the number of tasks. A new NE method, dense network expansion (DNE), is proposed to achieve a better trade-off between accuracy and model complexity. This is accomplished by the introduction of dense connections between the intermediate layers of the task expert networks, that enable the transfer of knowledge from old to new tasks via feature sharing and reusing. This sharing is implemented with a cross-task attention mechanism, based on a new task attention block (TAB), that fuses information across tasks. Unlike traditional attention mechanisms, TAB operates at the level of the feature mixing and is decoupled with spatial attentions. This is shown more effective than a joint spatial-and-task attention for CIL. The proposed DNE approach can strictly maintain the feature space of old classes while growing the network and feature scale at a much slower rate than previous methods. In result, it outperforms the previous SOTA methods by a margin of 4\% in terms of accuracy, with similar or even smaller model scale.
• Abstract（参考訳）: クラスインクリメンタルラーニング(CIL)の問題点を考察する。 最先端のアプローチでは、ネットワーク拡張(ne)に基づいた動的アーキテクチャを使用し、タスクエキスパートをタスク毎に追加する。 計算の観点からは有効であるが、これらの手法はタスクの数に応じて急速に成長するモデルにつながる。 精度とモデル複雑性のトレードオフを改善するために,新しい NE 手法である高密度ネットワーク拡張 (DNE) を提案する。 これは、機能共有と再利用を通じて、古いタスクから新しいタスクへの知識の転送を可能にするタスクエキスパートネットワークの中間層間の密接な接続の導入によって実現される。 この共有は、タスク間で情報を融合する新しいタスクアテンションブロック(TAB)に基づいて、タスク間のアテンションメカニズムによって実装される。 従来の注意機構とは異なり、TABは特徴混合のレベルで動作し、空間的注意と分離される。 これはCILにおける共同空間・タスクの注意よりも効果的である。 提案したDNEアプローチは,従来の手法よりもはるかに遅い速度でネットワークと機能スケールを拡大しながら,古いクラスの機能空間を厳密に維持することができる。 その結果,従来のSOTA法よりも精度が4倍に向上し,モデルスケールも小さくなった。

関連論文リスト

• CODE-CL: COnceptor-Based Gradient Projection for DEep Continual Learning [7.573297026523597]
  我々は,Deep Continual Learning (CODE-CL) のためのConceptor-based gradient projectionを導入する。 CODE-CLは、過去のタスクの入力空間における方向的重要性を符号化し、新しい知識統合を1-S$で変調する。 概念に基づく表現を用いてタスク重複を分析し,高い相関性を持つタスクを同定する。
  論文  参考訳（メタデータ） (2024-11-21T22:31:06Z)
• Joint Input and Output Coordination for Class-Incremental Learning [84.36763449830812]
  本稿では,これらの問題に対処するためのJIOC機構を提案する。 このメカニズムは、出力スコアの勾配に応じて異なるカテゴリのデータに異なる重みを割り当てる。 メモリストレージを使用するさまざまなインクリメンタルな学習アプローチに組み込むことができる。
  論文  参考訳（メタデータ） (2024-09-09T13:55:07Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• TaE: Task-aware Expandable Representation for Long Tail Class Incremental Learning [42.630413950957795]
  本稿では,各タスクから多様な表現を学習するための新しいタスク対応拡張(TaE)フレームワークを提案する。 TaEは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-08T16:37:04Z)
• GROWN: GRow Only When Necessary for Continual Learning [39.56829374809613]
  ディープニューラルネットワーク(Deep Neural Networks, DNN)は、新しいタスクを学ぶ際に、以前のタスクに関する知識を忘れてしまう。 この問題に対処するために、新しいタスクを逐次学習し、忘れずに古いタスクから新しいタスクへの知識伝達を行う連続学習が開発された。 GROWNは、必要な時にのみモデルを動的に成長させる、新しいエンドツーエンドの継続的学習フレームワークである。
  論文  参考訳（メタデータ） (2021-10-03T02:31:04Z)
• Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
  継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。 これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。 本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
  論文  参考訳（メタデータ） (2021-03-25T01:48:14Z)
• Context Decoupling Augmentation for Weakly Supervised Semantic Segmentation [53.49821324597837]
  微調整されたセマンティックセグメンテーションは、近年深く研究されている困難な問題です。 本稿では、オブジェクトが現れる固有のコンテキストを変更する Context Decoupling Augmentation (CDA) メソッドを紹介します。 提案手法の有効性を検証するため, PASCAL VOC 2012データセットにいくつかの代替ネットワークアーキテクチャを用いた広範な実験を行い, CDAが様々なWSSS手法を新たな最先端技術に拡張できることを実証した。
  論文  参考訳（メタデータ） (2021-03-02T15:05:09Z)
• Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
  現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。 ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。 さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
  論文  参考訳（メタデータ） (2020-12-31T08:21:37Z)
• SpaceNet: Make Free Space For Continual Learning [15.914199054779438]
  本研究では,クラスインクリメンタル学習シナリオのための新しいアーキテクチャベースのSpaceNetを提案する。 SpaceNetは、複数のニューロンで各タスクのスパース接続を圧縮する適応的な方法で、スクラッチから深層ニューラルネットワークを訓練する。 実験により,従来のタスクを忘れることに対する提案手法のロバストさと,モデルが利用可能な容量を利用する場合のSpaceNetの効率性を示す。
  論文  参考訳（メタデータ） (2020-07-15T11:21:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。