論文の概要: Learnable Expansion-and-Compression Network for Few-shot
Class-Incremental Learning
- arxiv url: http://arxiv.org/abs/2104.02281v1
- Date: Tue, 6 Apr 2021 04:34:21 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-07 14:08:00.002918
- Title: Learnable Expansion-and-Compression Network for Few-shot
Class-Incremental Learning
- Title(参考訳): クラスインクリメンタル学習のための学習可能な拡張圧縮ネットワーク
- Authors: Boyu Yang, Mingbao Lin, Binghao Liu, Mengying Fu, Chang Liu, Rongrong
Ji and Qixiang Ye
- Abstract要約: 破滅的忘れとモデルオーバーフィッティングの問題を解決するための学習可能な拡張・圧縮ネットワーク(LEC-Net)を提案する。
LEC-Netは機能の表現能力を拡大し、モデル正規化の観点から古いネットワークの特徴漂流を緩和します。
CUB/CIFAR-100データセットの実験では、LEC-Netがベースラインを57%改善し、最先端の56%を上回ります。
- 参考スコア(独自算出の注目度): 87.94561000910707
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Few-shot class-incremental learning (FSCIL), which targets at continuously
expanding model's representation capacity under few supervisions, is an
important yet challenging problem. On the one hand, when fitting new tasks
(novel classes), features trained on old tasks (old classes) could
significantly drift, causing catastrophic forgetting. On the other hand,
training the large amount of model parameters with few-shot novel-class
examples leads to model over-fitting. In this paper, we propose a learnable
expansion-and-compression network (LEC-Net), with the aim to simultaneously
solve catastrophic forgetting and model over-fitting problems in a unified
framework. By tentatively expanding network nodes, LEC-Net enlarges the
representation capacity of features, alleviating feature drift of old network
from the perspective of model regularization. By compressing the expanded
network nodes, LEC-Net purses minimal increase of model parameters, alleviating
over-fitting of the expanded network from a perspective of compact
representation. Experiments on the CUB/CIFAR-100 datasets show that LEC-Net
improves the baseline by 5~7% while outperforms the state-of-the-art by 5~6%.
LEC-Net also demonstrates the potential to be a general incremental learning
approach with dynamic model expansion capability.
- Abstract(参考訳): FSCIL(Few-shot class-incremental Learning)は,少数の監督下でモデルの表現能力を継続的に拡張することを目的とした,重要な課題である。
一方、新しいタスク(ノーベルクラス)を適合させると、古いタスク(オールドクラス)で訓練された機能は著しくドリフトし、破滅的な忘れ物になった。
一方、数発の新規な例で大量のモデルパラメータをトレーニングすることは、モデル過適合につながる。
本稿では,統合フレームワークにおける致命的な隠蔽問題とモデルオーバーフィッティング問題を同時に解決することを目的とした,学習可能な拡張圧縮ネットワーク(lec-net)を提案する。
ネットワークノードを暫定的に拡張することにより、lec-netは機能の表現能力を拡大し、モデル正規化の観点から古いネットワークの特徴ドリフトを緩和する。
拡張ネットワークノードを圧縮することにより、LEC-Netはモデルパラメータの最小増加を回避し、コンパクト表現の観点から拡張ネットワークの過度な適合を緩和する。
CUB/CIFAR-100データセットの実験では、LCC-Netはベースラインを5~7%改善し、最先端を5~6%向上した。
LEC-Netはまた、動的モデル拡張機能を備えた一般的な漸進的学習アプローチの可能性を示した。
関連論文リスト
- Subnetwork-to-go: Elastic Neural Network with Dynamic Training and
Customizable Inference [16.564868336748503]
本稿では,大規模ネットワークを訓練し,モデルサイズや複雑性の制約を考慮し,そのサブネットワークを柔軟に抽出する簡単な方法を提案する。
音源分離モデルによる実験結果から,提案手法は,異なるサブネットワークサイズと複雑度をまたいだ分離性能を効果的に向上できることが示された。
論文 参考訳(メタデータ) (2023-12-06T12:40:06Z) - Visual Prompting Upgrades Neural Network Sparsification: A Data-Model
Perspective [67.25782152459851]
より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。
具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
論文 参考訳(メタデータ) (2023-12-03T13:50:24Z) - Systematic Architectural Design of Scale Transformed Attention Condenser
DNNs via Multi-Scale Class Representational Response Similarity Analysis [93.0013343535411]
マルチスケールクラス表現応答類似性分析(ClassRepSim)と呼ばれる新しいタイプの分析法を提案する。
ResNetスタイルのアーキテクチャにSTACモジュールを追加すると、最大1.6%の精度が向上することを示す。
ClassRepSim分析の結果は、STACモジュールの効果的なパラメータ化を選択するために利用することができ、競争性能が向上する。
論文 参考訳(メタデータ) (2023-06-16T18:29:26Z) - Stitchable Neural Networks [40.8842135978138]
モデル展開のための新しいスケーラブルで効率的なフレームワークであるStitchable Neural Networks (SN-Net)を紹介する。
SN-Netは、アンカーをブロック/レイヤに分割し、単純な縫合層で縫合して、アンカーから別のアンカーへのアクティベーションをマッピングする。
ImageNet分類の実験では、SN-Netは、訓練された多くのネットワークよりも、オンパーまたはさらに優れたパフォーマンスを得ることができることが示されている。
論文 参考訳(メタデータ) (2023-02-13T18:37:37Z) - LilNetX: Lightweight Networks with EXtreme Model Compression and
Structured Sparsification [36.651329027209634]
LilNetXは、ニューラルネットワークのためのエンドツーエンドのトレーニング可能なテクニックである。
特定の精度-レート-計算トレードオフを持つ学習モデルを可能にする。
論文 参考訳(メタデータ) (2022-04-06T17:59:10Z) - Network Augmentation for Tiny Deep Learning [73.57192520534585]
ニューラルネットワークの性能向上のための新しいトレーニング手法であるNetAug(Net Aug)を紹介する。
画像分類と物体検出におけるNetAugの有効性を示す。
論文 参考訳(メタデータ) (2021-10-17T18:48:41Z) - DisCo: Remedy Self-supervised Learning on Lightweight Models with
Distilled Contrastive Learning [94.89221799550593]
SSL(Self-supervised representation Learning)はコミュニティから広く注目を集めている。
最近の研究では、モデルサイズが小さくなれば、その性能は低下すると主張している。
単純かつ効果的な蒸留コントラスト学習(DisCo)を提案し、問題を大きなマージンで緩和します。
論文 参考訳(メタデータ) (2021-04-19T08:22:52Z) - The Untapped Potential of Off-the-Shelf Convolutional Neural Networks [29.205446247063673]
ResNet-50のような既存の市販モデルは、ImageNet上で95%以上の精度を持つことを示す。
このレベルのパフォーマンスは現在、20倍以上のパラメータとはるかに複雑なトレーニング手順を持つモデルを上回る。
論文 参考訳(メタデータ) (2021-03-17T20:04:46Z) - The Self-Simplifying Machine: Exploiting the Structure of Piecewise
Linear Neural Networks to Create Interpretable Models [0.0]
本稿では,分類タスクに対するPiecewise Linear Neural Networksの単純化と解釈性向上のための新しい手法を提案する。
我々の手法には、トレーニングを伴わずに、訓練された深層ネットワークを使用して、良好なパフォーマンスと単一隠れ層ネットワークを生成する方法が含まれる。
これらの手法を用いて,モデル性能の予備的研究およびウェルズ・ファーゴのホームレンディングデータセットのケーススタディを行う。
論文 参考訳(メタデータ) (2020-12-02T16:02:14Z) - Dynamic Model Pruning with Feedback [64.019079257231]
余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。
CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
論文 参考訳(メタデータ) (2020-06-12T15:07:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。