論文の概要: Class-Incremental Learning by Knowledge Distillation with Adaptive
Feature Consolidation
- arxiv url: http://arxiv.org/abs/2204.00895v1
- Date: Sat, 2 Apr 2022 16:30:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-05 16:06:24.912254
- Title: Class-Incremental Learning by Knowledge Distillation with Adaptive
Feature Consolidation
- Title(参考訳): 適応的特徴統合を用いた知識蒸留によるクラスインクリメンタル学習
- Authors: Minsoo Kang, Jaeyoo Park, and Bohyung Han
- Abstract要約: 本稿では,ディープニューラルネットワークに基づく新しいクラスインクリメンタル学習手法を提案する。
以前のタスクの例を格納するためのメモリが限られている新しいタスクを継続的に学習する。
我々のアルゴリズムは知識蒸留に基づいており、古いモデルの表現を維持するための原則的な方法を提供する。
- 参考スコア(独自算出の注目度): 39.97128550414934
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a novel class incremental learning approach based on deep neural
networks, which continually learns new tasks with limited memory for storing
examples in the previous tasks. Our algorithm is based on knowledge
distillation and provides a principled way to maintain the representations of
old models while adjusting to new tasks effectively. The proposed method
estimates the relationship between the representation changes and the resulting
loss increases incurred by model updates. It minimizes the upper bound of the
loss increases using the representations, which exploits the estimated
importance of each feature map within a backbone model. Based on the
importance, the model restricts updates of important features for robustness
while allowing changes in less critical features for flexibility. This
optimization strategy effectively alleviates the notorious catastrophic
forgetting problem despite the limited accessibility of data in the previous
tasks. The experimental results show significant accuracy improvement of the
proposed algorithm over the existing methods on the standard datasets. Code is
available.
- Abstract(参考訳): 本稿では,より深いニューラルネットワークに基づく新しいクラスインクリメンタル学習手法を提案する。
本アルゴリズムは知識蒸留を基本とし,新しいタスクに効果的に適応しながら,古いモデルの表現を維持するための原理的な方法を提供する。
提案手法は,モデル更新によって生じる表現変化と結果損失の関係を推定する。
これは、バックボーンモデル内の各特徴マップの推定重要性を利用する表現を使用して、損失の増加の上限を最小化する。
重要度に基づいて、モデルは堅牢性のために重要な機能のアップデートを制限し、柔軟性のために重要でない機能の変更を可能にする。
この最適化戦略は、以前のタスクにおけるデータのアクセシビリティの制限にもかかわらず、悪名高い破滅的な忘れ問題を効果的に軽減する。
実験の結果,提案アルゴリズムは標準データセット上の既存手法に比べて精度が大幅に向上した。
コードは利用可能。
関連論文リスト
- EsaCL: Efficient Continual Learning of Sparse Models [10.227171407348326]
連続的な学習設定の主な課題は、以前に学習したタスクを実行する方法を忘れずに、タスクのシーケンスを効率的に学習することである。
本研究では,モデルの予測力に悪影響を及ぼすことなく,冗長なパラメータを自動生成する,スパースモデル(EsaCL)の効率的な連続学習法を提案する。
論文 参考訳(メタデータ) (2024-01-11T04:59:44Z) - Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class
Incremental Learning [64.14254712331116]
非典型的なクラスインクリメンタル学習は、過去のトレーニングデータにアクセスすることなく、新しいタスクと古いタスクの両方を学ぶことを目的としている。
本稿では, きめ細かい知識選択と復元のための新しい枠組みを提案する。
論文 参考訳(メタデータ) (2023-12-20T02:34:11Z) - Overcoming Generic Knowledge Loss with Selective Parameter Update [52.69948146218189]
基礎モデルを継続的に更新する新しい手法を提案する。
すべてのパラメータを均等に更新する代わりに、学習しているタスクに関連するパラメータのスパースセットにアップデートをローカライズします。
提案手法は,学習済みのタスクの精度を最大7%向上すると同時に,学習前知識を0.9%減少させることなく,代表制御セットの精度を低下させる。
論文 参考訳(メタデータ) (2023-08-23T22:55:45Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳(メタデータ) (2023-06-21T01:43:25Z) - Continual Learning with Pretrained Backbones by Tuning in the Input
Space [44.97953547553997]
ディープラーニングモデルを非定常環境に適用することの本質的な困難さは、ニューラルネットワークの実際のタスクへの適用性を制限している。
ネットワークの事前学習部分の更新を回避し、通常の分類ヘッドだけでなく、新たに導入した学習可能なパラメータのセットも学習することで、微調整手順をより効果的にするための新しい戦略を提案する。
論文 参考訳(メタデータ) (2023-06-05T15:11:59Z) - DLCFT: Deep Linear Continual Fine-Tuning for General Incremental
Learning [29.80680408934347]
事前学習した表現からモデルを連続的に微調整するインクリメンタルラーニングのための代替フレームワークを提案する。
本手法は, ニューラルネットワークの線形化手法を利用して, 単純かつ効果的な連続学習を行う。
本手法は,データ増分,タスク増分およびクラス増分学習問題において,一般的な連続学習設定に適用可能であることを示す。
論文 参考訳(メタデータ) (2022-08-17T06:58:14Z) - On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。
提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
論文 参考訳(メタデータ) (2022-03-08T09:57:48Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳(メタデータ) (2021-10-09T09:02:45Z) - DIODE: Dilatable Incremental Object Detection [15.59425584971872]
従来のディープラーニングモデルには、以前に学習した知識を保存する能力がない。
多段階インクリメンタル検出タスクのための拡張可能なインクリメンタルオブジェクト検出器(DIODE)を提案する。
提案手法は,新たに学習した各タスクのパラメータ数を1.2%増加させることで,最大6.4%の性能向上を実現する。
論文 参考訳(メタデータ) (2021-08-12T09:45:57Z) - Incremental Object Detection via Meta-Learning [77.55310507917012]
本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。
既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
論文 参考訳(メタデータ) (2020-03-17T13:40:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。