論文の概要: Class-Incremental Learning by Knowledge Distillation with Adaptive Feature Consolidation

• arxiv url: http://arxiv.org/abs/2204.00895v1
• Date: Sat, 2 Apr 2022 16:30:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-05 16:06:24.912254
• Title: Class-Incremental Learning by Knowledge Distillation with Adaptive Feature Consolidation
• Title（参考訳）: 適応的特徴統合を用いた知識蒸留によるクラスインクリメンタル学習
• Authors: Minsoo Kang, Jaeyoo Park, and Bohyung Han
• Abstract要約: 本稿では,ディープニューラルネットワークに基づく新しいクラスインクリメンタル学習手法を提案する。 以前のタスクの例を格納するためのメモリが限られている新しいタスクを継続的に学習する。 我々のアルゴリズムは知識蒸留に基づいており、古いモデルの表現を維持するための原則的な方法を提供する。
• 参考スコア（独自算出の注目度）: 39.97128550414934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel class incremental learning approach based on deep neural networks, which continually learns new tasks with limited memory for storing examples in the previous tasks. Our algorithm is based on knowledge distillation and provides a principled way to maintain the representations of old models while adjusting to new tasks effectively. The proposed method estimates the relationship between the representation changes and the resulting loss increases incurred by model updates. It minimizes the upper bound of the loss increases using the representations, which exploits the estimated importance of each feature map within a backbone model. Based on the importance, the model restricts updates of important features for robustness while allowing changes in less critical features for flexibility. This optimization strategy effectively alleviates the notorious catastrophic forgetting problem despite the limited accessibility of data in the previous tasks. The experimental results show significant accuracy improvement of the proposed algorithm over the existing methods on the standard datasets. Code is available.
• Abstract（参考訳）: 本稿では,より深いニューラルネットワークに基づく新しいクラスインクリメンタル学習手法を提案する。 本アルゴリズムは知識蒸留を基本とし,新しいタスクに効果的に適応しながら,古いモデルの表現を維持するための原理的な方法を提供する。 提案手法は,モデル更新によって生じる表現変化と結果損失の関係を推定する。 これは、バックボーンモデル内の各特徴マップの推定重要性を利用する表現を使用して、損失の増加の上限を最小化する。 重要度に基づいて、モデルは堅牢性のために重要な機能のアップデートを制限し、柔軟性のために重要でない機能の変更を可能にする。 この最適化戦略は、以前のタスクにおけるデータのアクセシビリティの制限にもかかわらず、悪名高い破滅的な忘れ問題を効果的に軽減する。 実験の結果,提案アルゴリズムは標準データセット上の既存手法に比べて精度が大幅に向上した。 コードは利用可能。

関連論文リスト

• Enhancing Fine-Grained Visual Recognition in the Low-Data Regime Through Feature Magnitude Regularization [23.78498670529746]
  抽出した特徴量の均等分布を保証するために正規化手法を導入する。 その明らかな単純さにもかかわらず、我々の手法は様々な細粒度視覚認識データセットに対して顕著な性能向上を示した。
  論文  参考訳（メタデータ） (2024-09-03T07:32:46Z)
• Diverse Representation Embedding for Lifelong Person Re-Identification [10.824003066938234]
  Lifelong Person Re-Identification (LReID)は、連続したデータストリームから継続的に学習し、複数のカメラで個人をマッチングすることを目的としている。 CNNのバックボーンに基づく既存のメソッドは、異なる視点から各インスタンスの表現を調べるには不十分である。 本稿では、まずLReIDのための純粋なトランスフォーマーを探索するDRE(Diverse Representations Embedding)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-24T04:22:37Z)
• Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class Incremental Learning [64.14254712331116]
  非典型的なクラスインクリメンタル学習は、過去のトレーニングデータにアクセスすることなく、新しいタスクと古いタスクの両方を学ぶことを目的としている。 本稿では, きめ細かい知識選択と復元のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-12-20T02:34:11Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• Continual Learning with Pretrained Backbones by Tuning in the Input Space [44.97953547553997]
  ディープラーニングモデルを非定常環境に適用することの本質的な困難さは、ニューラルネットワークの実際のタスクへの適用性を制限している。 ネットワークの事前学習部分の更新を回避し、通常の分類ヘッドだけでなく、新たに導入した学習可能なパラメータのセットも学習することで、微調整手順をより効果的にするための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-05T15:11:59Z)
• On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
  ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。 提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
  論文  参考訳（メタデータ） (2022-03-08T09:57:48Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Incremental Object Detection via Meta-Learning [77.55310507917012]
  本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。 既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
  論文  参考訳（メタデータ） (2020-03-17T13:40:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。