論文の概要: PlaStIL: Plastic and Stable Memory-Free Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2209.06606v1
• Date: Wed, 14 Sep 2022 12:53:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-15 13:03:31.504486
• Title: PlaStIL: Plastic and Stable Memory-Free Class-Incremental Learning
• Title（参考訳）: PlaStIL: プラスチックで安定なメモリフリーなクラスインクリメンタルラーニング
• Authors: Gr\'egoire Petit, Adrian Popescu, Eden Belouadah, David Picard, Bertrand Delezoide
• Abstract要約: 過去の知識を保ちながら新しいデータから学ぶためには、クラス増分学習において塑性と安定性が必要である。 そこで本稿では, 可塑性と安定性のバランスを良くするために, パラメータ数に類似する手法を提案する。
• 参考スコア（独自算出の注目度）: 49.0417577439298
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Plasticity and stability are needed in class-incremental learning in order to learn from new data while preserving past knowledge. Due to catastrophic forgetting, finding a compromise between these two properties is particularly challenging when no memory buffer is available. Mainstream methods need to store two deep models since they integrate new classes using fine tuning with knowledge distillation from the previous incremental state. We propose a method which has similar number of parameters but distributes them differently in order to find a better balance between plasticity and stability. Following an approach already deployed by transfer-based incremental methods, we freeze the feature extractor after the initial state. Classes in the oldest incremental states are trained with this frozen extractor to ensure stability. Recent classes are predicted using partially fine-tuned models in order to introduce plasticity. Our proposed plasticity layer can be incorporated to any transfer-based method designed for memory-free incremental learning, and we apply it to two such methods. Evaluation is done with three large-scale datasets. Results show that performance gains are obtained in all tested configurations compared to existing methods.
• Abstract（参考訳）: 過去の知識を保ちながら新しいデータから学ぶためには、クラス増分学習において塑性と安定性が必要である。 破滅的な忘れ方のため、メモリバッファがない場合、これら2つのプロパティ間の妥協を見つけることは特に難しい。 従来のインクリメンタルな状態からの知識蒸留と微調整を使って新しいクラスを統合するため、主流のメソッドは2つの深いモデルを保存する必要がある。 そこで本稿では, 可塑性と安定性のバランスを良くするために, パラメータ数に類似する手法を提案する。 転送ベースのインクリメンタルメソッドですでにデプロイされているアプローチに従って,初期状態後の特徴抽出器を凍結する。 最も古い段階的な状態のクラスは、安定性を確保するためにこの凍結抽出器で訓練される。 最近のクラスは塑性を導入するために部分的に微調整されたモデルを用いて予測される。 提案する塑性層は, メモリフリーインクリメンタルラーニング用に設計された任意の転送方式に組み込むことができ, これら2つの手法に適用できる。 評価は3つの大規模データセットで行う。 その結果、既存の方法と比較して、すべてのテスト済み構成でパフォーマンスが向上することが示された。

関連論文リスト

• PASS++: A Dual Bias Reduction Framework for Non-Exemplar Class-Incremental Learning [49.240408681098906]
  クラスインクリメンタルラーニング(CIL)は,旧クラスの識別性を維持しつつ,新たなクラスを段階的に認識することを目的としている。 既存のCILメソッドの多くは、例えば、古いデータの一部を格納して再トレーニングする例がある。 本稿では、入力空間における自己教師付き変換(SST)と深い特徴空間におけるプロトタイプ拡張(protoAug)を利用する、単純で斬新な二重バイアス低減フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-19T05:03:16Z)
• CEAT: Continual Expansion and Absorption Transformer for Non-Exemplar Class-Incremental Learning [34.59310641291726]
  現実のアプリケーションでは、動的シナリオは、古い知識を忘れずに新しいタスクを継続的に学習する能力を持つ必要がある。 連続膨張吸収変圧器(CEAT)という新しいアーキテクチャを提案する。 このモデルは、凍結した前のパラメータと平行に拡散層を拡張することで、新しい知識を学ぶことができる。 モデルの学習能力を向上させるために,特徴空間における古クラスと新クラスの重複を低減するために,新しいプロトタイプを設計した。
  論文  参考訳（メタデータ） (2024-03-11T12:40:12Z)
• SRIL: Selective Regularization for Class-Incremental Learning [5.810252620242912]
  クラスインクリメンタルラーニングは、この課題を克服するために、可塑性と安定性のバランスをとる統合モデルを作成することを目的としている。 本稿では,従来の知識を維持しつつ,新たな知識を受け入れる選択正規化手法を提案する。 CIFAR-100, ImageNet-Subset, ImageNet-Full を用いて提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2023-05-09T05:04:35Z)
• On the Stability-Plasticity Dilemma of Class-Incremental Learning [50.863180812727244]
  クラス増分学習の第一の目的は、安定性と可塑性のバランスをとることである。 本稿では,近年のクラス増分学習アルゴリズムが,安定性と塑性のトレードオフにいかに効果的かを明らかにすることを目的とする。
  論文  参考訳（メタデータ） (2023-04-04T09:34:14Z)
• Online Hyperparameter Optimization for Class-Incremental Learning [99.70569355681174]
  クラス増分学習(Class-incremental Learning, CIL)は、クラス数がフェーズごとに増加する一方で、分類モデルを訓練することを目的としている。 CILの固有の課題は、安定性と塑性のトレードオフである。すなわち、CILモデルは古い知識を保ち、新しい知識を吸収するためにプラスチックを保たなければならない。 本稿では,事前設定を知らずにトレードオフを適応的に最適化するオンライン学習手法を提案する。
  論文  参考訳（メタデータ） (2023-01-11T17:58:51Z)
• FeTrIL: Feature Translation for Exemplar-Free Class-Incremental Learning [40.74872446895684]
  新しいクラスだけでなく過去の精度を高めるためには, 段階的プロセスの安定性と可塑性のバランスが必要である。 既存の非標準クラスインクリメンタルな手法は、モデルの連続的な微調整に焦点をあて、可塑性を優先するか、初期段階以降に固定された特徴抽出器を使用することに重点を置いている。 固定特徴抽出器と擬似特徴生成器を組み合わせて安定性・塑性バランスを改善する手法を提案する。
  論文  参考訳（メタデータ） (2022-11-23T17:04:20Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Few-Shot Lifelong Learning [35.05196800623617]
  Few-Shot Lifelong Learningにより、深層学習モデルが短距離/連続学習を実行できます。 提案手法では,モデルからごく少数のパラメータを選択して,モデル全体をトレーニングする代わりに,新しいクラスのセットをトレーニングする。 提案手法は, miniImageNet, CIFAR-100, CUB-200データセットにおいて, 既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-01T13:26:57Z)
• Adaptive Aggregation Networks for Class-Incremental Learning [102.20140790771265]
  CIL(Class-Incremental Learning)は,段階別クラス数の増加にともなう分類モデルを学習することを目的としている。 CILの固有の問題は、古いクラスと新しいクラスの学習の間の安定性-塑性ジレンマである。
  論文  参考訳（メタデータ） (2020-10-10T18:24:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。