論文の概要: Class-Incremental Learning with Strong Pre-trained Models

• arxiv url: http://arxiv.org/abs/2204.03634v1
• Date: Thu, 7 Apr 2022 17:58:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-08 14:09:36.370446
• Title: Class-Incremental Learning with Strong Pre-trained Models
• Title（参考訳）: 強い事前学習モデルを用いたクラスインクリメンタル学習
• Authors: Tz-Ying Wu, Gurumurthy Swaminathan, Zhizhong Li, Avinash Ravichandran, Nuno Vasconcelos, Rahul Bhotika, Stefano Soatto
• Abstract要約: CIL(Class-incremental Learning)は、少数のクラス(ベースクラス)から始まる設定で広く研究されている。 我々は、多数のベースクラスで事前訓練された強力なモデルから始まるCILの実証済み実世界の設定について検討する。 提案手法は、解析されたCIL設定すべてに頑健で一般化されている。
• 参考スコア（独自算出の注目度）: 97.84755144148535
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Class-incremental learning (CIL) has been widely studied under the setting of starting from a small number of classes (base classes). Instead, we explore an understudied real-world setting of CIL that starts with a strong model pre-trained on a large number of base classes. We hypothesize that a strong base model can provide a good representation for novel classes and incremental learning can be done with small adaptations. We propose a 2-stage training scheme, i) feature augmentation -- cloning part of the backbone and fine-tuning it on the novel data, and ii) fusion -- combining the base and novel classifiers into a unified classifier. Experiments show that the proposed method significantly outperforms state-of-the-art CIL methods on the large-scale ImageNet dataset (e.g. +10% overall accuracy than the best). We also propose and analyze understudied practical CIL scenarios, such as base-novel overlap with distribution shift. Our proposed method is robust and generalizes to all analyzed CIL settings.
• Abstract（参考訳）: クラスインクリメンタルラーニング(cil)は、少数のクラス(ベースクラス)から開始する設定の下で広く研究されている。 代わりに、多数のベースクラスで事前訓練された強力なモデルから始まるCILの実証済み実世界の設定を探索する。 我々は、強力なベースモデルが新しいクラスに良い表現を提供し、漸進的な学習は小さな適応で行うことができると仮定する。 2段階訓練方式を提案する。 一 機能増強 --背骨の一部をクローニングし、新規なデータに基づいて微調整すること。 ii) 融合 -- ベースと新規分類器を統一分類器に結合すること。 実験の結果,提案手法は大規模なImageNetデータセットにおいて,最先端のCIL手法よりも有意に優れていた。 また,分布シフトに伴うベース・ノーベルオーバーラップなど,下記の実践的CILシナリオも提案・分析する。 提案手法はロバストであり,解析されたすべてのcil設定に一般化する。

関連論文リスト

• UIFormer: A Unified Transformer-based Framework for Incremental Few-Shot Object Detection and Instance Segmentation [38.331860053615955]
  本稿では,Transformerアーキテクチャを用いたインクリメンタルな小ショットオブジェクト検出(iFSOD)とインスタンスセグメンテーション(iFSIS)のための新しいフレームワークを提案する。 私たちのゴールは、新しいオブジェクトクラスのいくつかの例しか利用できない状況に対して最適なソリューションを作ることです。
  論文  参考訳（メタデータ） (2024-11-13T12:29:44Z)
• Bias Mitigating Few-Shot Class-Incremental Learning [17.185744533050116]
  クラス増分学習は,限定された新規クラスサンプルを用いて,新規クラスを継続的に認識することを目的としている。 最近の手法では,段階的なセッションで特徴抽出器を微調整することにより,ベースクラスとインクリメンタルクラスの精度の不均衡を緩和している。 本研究では,FSCIL問題におけるモデルバイアスを緩和する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-01T10:37:41Z)
• Large-scale Pre-trained Models are Surprisingly Strong in Incremental Novel Class Discovery [76.63807209414789]
  我々は,クラスiNCDにおける現状問題に挑戦し,クラス発見を継続的に,真に教師なしで行う学習パラダイムを提案する。 凍結したPTMバックボーンと学習可能な線形分類器から構成される単純なベースラインを提案する。
  論文  参考訳（メタデータ） (2023-03-28T13:47:16Z)
• SLCA: Slow Learner with Classifier Alignment for Continual Learning on a Pre-trained Model [73.80068155830708]
  予備学習モデル(CLPM)を用いた連続学習のための広範囲な解析法を提案する。 Slow Learner with Alignment (SLCA) というシンプルなアプローチを提案する。 さまざまなシナリオにおいて、私たちの提案はCLPMの大幅な改善を提供します。
  論文  参考訳（メタデータ） (2023-03-09T08:57:01Z)
• Adaptive Distribution Calibration for Few-Shot Learning with Hierarchical Optimal Transport [78.9167477093745]
  本稿では,新しいサンプルとベースクラス間の適応重み行列を学習し,新しい分布校正法を提案する。 標準ベンチマーク実験の結果,提案したプラグ・アンド・プレイモデルの方が競合する手法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-10-09T02:32:57Z)
• Class-incremental Novel Class Discovery [76.35226130521758]
  クラス増進型新規クラス発見(class-iNCD)の課題について検討する。 基本クラスに関する過去の情報を忘れないようにする,クラスiNCDのための新しい手法を提案する。 3つの共通ベンチマークで実施した実験により,本手法が最先端の手法を著しく上回ることを示した。
  論文  参考訳（メタデータ） (2022-07-18T13:49:27Z)
• Demystifying the Base and Novel Performances for Few-shot Class-incremental Learning [15.762281194023462]
  FSCIL(Few-shot class-incremental Learning)は、目に見えない新しいクラスがほとんどサンプルを持って絶えずやってくる現実のシナリオに対処している。 先行知識を忘れずに新しいクラスを認識するモデルを開発する必要がある。 本手法は,高度な最先端アルゴリズムと同等の性能を有することを示す。
  論文  参考訳（メタデータ） (2022-06-18T00:39:47Z)
• Self-Supervised Class Incremental Learning [51.62542103481908]
  既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。 新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。 本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
  論文  参考訳（メタデータ） (2021-11-18T06:58:19Z)
• Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
  Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。 難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。 我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
  論文  参考訳（メタデータ） (2021-04-07T10:54:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。