論文の概要: Early Preparation Pays Off: New Classifier Pre-tuning for Class Incremental Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2407.14142v1
• Date: Fri, 19 Jul 2024 09:19:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 18:13:50.039208
• Title: Early Preparation Pays Off: New Classifier Pre-tuning for Class Incremental Semantic Segmentation
• Title（参考訳）: クラスインクリメンタルセマンティックセグメンテーションのための新しい分類器の事前調整
• Authors: Zhengyuan Xie, Haiquan Lu, Jia-wen Xiao, Enguang Wang, Le Zhang, Xialei Liu,
• Abstract要約: クラスインクリメンタルセマンティックセグメンテーションは、新しいタスクを学習しながら古い知識を保存することを目的としている。 それは破滅的な忘れ込みとバックグラウンドシフトの問題によって妨げられる。 そこで本研究では,正規学習プロセスの前に適用された新しい分類器プレチューニング(NeST)手法を提案する。
• 参考スコア（独自算出の注目度）: 13.62129805799111
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Class incremental semantic segmentation aims to preserve old knowledge while learning new tasks, however, it is impeded by catastrophic forgetting and background shift issues. Prior works indicate the pivotal importance of initializing new classifiers and mainly focus on transferring knowledge from the background classifier or preparing classifiers for future classes, neglecting the flexibility and variance of new classifiers. In this paper, we propose a new classifier pre-tuning~(NeST) method applied before the formal training process, learning a transformation from old classifiers to generate new classifiers for initialization rather than directly tuning the parameters of new classifiers. Our method can make new classifiers align with the backbone and adapt to the new data, preventing drastic changes in the feature extractor when learning new classes. Besides, we design a strategy considering the cross-task class similarity to initialize matrices used in the transformation, helping achieve the stability-plasticity trade-off. Experiments on Pascal VOC 2012 and ADE20K datasets show that the proposed strategy can significantly improve the performance of previous methods. The code is available at \url{https://github.com/zhengyuan-xie/ECCV24_NeST}.
• Abstract（参考訳）: クラスインクリメンタルセマンティックセグメンテーションは、新しいタスクを学習しながら古い知識を保存することを目的としている。 以前の研究は、新しい分類器を初期化する上で重要なことを示し、主に、バックグラウンド分類器から知識を転送することや、将来のクラスのための分類器を準備し、新しい分類器の柔軟性と分散を無視することに焦点を当てている。 本稿では,従来の分類器からの変換を学習し,新しい分類器のパラメータを直接チューニングするのではなく,初期化のための新しい分類器を生成する。 提案手法は,新しい分類器をバックボーンと整合させ,新しいデータに適応させることで,新しいクラスを学習する際に特徴抽出器の劇的な変化を防止できる。 さらに,変換に使用する行列の初期化とクロスタスククラスの類似性を考慮した戦略を設計し,安定性と塑性のトレードオフを実現する。 Pascal VOC 2012 と ADE20K データセットの実験により、提案手法は従来の手法の性能を大幅に改善できることが示された。 コードは \url{https://github.com/zhengyuan-xie/ECCV24_NeST} で公開されている。

関連論文リスト

• PASS++: A Dual Bias Reduction Framework for Non-Exemplar Class-Incremental Learning [49.240408681098906]
  クラスインクリメンタルラーニング(CIL)は,旧クラスの識別性を維持しつつ,新たなクラスを段階的に認識することを目的としている。 既存のCILメソッドの多くは、例えば、古いデータの一部を格納して再トレーニングする例がある。 本稿では、入力空間における自己教師付き変換(SST)と深い特徴空間におけるプロトタイプ拡張(protoAug)を利用する、単純で斬新な二重バイアス低減フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-19T05:03:16Z)
• Mitigating Background Shift in Class-Incremental Semantic Segmentation [18.604420743751643]
  クラスインクリメンタルセマンティック(CISS)は、古いクラスを忘れずに新しいクラスを学習することを目的としている。 CISSのためのバックグラウンドクラス分離フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T15:44:37Z)
• Expandable Subspace Ensemble for Pre-Trained Model-Based Class-Incremental Learning [65.57123249246358]
  PTMベースのCILのためのExpAndable Subspace Ensemble (EASE)を提案する。 タスク固有のサブスペースを作成することを目的として、新しいタスクごとに異なる軽量アダプタモジュールをトレーニングする。 我々のプロトタイプ補完戦略は、古いクラスのインスタンスを使わずに、古いクラスの新機能を合成します。
  論文  参考訳（メタデータ） (2024-03-18T17:58:13Z)
• Few-Shot Class-Incremental Learning via Training-Free Prototype Calibration [67.69532794049445]
  既存のメソッドでは、新しいクラスのサンプルをベースクラスに誤分類する傾向があり、新しいクラスのパフォーマンスが低下する。 我々は,新しいクラスの識別性を高めるため,簡易かつ効果的なトレーニング-フレア・カロブラシアン (TEEN) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-08T18:24:08Z)
• Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class Incremental Learning [120.53458753007851]
  FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。 我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。 我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-06T18:39:40Z)
• Attribution-aware Weight Transfer: A Warm-Start Initialization for Class-Incremental Semantic Segmentation [38.52441363934223]
  クラスインクリメンタルセマンティックセグメンテーション(CISS)では、ディープラーニングアーキテクチャは破滅的な忘れ込みとセマンティックバックグラウンドシフトの致命的な問題に悩まされる。 本稿では、勾配に基づく属性を用いて、新しいクラスに最も関係のある重みを同定する手法を提案する。 この実験は,Pascal-VOC 2012 と ADE20K および Cityscapes の最新の CISS 手法と比較して,mIoU の大幅な改善を示した。
  論文  参考訳（メタデータ） (2022-10-13T17:32:12Z)
• New Insights on Reducing Abrupt Representation Change in Online Continual Learning [69.05515249097208]
  我々は、以前に観測されていないクラスが入ってくるデータストリームに現れるときに発生する観測データの表現の変化に焦点を当てる。 Experience Replayを適用すると、新たに追加されたクラスの表現が以前のクラスと大幅に重複することを示します。 本稿では,新しいクラスに対応するために,学習した表現を劇的な適応から保護することで,この問題を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-08T01:37:00Z)
• Self-Supervised Class Incremental Learning [51.62542103481908]
  既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。 新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。 本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
  論文  参考訳（メタデータ） (2021-11-18T06:58:19Z)
• Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
  Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。 難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。 我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
  論文  参考訳（メタデータ） (2021-04-07T10:54:51Z)
• Class-incremental Learning with Pre-allocated Fixed Classifiers [20.74548175713497]
  クラス増分学習では、学習エージェントは、前のクラスを忘れずに新しいクラスを学ぶことを目標として、データのストリームに直面します。 本稿では,複数の事前配置された出力ノードが学習フェーズの開始時から,その分類損失に正しく対応できる新しい固定分類器を提案する。
  論文  参考訳（メタデータ） (2020-10-16T22:40:28Z)
• Modeling the Background for Incremental Learning in Semantic Segmentation [39.025848280224785]
  深いアーキテクチャは破滅的な忘れ方に弱い。 本稿では,意味的セグメンテーションの文脈においてこの問題に対処する。 本稿では,このシフトを明示的に考慮した蒸留法に基づく新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-03T13:30:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。